페이블 5.1 나왔습니다. 근데 저희 자동화엔 프로 요금제로 충분했어요

먼저 공식 발표부터. 9월 1일, 앤트로픽이 새 모델 페이블 5.1을 냈습니다. 아래 영상이 공식 소개 영상이에요(85초).

Anthropic 공식 영상 「Introducing Claude Fable 5.1」 · 출처: Anthropic

공식이 내세우는 건 오래 걸리는 어려운 일입니다. 몇 시간짜리 작업을 중간에 놓치지 않고 끝까지 간다는 거예요. 자랑하는 사례도 연구 쪽입니다 — 30년 전 금성 사진으로 지도를 다시 그렸는데 해상도가 10km에서 2km로 좋아졌다고 합니다.

대단합니다. 그런데 저는 금성 지도를 안 만듭니다. 저는 매주 블로그 쓰고, 카드 만들고, 파일 검사하는 일을 자동으로 돌립니다. 그 일에 새 모델이 필요할까요? 그래서 직접 시켜봤습니다.

1. 공식이 낸 점수부터 — 그대로 옮깁니다

앤트로픽이 발표문에 올린 시험 점수입니다. 해석은 밑에서 하고, 표는 공식 그대로예요.

보시면 연구 문제만 크게 앞섭니다. 코딩과 사무 작업은 오퍼스와 거의 같아요. 값은 두 배인데요. 앤트로픽 문서도 이렇게 씁니다 — "대부분의 작업은 오퍼스 5로 시작하세요."

2. 그래서 제 일을 그대로 시켰습니다

시킨 일은 이겁니다. 지난 글 7편의 파일 14개를 읽고 표를 만들어라. 각 글에 카드가 몇 장인지, 복붙용 카드가 있는지, 댓글 키워드가 뭔지. 저희가 매주 실제로 하는 점검이에요.

정답은 미리 스크립트로 뽑아 두고 대조했습니다. 그리고 같은 문장을 모델만 바꿔서 돌렸어요.

3. 결과 — 제일 비싼 게 제일 느렸습니다

페이블이 제일 느리고 제일 비쌌는데, 답은 소넷과 똑같았습니다. 소넷 대비 시간 1.7배, 값 3.8배를 더 냈어요.

왜 느렸는지도 봤습니다. 오퍼스는 파일을 6번에 묶어서 읽었는데, 페이블은 한 번에 하나씩 21번 읽었어요. 앤트로픽 문서에도 "코딩 작업에서 도구를 한 번에 하나씩 부르는 경향이 있다"고 적혀 있습니다. 문서가 주는 처방(한 번에 여러 개 요청하라는 문장)을 붙여서 한 번 더 돌려봤지만, 21번이 17번으로 줄었을 뿐 여전히 하나씩이었습니다.

생각 깊이를 낮춰도(medium) 8% 빨라지는 정도였어요. 병목은 생각이 아니라 왔다 갔다 하는 횟수였습니다.

4. 그럼 제일 싼 걸로 내려도 되나 — 아니었습니다

하이쿠 4.5는 값이 소넷의 절반도 안 됩니다. 그런데 7편 중 2편을 틀렸어요. 카드가 10장인데 11장이라고 하고, 복붙 카드가 있는데 없다고 했습니다.

표만 보면 그럴듯한데 숫자가 틀린 겁니다. 정답을 모르고 봤으면 그냥 믿었을 거예요. 소넷이 아래 선입니다.

5. 요금제 — 소넷은 프로에 들어 있습니다

저희는 맥스를 쓰고 있어서 페이블을 켜서 시험해볼 수 있었습니다. 그런데 결과가 이러니 자동화 때문에 맥스로 올릴 이유는 없더라고요. 저희가 매주 돌리는 일 — 글 검사, 카드 만들기, 파일 정리 — 은 전부 소넷으로 충분합니다.

참고로 맥스를 쓰신다면 지금 한도가 늘어 있습니다. 사용량 화면에 "9월 13일까지 주간 한도가 50% 더 높아집니다"라고 떠 있어요. 14일부터는 지금보다 17% 줄어듭니다.

6. 그럼 페이블은 언제 쓰나

공식이 자랑한 자리입니다. 몇 시간씩 걸리는 어려운 일, 특히 연구나 복잡한 설계요. 저희가 잰 건 읽고 정리하는 반복 작업이라서, 여기선 차이가 안 났습니다.

정직하게 덧붙이면 — 저희는 긴 세션은 안 재봤습니다. 몇 시간짜리 작업을 매일 돌리시는 분이면 결과가 다를 수 있어요. 그때는 맥스를 보시는 게 맞습니다. 스킬 202개를 세어본 글에서도 말했듯, 긴 작업을 이어주는 건 모델보다 규칙 파일이었습니다.

7. 오늘 이것만

1. 읽고 정리하는 반복 작업이면 소넷. 제일 빨랐고 값도 페이블의 4분의 1이었습니다.
2. 더 싼 걸로 내리진 마세요. 하이쿠는 7편 중 2편을 틀렸습니다.
3. 자동화만 하시면 프로 $20으로 충분합니다. 맥스는 긴 작업을 매일 돌릴 때 생각해보세요.

돈 안 드는 쪽이 궁금하시면 GPU 없이 로컬 AI 4종을 실측한 글도 있습니다.