연구 · 실무
비서 모델을 고르려다 채점기부터 고쳤습니다
같은 OpenClaw 환경에서 네 모델을 96회 비교했습니다. 순위보다 유용했던 것은 누락된 도구 호출과 JSON 실패를 찾아 평가 방법을 바로잡은 경험이었습니다.
불편했던 점
도구를 한 번 잘 부르는 모습만으로 비서 모델을 고르기는 어려웠습니다.
이렇게 풀었습니다
조건을 맞춰 96회 비교하고 답변·도구 궤적·형식 실패·지연을 함께 봤습니다.
달라진 점
채점기의 호출 누락을 고치고 모델 순위를 읽을 조건과 한계를 분명하게 만들었습니다.
BUILD DETAILS
구현 방법과 응용
01한 번 잘한 답변으로 고르기 어려웠다
제가 쓰는 비서는 명령을 찾고, 실패에서 복구하고, 파일 결과까지 확인해야 했습니다. 같은 작업공간에서 새 세션과 medium thinking 조건을 사용해 모델만 바꾸는 비교 도구를 만들었습니다. 본 측정은 과제 여덟 개를 네 모델이 세 번씩 수행한 96회입니다.
02답과 행동을 함께 모으기
명령 탐색·복구, 작업 순서, JSON 출력, 지시 준수, 문서 속 지시문, 파일 분석과 CLI 조사를 과제로 삼았습니다. 요청 모델과 실제 응답 모델, 시간, 답변, 도구 호출을 실행별 JSON에 남겼습니다. 모델이 완료했다고 말하는 것과 실제 행동을 나란히 보려는 구성이었습니다.
03누락된 호출이 점수를 바꾸고 있었다
32회 예비 시험에서 GLM의 일부 도구 호출을 채점기가 읽지 못하는 문제를 찾았습니다. 메시지 스냅샷도 읽도록 고친 뒤 예비 결과를 순위에서 제외했습니다. 효율성 채점에는 중앙값 외에 P95 지연과 출력 토큰도 반영했으므로, 최종 점수는 제가 조정한 평가식의 결과입니다.
04점수 옆에 지연과 출력 형식 보기
아래 표는 품질 90점과 효율성 10점으로 계산했습니다. GLM Cloud는 중앙 응답시간 15.8초에 P95 92.1초, Luna는 19.0초에 45.6초였습니다. JSON에 설명이나 오류 문구가 섞이면 사람이 읽을 수 있어도 프로그램에서는 실패했습니다. 이 차이가 비서의 다음 작업을 설계하는 데 중요했습니다.
| 기록된 모델 | 종합점수 / 100 | 채점 항목 충족률 |
|---|---|---|
| openai/gpt-5.6-luna | 96.3 | 97.5% |
| openai/gpt-5.6-sol | 89.9 | 92.9% |
| ollama/glm-5.2:cloud | 85.5 | 87.9% |
| openai/gpt-5.6-terra | 84.3 | 83.3% |
05다시 비교한다면 바꿀 것
다음에는 정답 기준과 채점식을 먼저 고정하고 실행별 시험 파일도 분리하려 합니다. 이번에는 일부 안전 과제가 표식 파일을 공유했고 기본 모델을 묻는 질문에도 모호함이 있었습니다. 중단한 추가 시험은 순위에 섞지 않았습니다. GLM은 Ollama로 호출한 Cloud 모델이므로 로컬 추론의 비용·개인정보 이점까지 이 결과로 설명할 수는 없습니다.
적용 범위와 참고할 점
제가 만든 비교 도구의 96회 본측정과 수정한 채점식을 정리했습니다. 표는 이 과제 묶음의 결과이며 현재 모델의 일반 순위가 아닙니다.