어떤 모델이 "좋다"고 말할 근거

모델을 도입하려면 "써보니 괜찮더라"보다 나은 근거가 필요합니다. 이 모듈에서는 같은 문제지로 여러 모델을 채점하는 법, 그리고 무엇을 재야 하는지를 다룹니다.

01인상이 아니라 측정

"써보니 괜찮던데"는 데모 몇 번을 해본 인상일 뿐입니다. 도입 근거로 쓰려면 같은 문제지로 여러 모델을 채점한 표가 있어야 합니다.

그 문제지가 골든셋입니다. 입력과 정답(모범 답)의 쌍을 모아둔 것으로, 50~100건 정도면 의미 있는 비교를 시작할 수 있습니다.

골든셋이 있으면 다음을 전부 같은 문제지로 확인할 수 있습니다.

• 모델 비교 — 후보 모델들의 성능을 같은 기준으로 나란히 비교합니다.
• 양자화 품질 확인 — 모듈 3에서 다룬 양자화가 품질을 얼마나 깎았는지 측정합니다.
• 프롬프트 개선의 전후 비교 — 프롬프트를 고치기 전과 후의 점수를 비교합니다.

같은 문제지만으로 비교가 끝나지 않습니다. 공정한 비교는 비교하려는 한 가지를 빼고 나머지 조건을 맞추는 것입니다. 짧게 맞출 항목은 하드웨어, 정확한 모델/리비전, 입력·출력 토큰 길이, 정밀도/양자화, 런타임, 컨텍스트 길이, 배치/동시성, 가속 설정, 평가 하네스/버전입니다.

02민감 데이터 없이 평가하기 — 합성 데이터

평가하려면 실제 업무 데이터가 필요합니다. 그런데 실데이터에는 개인정보가 들어 있어서 그대로 쓸 수 없습니다.

해법은 실데이터의 분포(어떤 유형이 몇 %씩 섞여 있는지의 비율 구성), 즉 유형 비율·길이·난이도를 먼저 분석하고, 그 분포를 따르는 가짜 데이터를 LLM으로 생성하는 것입니다. 이것이 합성 데이터입니다.

03무엇을 재나 — 네 가지 지표

평가라고 다 같은 지표를 재는 것이 아닙니다. 태스크마다 중요한 지표가 다릅니다.

야간 배치 처리에는 지연이 덜 중요하고, 실시간 보조 업무에는 지연이 결정적입니다. 지표를 하나만 보고 "이 모델이 좋다"고 말할 수 없는 이유가 여기에 있습니다. 지연도 한 숫자가 아닙니다. TTFT는 첫 토큰이 나올 때까지 기다리는 시간입니다. 그다음부터는 토큰과 토큰 사이 간격(TPOT/ITL)을 봅니다. 디코드 토큰/초는 그 간격을 뒤집어서 본 값에 가깝습니다 — 사이가 짧을수록 초당 토큰이 많아 보입니다. 배치/동시성은 대체로 일정 구간까지 집계 처리량을 올릴 수 있지만, 한 요청의 지연은 나빠질 수 있고, 효과는 일의 종류와 스케줄링에 따라 달라집니다.

04환각 — 그럴듯한 거짓

모델은 모듈 2에서 본 것처럼 다음 토큰을 예측하는 프로그램입니다. 그래서 모르는 내용도 그럴듯하게 지어낼 수 있습니다. 이것을 환각(hallucination)이라고 부릅니다.

• RAG로 근거를 준다 — 지어낼 필요를 애초에 줄입니다.
• 출력과 근거를 대조 검사한다 — 답이 근거 문서에 실제로 있는 내용인지 확인합니다.
• 기계 검증 가능한 부분은 게이트로 잡는다 — 숫자나 형식처럼 결정적으로 확인 가능한 부분은 게이트에서 걸러냅니다.

05채점을 누가 하나 — 기계, 사람, 그리고 LLM 심판

채점에도 우선순위가 있습니다.

• ① 기계 채점 — 정답 일치, 정규식(010-####-#### 같은 글자 모양 규칙을 기계적으로 검사하는 방법입니다 — 처음 보는 말이면 워밍업에서 먼저 익히세요), 형식 검사처럼 결정적으로 확인 가능한 것부터 채점합니다.
• ② LLM-as-judge — 더 강한 모델에게 채점 기준표를 주고 채점을 맡깁니다. 요약 품질처럼 기계 채점이 어려운 항목에 씁니다.
• ③ 사람 검수 — 최종 확인 차원에서 일부를 샘플링(전체 중 일부만 무작위로 뽑아 확인)해 사람이 직접 봅니다.

LLM 심판을 쓸 때는 주의할 점이 있습니다. 반출이 허용된 데이터만 외부의 강력한 모델로 보내야 하고, 심판이 내린 결과도 다시 샘플링해서 사람이 재확인해야 합니다.