AI 산출물을 어디까지 사람이 검토해야 하는지는 신뢰성 설계의 마지막 관문입니다. 이 수업에서는 위험도 기반 검토 계층 설계, 자동화율을 안전하게 올리는 캘리브레이션 과정, LLM 심사자(LLM-as-judge)의 활용과 한계를 다룹니다.
모든 출력을 같은 강도로 검토하지 않는다
사람의 검토 시간은 가장 비싼 자원입니다. 모든 AI 출력을 전수 검토하면 자동화 이득이 사라지고, 아무것도 검토하지 않으면 소프트 오류가 그대로 실무에 유입됩니다. 해법은 **위험도 기반 검토 계층(risk-tiered review)**입니다.
계층을 나누는 두 축은 5.2에서 본 것과 같습니다. 행동의 되돌리기 가능성과 오류의 파급 범위입니다.
- 계층 1 — 전수 검토: 되돌리기 어렵고 파급이 큰 산출물. 대외 발송물, 결제 실행, 프로덕션 배포, 법률·의료 판단이 여기 속합니다. AI는 초안 작성자이고 사람이 최종 결정자입니다.
- 계층 2 — 표본·조건부 검토: 오류가 있어도 내부에서 걸러질 수 있는 산출물. 내부 보고서 초안, 분류 결과, 코드 리뷰 커멘트 등입니다. 표본 검토(예: 10%)와 저확신 건 검토를 결합합니다.
- 계층 3 — 사후 모니터링: 오류 비용이 낮고 즉시 되돌릴 수 있는 산출물. 검색 요약, 내부 메모 등은 사후 지표(수정률, 불만율)로만 관찰합니다.
중요한 것은 계층 배치가 고정이 아니라는 점입니다. 같은 "코드 수정"도 테스트 커버리지가 높은 모듈이면 계층 2~3, 결제 로직이면 계층 1입니다. 시험에서는 산출물 종류만 보고 계층을 고르게 하는 것이 아니라, 검증 수단의 존재 여부(테스트, 롤백 등)까지 고려해 판단하게 합니다.
[검토 계층 결정 질문]
1. 틀리면 무엇이 손상되는가? (금전·신뢰·안전 vs 내부 시간)
2. 자동 검증 수단이 있는가? (테스트·스키마·대사)
3. 되돌릴 수 있는가? (롤백 가능 vs 발송 후 회수 불가)
자동화율을 데이터로 올리기
처음부터 높은 자동화율로 시작하는 것은 위험합니다. 안전한 경로는 보수적으로 시작해 데이터로 완화하는 것입니다.
1단계 — 섀도 모드(shadow mode): AI 산출물을 실무에 반영하지 않고 사람 산출물과 병행 생성하며 일치율을 측정합니다. 기준선 데이터가 쌓입니다.
2단계 — 전수 검토 자동화: AI가 초안을 만들고 사람이 전건 승인합니다. 이 단계에서 사람의 수정 내역이 가장 값진 데이터입니다. 어떤 유형에서 수정이 잦은지 분석해 프롬프트와 검증 규칙을 개선합니다.
3단계 — 조건부 자동화: 오류율이 검증된 유형부터 자동 통과시키고, 저확신·고위험 건만 검토 큐로 보냅니다. 이때 임계값은 감으로 정하지 않고, 축적된 데이터에서 "이 확신도 구간의 실제 오류율"을 보고 정합니다. 이것이 **캘리브레이션(calibration)**입니다.
4단계 — 지속 감시: 자동화율을 올린 뒤에도 무작위 표본 감사를 유지합니다. 모델 버전 변경, 입력 분포 변화(계절성, 신규 거래처)로 오류율이 조용히 오를 수 있기 때문입니다.
# 조건부 자동화의 골격
decision = model_output
if decision.risk_tier == 1:
queue_for_review(decision) # 고위험: 항상 사람
elif decision.confidence < threshold: # 임계값은 실측 오류율로 조정
queue_for_review(decision)
else:
auto_apply(decision)
if random.random() < 0.05:
audit_sample.add(decision) # 5% 무작위 감사 유지
시험 함정: "섀도 모드는 시간 낭비이므로 바로 조건부 자동화로 시작한다" — 오답입니다. 기준선 없는 임계값은 캘리브레이션이 불가능합니다.
LLM 심사자의 활용과 한계
사람 검토의 병목을 줄이는 보조 수단으로 LLM 심사자(LLM-as-judge) — 모델이 다른 모델의 출력을 평가하는 패턴 — 를 쓸 수 있습니다. 올바른 위치에 두면 강력하지만, 사람 검토의 대체재가 아니라 필터라는 점이 핵심입니다.
효과적인 사용 규칙은 다음과 같습니다.
- 명시적 루브릭(rubric)을 제공합니다. "품질을 평가하라"가 아니라 "다음 5개 기준 각각에 통과/실패와 근거를 제시하라"로 지시합니다. 루브릭 없는 심사는 심사자 자신의 편향을 측정하는 것에 가깝습니다.
- 생성과 심사를 분리합니다. 생성에 쓰인 컨텍스트를 심사자에게 그대로 주면 같은 가정을 공유해 같은 실수를 놓칩니다. 신선한 컨텍스트에서, 가능하면 다른 관점 지시(회의적 검토자 역할)로 심사시킵니다.
- 심사자의 판정도 캘리브레이션합니다. 사람 판정과의 일치율을 표본으로 측정해, LLM 심사가 믿을 만한 영역(형식 준수, 명백한 오류 감지)과 약한 영역(미묘한 사실 오류, 도메인 뉘앙스)을 구분합니다.
- 알려진 편향을 보정합니다. LLM 심사자는 긴 답변 선호, 자기 스타일 선호, 위치 편향(비교 시 먼저 제시된 쪽 선호) 같은 체계적 편향이 보고되어 있습니다. 쌍대 비교 시 순서를 바꿔 두 번 심사하는 것이 표준 보정법입니다.
[역할 배치]
LLM 심사자: 대량 1차 필터 — 형식·명백한 오류·루브릭 위반 감지
사람: 고위험 건 최종 판정, LLM 심사자 자체의 표본 감사
시험에서는 "LLM 심사자가 통과시키면 사람 검토를 완전히 생략할 수 있다"가 전형적 오답입니다. 특히 계층 1(고위험) 산출물에서 그렇습니다.
시험 함정
- "모든 AI 산출물은 전수 검토해야 한다" — 오답. 위험도 계층에 따라 검토 강도를 차등화하는 것이 표준입니다.
- "LLM 심사자가 승인하면 사람 검토는 불필요하다" — 오답. LLM 심사는 필터이며, 고위험 산출물의 최종 판정은 사람이 합니다.
- "자동화 임계값은 처음에 정하고 유지한다" — 오답. 실측 오류율로 지속 조정(캘리브레이션)해야 합니다.
- "자동화율을 올린 뒤에는 검토를 완전히 없앤다" — 오답. 무작위 표본 감사를 유지해 분포 변화로 인한 품질 저하를 감지해야 합니다.
- "생성에 사용한 컨텍스트를 심사자에게 그대로 주는 것이 정확하다" — 오답. 같은 가정을 공유하게 되어 같은 오류를 놓칩니다. 신선한 컨텍스트로 분리합니다.
실습 시나리오
실제 시험과 같은 형식의 시나리오 문제입니다.
보험사가 청구 서류 요약 AI를 도입했습니다. 두 달간 전수 검토 결과 수정률이 2%까지 내려왔고, 팀은 검토 부담을 줄이려 합니다. 가장 적절한 다음 단계는 무엇입니까?
빌드 연습 · 검토 계층과 감사 파이프라인 설계
약 40분1.산출물 위험도 분류
가상의 업무 시스템에서 AI 산출물 6종을 골라 3계층으로 분류하고 근거를 적습니다.
기대 결과 · 각 산출물에 되돌리기 가능성·파급 범위·검증 수단이 근거로 명시됩니다.
2.루브릭 작성
계층 2 산출물 하나에 대해 통과/실패 기준 5개짜리 심사 루브릭을 만듭니다.
기대 결과 · 기준이 주관적 표현 없이 검증 가능한 문장으로 작성됩니다.
3.LLM 심사자 구현
루브릭 기반 심사 프롬프트를 만들고 샘플 산출물 10건을 심사시킵니다.
기대 결과 · 기준별 통과/실패와 근거가 구조화된 형식으로 출력됩니다.
4.심사자 캘리브레이션
같은 10건을 직접 판정하고 LLM 심사와의 일치율을 계산합니다.
기대 결과 · 일치율과 불일치 사례 분석이 기록되고, 심사자를 신뢰할 영역이 정의됩니다.
5.조건부 자동화 규칙 작성
계층·확신도·표본 감사를 결합한 처리 규칙을 의사코드로 작성합니다.
기대 결과 · 모든 산출물이 자동 통과·검토 큐·감사 표본 중 하나로 배정되는 규칙이 완성됩니다.