에이전틱스
도메인 2. 출력 평가와 검증

2.1정확성과 완결성 나눠 보기

예상 학습 시간 35

출력 검토는 이 시험에서 가장 비중이 큰 영역이고, 그 출발점은 정확성과 완결성을 따로 보는 것입니다. 둘은 서로 다른 방법으로 확인해야 하고, 한쪽이 좋다고 다른 쪽이 좋은 것도 아닙니다. 이 수업에서는 두 기준의 차이와 시간이 부족할 때의 검토 순서를 다룹니다.

두 기준은 왜 따로인가

정확성은 쓰여 있는 것이 맞느냐이고, 완결성은 있어야 할 것이 다 있느냐입니다. 둘은 독립적이라 네 가지 조합이 나옵니다.

정확성완결성결과물의 모습
높음높음바로 쓸 수 있다
높음낮음쓰여 있는 건 맞는데 결정을 못 내린다
낮음높음형식은 완벽한데 근거가 틀렸다
낮음낮음다시 요청해야 한다

실무에서 가장 위험한 것은 세 번째입니다. 항목이 빠짐없이 채워져 있고 표도 잘 정리되어 있으면 검토하는 사람이 안심하게 됩니다. 그 상태에서 수치 하나가 틀려 있으면 그대로 보고서에 올라갑니다.

두 번째도 흔합니다. 경쟁사 비교표를 받았는데 모든 칸이 사실이지만 정작 "그래서 어느 쪽이 우리에게 유리한가"가 없는 경우입니다. 틀린 것은 없으니 지적할 거리가 없는데 회의에서는 못 씁니다.

그래서 검토는 두 질문을 따로 던져야 합니다.

  • 정확성: 여기 쓰여 있는 것 중 사실이 아닌 것이 있는가
  • 완결성: 내가 요청한 것 중 답변에 없는 것이 있는가

두 번째 질문은 원래 요청을 다시 읽어야 답할 수 있습니다. 결과물만 보고 있으면 빠진 것은 보이지 않습니다. 있는 것은 눈에 띄지만 없는 것은 눈에 띄지 않기 때문입니다.

완결성을 확인하는 법

완결성 확인의 핵심은 요청과 결과를 나란히 놓는 것입니다. 요청에 항목이 다섯 개였다면 결과에도 다섯 개가 있어야 합니다.

실무에서 쓸 수 있는 방법은 요청할 때부터 확인 목록을 만들어 두는 것입니다.

아래 다섯 가지를 각각 항목으로 나눠 답해 줘.
1) 계약 기간과 자동 갱신 여부
2) 중도 해지 조건
3) 비용 인상 조항
4) 데이터 소유권
5) 분쟁 발생 시 관할

자료에서 확인되지 않는 항목은 "자료에 없음"이라고 적어 줘.

마지막 줄이 완결성 확인을 크게 쉽게 만듭니다. 이 줄이 없으면 자료에 없는 항목이 조용히 빠지거나, 더 나쁘게는 일반적인 내용으로 채워집니다. "자료에 없음"이라고 적혀 있으면 그 항목을 사람이 따로 찾아봐야 한다는 것이 바로 보입니다.

빠진 항목을 발견했을 때는 빠진 것만 다시 요청합니다. 전체를 다시 받으면 이미 확인해 둔 부분까지 바뀌어 검토를 처음부터 다시 해야 합니다.

시간이 부족할 때의 순서

10페이지짜리 결과물을 30분 안에 검토해야 한다면 어디부터 봐야 할까요. 순서대로 읽으면 뒤쪽에 시간이 남지 않고, 정작 중요한 곳을 못 봅니다.

기준은 틀렸을 때 손해가 큰 순서입니다.

  1. 결론과 그 결론을 떠받치는 수치 — 여기가 틀리면 나머지가 다 맞아도 의미가 없습니다
  2. 밖으로 나가는 내용 — 고객이나 외부에 전달될 문장
  3. 숫자와 고유명사 — 날짜, 금액, 회사명, 사람 이름
  4. 나머지 서술

3번을 따로 두는 이유가 있습니다. 숫자와 고유명사는 틀렸는지 빨리 확인할 수 있으면서 동시에 틀렸을 때 눈에 띄는 항목입니다. 서술형 문장의 뉘앙스를 다듬는 것보다 우선순위가 높습니다.

그리고 검토 시간이 결과물 분량에 비례하지 않는다는 점도 알아 둘 만합니다. 30페이지 결과물을 받았다면 30분으로는 정확성 검토가 불가능합니다. 이럴 때는 분량을 줄여 다시 받는 편이 낫습니다. 검토할 수 없는 결과물은 쓸 수 없는 결과물입니다.

확신에 찬 어조에 속지 않기

검토를 방해하는 가장 흔한 요인은 어조입니다. 단정적으로 쓰인 문장은 검토하는 사람에게 "이건 확인된 사실"이라는 인상을 줍니다. 그런데 어조의 확신과 내용의 정확성 사이에는 관계가 없습니다.

특히 주의할 표현들이 있습니다.

표현왜 위험한가
"일반적으로 알려진 바에 따르면"출처를 대는 것처럼 보이지만 아무 출처도 없다
"업계 표준은 ○○이다"어느 업계 누구의 기준인지 없다
"약 30% 수준"근사치 표현이 붙으면 검증을 건너뛰기 쉽다
"대부분의 경우"범위가 없어 반증하기 어렵다

반대로 불확실성을 표시한 문장은 신뢰도가 낮은 것이 아니라 검토하기 쉬운 것입니다. "이 수치는 자료에 없어 추정했다"고 적혀 있으면 사람이 무엇을 확인해야 할지 압니다.

그래서 요청 단계에서 확신 수준을 나눠 달라고 하는 편이 유리합니다. "자료에서 직접 확인된 것과, 추론한 것과, 일반 지식으로 채운 것을 구분해서 표시해 줘"라는 한 줄이 검토 대상을 크게 좁혀 줍니다.

시험 함정

  • 정확성과 완결성을 하나로 묶어 보는 선택지 — 확인 방법이 다르고 한쪽이 좋다고 다른 쪽이 좋은 것도 아닙니다.
  • 완결성을 결과물만 보고 확인할 수 있다는 선택지 — 원래 요청과 나란히 놓아야 빠진 것이 보입니다.
  • 빠진 항목이 있을 때 전체를 다시 받으라는 선택지 — 확인해 둔 부분까지 바뀌어 검토를 다시 해야 합니다.
  • 검토를 앞에서부터 순서대로 하라는 선택지 — 틀렸을 때 손해가 큰 곳부터 봐야 합니다.
  • 단정적인 어조를 신뢰의 근거로 삼는 선택지 — 어조의 확신과 내용의 정확성은 무관합니다.
  • 분량이 많아도 시간만 들이면 검토된다는 선택지 — 검토할 수 없는 분량이면 줄여서 다시 받아야 합니다.

실습 시나리오

실제 시험과 같은 형식의 시나리오 문제입니다.

임원 보고용 시장 분석을 받았습니다. 다섯 개 항목이 모두 채워져 있고 표도 정돈되어 있어 완성도가 높아 보입니다. 검토 시간이 20분뿐일 때 가장 먼저 확인할 것은 무엇입니까?

빌드 연습 · 검토 체크리스트 만들어 적용하기

30
  1. 1.요청 항목 뽑기

    최근 요청 하나에서 요구했던 항목을 목록으로 옮겨 적습니다.

    기대 결과 · 요청에 있던 항목이 빠짐없이 번호로 정리되어 있습니다.

  2. 2.완결성 대조

    결과물에 각 항목이 실제로 있는지 하나씩 표시합니다.

    기대 결과 · 있음·없음·부분적으로 있음이 항목마다 표시되어 있습니다.

  3. 3.위험 순서 매기기

    결과물에서 틀렸을 때 손해가 큰 부분을 순서대로 세 곳 고릅니다.

    기대 결과 · 세 곳이 지목되고 각각 왜 손해가 큰지 한 줄로 적혀 있습니다.

  4. 4.정확성 대조

    고른 세 곳의 수치와 고유명사를 원자료와 하나씩 맞춰 봅니다.

    기대 결과 · 대조 결과가 맞음·틀림·자료에 없음으로 표시되어 있습니다.

  5. 5.요청문에 반영

    다음 요청에 확인 목록과 "자료에 없음" 표시 규칙을 넣습니다.

    기대 결과 · 다음에 쓸 요청문에 두 가지가 모두 들어가 있습니다.

출처 및 더 읽기