2.3사실 확인과 검증 기법

결과물 전체를 검증하는 것은 대개 불가능합니다. 그래서 확인 대상을 고르는 기준이 필요합니다. 두 축으로 판단합니다.

	틀렸을 때 손해가 크다	손해가 작다
확인이 쉽다	무조건 확인	시간 남으면 확인
확인이 어렵다	확인하거나, 못 하면 빼기	표시만 하고 넘어감

왼쪽 위 칸이 우선입니다. 여기에 해당하는 대표적인 것이 밖으로 나가는 수치입니다. 고객 안내문의 금액, 보도자료의 실적, 제안서의 기간 같은 것들입니다. 확인도 비교적 쉽고 틀리면 손해가 큽니다.

왼쪽 아래 칸이 판단이 필요한 자리입니다. 확인하기 어려운데 중요한 내용이라면 선택지는 둘뿐입니다. 시간을 들여 확인하거나, 그 문장을 빼는 것입니다. 확인하지 않은 채 그대로 두는 것은 선택지가 아닙니다.

실무에서는 이 구분을 미리 정해 두면 편합니다. 예를 들어 팀 규칙으로 "외부에 나가는 문서의 숫자는 전부 원자료 대조"를 정해 두면 매번 판단할 필요가 없습니다.

출처가 함께 나왔다고 확인이 끝난 것은 아닙니다. 세 단계를 봐야 합니다.

1. 그 출처가 실제로 존재하는가 — 없는 보고서나 논문이 인용될 수 있습니다
2. 그 출처에 그 내용이 있는가 — 존재하는 자료인데 내용이 다를 수 있습니다
3. 맥락이 유지되었는가 — 내용은 맞는데 조건이 빠진 경우입니다

3번이 가장 자주 놓칩니다. 원문이 "수도권 대기업 기준 도입률 42%"인데 결과물에는 "도입률 42%"로만 적히는 식입니다. 숫자도 맞고 출처도 맞지만 적용 범위가 사라져 전혀 다른 주장이 됩니다.

링크가 붙어 있을 때도 마찬가지입니다. 링크가 열린다고 해서 그 페이지에 해당 내용이 있다는 뜻은 아닙니다. 열어서 해당 문장을 찾아봐야 확인입니다.

확인을 쉽게 하려면 요청 단계에서 원문 구절을 함께 뽑아 달라고 하는 방법이 있습니다. 자료를 붙여 요청할 때 "각 주장마다 근거가 된 원문 구절을 그대로 인용해 줘"라고 하면, 대조 시간이 크게 줄어듭니다.

같은 질문을 여러 번 물어 답이 같으면 맞다고 보는 방법이 있습니다. 이 방법은 부분적으로만 유효합니다.

답이 매번 다르게 나온다면 그 내용은 확실히 불안정합니다. 이건 유용한 신호입니다. 하지만 답이 매번 같다고 해서 사실인 것은 아닙니다. 같은 근거에서 나온 같은 착각일 수 있습니다.

특히 널리 퍼진 잘못된 정보는 일관되게 반복됩니다. 오래 인용되어 온 통계가 실제로는 출처가 불분명한 경우가 그렇습니다. 이런 내용은 몇 번을 물어도 같은 답이 나오지만 확인해 보면 근거가 없습니다.

그래서 교차 확인은 불안정한 내용을 걸러내는 용도로 쓰고, 확정하는 용도로는 쓰지 않습니다. 확정은 원자료 대조로만 합니다.

다른 각도로 물어보는 방법은 조금 낫습니다. "이 주장에 반대되는 근거가 있는가"라고 물으면 한쪽만 보던 시야가 넓어지는 경우가 있습니다. 다만 이것도 확정 수단은 아닙니다.

확인할 방법이 없는 내용이 남을 때가 있습니다. 내부 자료가 없거나, 원문이 유료이거나, 시간이 없는 경우입니다.

이럴 때 선택지는 세 가지입니다.

선택	언제 쓰는가	함께 해야 할 일
뺀다	그 내용 없이도 결론이 서는 경우	없음
표시하고 남긴다	참고 자료이고 읽는 사람이 판단할 수 있는 경우	"확인 필요" 명시
확인될 때까지 보류	결정의 근거가 되는 경우	언제까지 확인할지 정하기

가장 나쁜 것은 확인하지 않은 채 확인한 것처럼 넘기는 것입니다. 표시 없이 남기면 다음 사람은 그것이 검증된 내용이라고 여깁니다. 문서가 여러 손을 거칠수록 이 위험이 커집니다.

표시는 문서에 남겨야 합니다. 머릿속에만 있으면 전달되지 않습니다. "이 수치는 확인 전"이라는 한 줄이 나중에 큰 문제를 막습니다.