AI 답변 검증 루틴 만들기

이 수업에서 얻는 것

AI는 모르는 것을 모른다고 하는 대신, 그럴듯한 답을 자신 있게 만들어 낼 때가 있습니다. 이를 환각(hallucination)이라 부릅니다. 자문 문서에 잘못된 수치나 존재하지 않는 법 조항이 들어가면 전문가의 신뢰가 무너집니다. 이 수업에서는 환각을 걸러내는 3단계 검증 루틴을 습관으로 만듭니다.

어디서 환각이 잘 나는가

경험상 위험 구역은 정해져 있습니다. 구체적 숫자(시장 규모, 통계 수치), 고유명사(법령 이름, 기관명, 제도명), 최신 정보(작년 이후 바뀐 것), 그리고 출처 표기입니다. 특히 AI가 "2024년 통계청 자료에 따르면"이라고 출처까지 붙여서 말할 때가 가장 위험합니다. 출처 표기 자체가 지어낸 것일 수 있기 때문입니다.

따라 하기 — 3단계 루틴

1단계, 처음부터 출처를 요구합니다. "답변에 나오는 모든 수치와 제도에 대해 확인 가능한 출처를 함께 제시해 달라. 확실하지 않으면 확실하지 않다고 표시해 달라." 이 지시만으로 AI가 불확실한 부분을 표시해 주는 경우가 많아집니다.

2단계, 위험 구역만 교차 확인합니다. 전부 검증할 필요는 없습니다. 문서에서 숫자·법령·기관명·연도만 형광펜으로 표시한다는 느낌으로 골라내고, 그 항목만 원출처에서 확인합니다.

3단계, 원출처는 공식 사이트로 갑니다. 법령은 국가법령정보센터, 통계는 국가통계포털(KOSIS), 정부 제도는 해당 부처 사이트. AI에게 "그 출처의 링크를 달라"고 해서 받은 링크도 반드시 직접 열어 봅니다. 링크가 열리지 않거나 내용이 다르면 그 항목은 문서에서 뺍니다.

VELOR 적용 사례

VELOR의 콘텐츠 운영 원칙 중 하나가 "확인 안 된 수치는 싣지 않는다"입니다. 발행된 96편의 아티클은 통계 인용 시 표본 범위와 기준 연도를 함께 표기하고, 확인 불가한 수치는 삭제하는 검증을 거칩니다. 검증 루틴은 개인의 습관이자 서비스의 운영 원칙입니다.

체크리스트

출처 제시와 불확실 표시를 처음부터 요구했는가
숫자·법령·기관명·연도를 골라 교차 확인했는가
받은 링크를 직접 열어 내용을 대조했는가
확인 안 되는 항목을 문서에서 뺐는가

공식 자료

흔한 실수 3가지

첫째, AI가 붙인 출처를 확인 없이 그대로 옮기는 것 — 출처 표기 자체가 환각일 수 있으므로 링크를 직접 엽니다. 둘째, 검증을 문서 완성 후로 미루는 것 — 잘못된 수치 위에 논리를 쌓으면 문서 전체를 다시 써야 하므로, 수치가 나오는 즉시 확인합니다. 셋째, 한 AI의 답을 다른 AI로 "교차 확인"했다고 안심하는 것 — 같은 오류를 함께 낼 수 있으므로 최종 확인은 반드시 원출처(공식 사이트·원문)로 합니다. 검증 루틴은 시간을 뺏는 절차가 아니라, 문서를 다시 쓰는 최악의 시간을 막아 주는 보험입니다.