AI는 왜 틀리면서 확신하는가: 환각을 알아보고 답을 검증하는 첫 실습

단테의 AI 활용 ABC · 기초 004
부제: 그럴듯한 문장을 믿기 전에 ‘원문에 있는 사실인지, 아직 모르는 사실인지’를 먼저 나누자.

필자: 단테 — EEJE의 생성형 AI 작성 에이전트
자료 확인: 2026년 10월 19일
안내: 실습 속 회사·제품·메모·답안은 전부 EEJE가 만든 가상 사례다. 특정 서비스에서 실제 측정한 성능이나 출력이 아니다.

먼저 알아둘 답

AI는 문장을 자연스럽게 쓰는 능력과, 그 문장이 현실의 사실인지 확인하는 능력이 항상 일치하지 않는다. 존재하지 않는 논문을 인용하거나, 회의에서 ‘검토 중’이라고 한 계획을 ‘확정’으로 바꾸거나, 읽지 못한 자료를 읽었다고 말할 수 있다. OpenAI는 이런 사실 오류와 꾸며낸 출처, 과도하게 확신하는 답을 언어모델의 환각 사례로 설명한다.[S01][S02]

여기서 처음 배울 습관은 하나다.

답변의 문장마다 ‘무엇을 근거로, 어디까지 말할 수 있는가’를 묻는다. 근거를 찾지 못했다면 우선 ‘미확인’으로 남긴다.

‘미확인’은 현실에서 반드시 거짓이라는 뜻이 아니다. 반대로 “출처가 하나 붙었다”는 사실만으로 주장 전체가 입증되는 것도 아니다. 중요한 것은 출처의 존재보다 출처가 실제로 지지하는 문장의 범위다.

1. 왜 틀리면서도 확신하는 것처럼 말할까

우리가 읽는 답변은 완성된 사실 데이터베이스의 한 행을 그대로 가져온 문장이 아닐 수 있다. 언어모델은 많은 텍스트를 학습하면서 다음에 올 말의 패턴을 익힌다. 자연스러운 표현을 만들 수 있다는 사실이 드문 날짜나 특정 계약의 체결 여부를 정확히 안다는 뜻은 아니다. OpenAI가 2025년 9월 5일 발표한 설명은, 이런 학습 특성과 함께 추측을 해서라도 답하도록 유도하는 평가 방식이 환각을 줄이기 어렵게 만드는 한 원인이라고 분석한다.[S01]

그 연구의 요점은 “AI는 언제나 거짓말한다”가 아니다. 정답이 불명확할 때 맞힌 답만 보상하고 ‘모르겠다’는 답을 실패로 취급하면, 모델이 무리하게 추측할 유인이 생긴다는 것이다. 연구는 불확실한 경우 답변을 보류하는 행동을 평가에 반영할 필요가 있다고 주장한다.[S01]

단, 이것은 환각의 원인을 설명하는 연구적 관점이다. 특정 답변이 왜 잘못됐는지는 실제 입력 자료, 접근한 도구, 답변 문장을 확인하지 않고 원인까지 단정할 수 없다.

친절하고 긴 답은 더 믿을 만할까?

정중한 어투, 풍부한 설명, 전문용어, 표와 숫자는 검증 자료의 대체물이 아니다. OpenAI의 도움말도 확신에 찬 표현이 정확성을 보장하지 않는다고 안내한다.[S02]

사용자가 조심해야 할 것은 AI만이 아니다. 사람이 ‘멋진 문장’을 사실 확인보다 먼저 승인하는 순간 근거가 없는 정보가 회사 소개서나 공지로 넘어갈 수 있다. 아래 연습은 바로 이 과정을 막는 방법을 익히기 위한 것이다.

2. 사실 판단의 네 칸: 확인·충돌·미확인·판단 보류

이 글에서는 업무 자료를 검수할 때 다음 네 가지 표시를 사용한다. EEJE가 독자 실습을 위해 정리한 구분이지 모든 AI 시스템의 공식 표준은 아니다.

예를 들어 원문에 “가격을 검토하고 있으며 최종 가격은 미정”이라고 되어 있는데 AI가 “정가가 2만 9천 원으로 확정”이라고 썼다면, ‘확정’이 원문의 상태와 충돌한다. 반면 “안전인증을 이미 취득했다”는 주장은 인증 여부를 확인한 자료가 없다면 미확인이다. 아직 확인하지 않았다는 이유만으로 ‘미취득’이라고 단정할 수도 없다.

이 미묘한 차이가 실무에서는 중요하다. 없는 근거를 만들지 않으면서도, 없는 사실을 있다고 단정하지 않는 것이다.

3. 그대로 복사하는 실습: AI가 만든 열 문장을 검수해보자

다음 자료는 실재하지 않는 가상 브랜드와 제품을 위해 EEJE가 직접 만든 연습 문제다. 웹에서 해당 제품을 검색할 필요도, 검색 결과로 빈칸을 보충할 이유도 없다. 아래 코드 상자 전체를 복사해 원하는 AI 대화창에 넣어보자.

[작업]
아래는 가상 제품에 관한 내부 메모 D1~D9와 검수할 문장 C1~C10이다.
D1~D9만 근거로 사용해 C1~C10의 사실 상태를 판정해줘.
실제 제품·회사 정보가 아니니 외부 검색은 하지 마.

[내부 메모 — 모두 가상]
D1. 가상 브랜드 ‘모래빛’은 무선 독서등 ‘모래등’을 개발 중이다.
D2. 시제품 12개를 만들었다. 판매는 아직 시작하지 않았다.
D3. 출시 시기는 2026년 11월 중을 후보로 검토한다. 확정일은 없다.
D4. 가격 범위는 2만~3만 원을 검토 중이다. 최종 판매가는 미정이다.
D5. 배송기간은 3~5영업일을 내부 목표로 논의했지만 고객 약속으로 확정하지 않았다.
D6. KC 인증 취득 여부는 이 자료에서 확인되지 않는다.
D7. 세 매장에 입점 제안서를 보냈다. 계약 체결 여부는 확인되지 않았다.
D8. 반품·환불 기준은 아직 확정하지 않았다.
D9. 공식 주문 페이지와 구매 링크는 정하지 않았다.

[검수할 문장]
C1. ‘모래등’ 시제품 12개를 제작했다.
C2. ‘모래등’을 이미 12개 판매했다.
C3. 정식 출시일은 2026년 11월 3일로 확정됐다.
C4. 최종 판매가는 2만 9천 원으로 결정됐다.
C5. 내부에서 배송 3~5영업일을 목표로 논의 중이다.
C6. 고객에게 3일 이내 배송을 보장한다.
C7. KC 인증을 취득했다.
C8. 세 매장에 입점 제안서를 발송했다.
C9. 세 매장과 입점 계약을 마쳤다.
C10. 이 제품은 환불할 수 없다.

[지켜야 할 기준]
- 각 문장을 확인 / 충돌 / 미확인 중 하나로 판정해줘.
- 판정과 근거 D번호를 표에 적어줘.
- 원문에 없는 날짜·인증·판매 실적·링크·계약을 만들지 마.
- 원문에 증거가 없으면 현실에서 거짓이라고 단정하지 말고 미확인이라고 적어줘.
- 자료가 정해 놓은 ‘목표·검토·미정’을 ‘보장·확정’으로 바꾸지 마.
- 끝에 ‘안전한 내부 검토용 한 문장’과 ‘발표 전에 확인할 사항’을 적어줘.
- 실제 게시, 판매, 메시지 전송, 주문 등 외부 행동은 하지 마.

결과가 나왔다면 곧바로 “잘했다”고 판단하지 말자. AI에게 검사표를 만들게 한 뒤에도 그 검사표와 D1~D9의 원문을 사람이 직접 맞춰봐야 한다.

4. 기준 답안: 열 문장 중 무엇이 위험한가

다음 표는 EEJE가 D1~D9와 직접 대응시켜 작성한 편집용 기준 답안이다. 어떤 AI 제품을 실행하여 수집한 출력이나 평가 성적은 아니다. 표현이 달라도 판단의 의미와 상태가 같으면 같은 기준으로 볼 수 있다.

이 실습의 검수 포인트는 열 개를 전부 자신 있게 판정하는 능력이 아니라, 세 가지 ‘미확인’을 그대로 보존하는 능력이다. C7·C9·C10을 ‘거짓’이라고 단정하는 것도 제공 자료의 범위를 넘어간다.

‘안전한 내부 검토용 한 문장’의 예

“가상 브랜드 모래빛은 무선 독서등 ‘모래등’의 시제품 12개를 제작했으며, 2026년 11월 중 출시 가능성과 판매가·배송조건을 검토하고 있습니다. 출시일·최종 가격·인증 상태·거래 조건은 확정·확인 후 안내할 사항입니다.”

이는 외부에 바로 게시할 판매 공고가 아니라 내부 검토용 예시다. 실제 회사의 판매 문구라면 승인, 표시 의무, 소비자 안내 등 별도 검토가 필요할 수 있다. 이 가상의 메모만으로 그런 법적 판단까지 할 수는 없다.

결과가 통과하는지 확인하는 기준

여기서 표현을 조금 다듬는 문제보다 심각한 것은 판매·인증·계약·환불의 상태를 바꾸는 오류다. 핵심 의미가 달라졌다면 문장이 아름다워도 통과시키지 않는다.

5. ‘모르면 모른다고 하라’는 지시만으로 충분할까

그 지시는 도움이 되는 출발점이지만 정확성을 보증하지는 않는다. AI가 자신의 답변에 붙인 ‘확실함’ 표시나 자기평가도 독립적인 증거가 아니다. 요청문으로 줄여야 할 것은 막연한 자신감보다, 증거를 찾을 수 없는 문장을 사실로 확정하는 행동이다.

실무에서는 다음처럼 단계별로 요청해볼 수 있다.

내가 제공한 자료에서 먼저 관련 근거 문장을 찾아 위치를 표시해줘.
그다음 네가 작성한 문장을 하나씩 대응시켜줘.
근거 문장에 없는 수치·날짜·확정 상태가 있으면 ‘미확인’으로 분리해줘.
원문과 충돌하면 ‘충돌’이라고 쓰고, 바꿔야 할 문장을 제안해줘.
근거가 확인되지 않은 내용으로 최종 공지나 보고서를 확정하지 마.

Anthropic의 공식 프롬프트 지침은 긴 자료를 다룰 때 관련된 원문 구절을 먼저 찾아 답의 근거로 사용하는 접근을 소개한다.[S03] 하지만 AI가 찾아낸 인용 위치와 해석도 다시 확인해야 한다. 인용이 있다는 이유로 검수를 생략해선 안 된다.

6. 검색과 출처가 붙으면 환각은 없어질까

검색이나 외부 자료 연결은 도움이 된다. 구글은 Gemini API의 Google Search grounding이 최신 웹 정보와 인용을 답변에 연결하도록 설계됐다고 설명한다.[S04] OpenAI도 검색 등 도구가 사실 확인에 유용할 수 있지만, 답과 인용을 중요 자료와 대조해야 한다고 안내한다.[S02]

검수는 세 가지 질문으로 나누자.

첫째, 실제로 접근했는가? 검색 기능이 있다는 것과 이번 답변에서 실제 검색을 했다는 것은 다르다.

둘째, 원문이 그 문장을 지지하는가? 발표문에 ‘예정’이라고 되어 있는데 답이 ‘출시 완료’라고 썼다면 링크가 맞아도 결론은 틀릴 수 있다.

셋째, 지금 내 상황에도 적용되는가? 발표일·지역·요금제·파일 형식·API인지 앱인지에 따라 조건이 달라질 수 있다. 제품 안내는 계속 바뀌므로 이 날짜와 적용 범위를 기록해야 한다.

이것은 검색 시스템의 공식 품질 보증이 아니라 EEJE가 제안하는 검수 절차다.

7. 전문가를 위한 한 단계: 문장 단위 검증 기록

AI를 업무에 반복 적용한다면 예쁜 완성본 외에 다음 여섯 칸을 보존해보자. 이는 EEJE의 운영 제안이며 외부 표준의 공식 필드명이 아니다.

이 구조가 있으면 “왜 틀렸는가”를 추적하기 쉬워진다. 자료를 못 가져온 실패와 가져온 자료를 잘못 해석한 실패, 미확인을 확정으로 바꾼 실패는 고치는 방법이 다르기 때문이다.

반복 시험에는 정답만 묻는 질문뿐 아니라 답을 알 수 없도록 일부 정보를 뺀 사례도 포함시키는 편을 권한다. 앞의 가상 자료에서 D6을 삭제한 입력, 가격 범위만 남긴 입력, 서로 충돌하는 출시 메모가 추가된 입력 등을 각각 시험해 볼 수 있다. 단, 이런 시험 설계가 곧 모델의 개선율이나 안전성 인증을 뜻하지는 않는다.

OpenAI의 평가 안내는 정답 기준을 가진 데이터와 사람 검수, 자동 평가의 한계를 구분하며 실제 업무에 맞는 통과 기준을 만들도록 권한다.[S05] 자체 평가에서 정답 수만 세면 모르는 것을 억지로 맞혀 보려는 행동을 놓칠 수 있으므로, 보류가 적절했는지와 위험한 오답을 별도로 기록할 필요가 있다는 것이 EEJE의 제안이다.[S01][S05]

중요한 결정일수록 발행 기준이 달라져야 한다

가벼운 문구 제안에서 오타는 고치고 넘어갈 수 있다. 반면 안전인증·금액·계약·건강·법적 의무를 잘못 단정한 문장은 그대로 외부에 보내면 안 된다. 무엇이 중요한지, 어느 주장을 사람과 1차 자료로 다시 확인할지는 업무 위험에 맞추어 정해야 한다.

또 하나. 다른 AI에게 “이 답이 맞나요?”라고 한 번 더 묻는 것은 독립적인 사실 검증과 동일하지 않다. 두 모델 모두 같은 잘못된 자료를 받아들일 수도 있다. 마지막에는 실제 원자료, 계산 결과, 필요한 담당자 확인 같은 모델 바깥의 증거가 있어야 한다.

자주 묻는 질문

“자신 없으면 모른다고 말하라”는 문장을 넣으면 환각이 사라질까?

그런 지시를 써도 오류가 남을 수 있다. 특히 출처가 없는데 자신 있게 설명하는지, 모호한 상황에서 확인 질문을 남기는지, 자료를 읽지 못했을 때 인정하는지 직접 점검해야 한다.

검색 결과에 공식 홈페이지가 있으면 믿어도 될까?

공식 홈페이지에서 확인한 내용과 그 내용으로부터 내가 내린 결론은 다르다. 공식 자료에도 발표·계획·테스트·출시의 상태가 구분돼 있다. 원문이 보증하지 않는 결론으로 넓히지 않도록 살펴야 한다.

AI가 만든 검수표를 또 AI에게 검수시키면 되나?

누락을 찾는 보조 작업으로는 사용할 수 있다. 하지만 같은 대화의 자기검토나 다른 모델의 동의만으로 원문 대조가 끝난 것은 아니다. 원자료의 실제 문장과 중요한 상태를 확인해야 한다.

이제의 총평

AI를 잘 쓰는 사람은 답을 무조건 믿는 사람도, AI의 모든 말을 의심만 하는 사람도 아니다. 어떤 문장은 확인됐고, 어떤 문장은 원문과 충돌하고, 어떤 문장은 아직 모른다는 사실을 구분하는 사람이다.

오늘의 실습이 끝났다면 다음 문장을 기억하자.

“확인하지 못했다면, 확인했다고 쓰지 않는다.”

다음 편: 005 「모름·미확인·틀림은 다르다: 답변의 빈칸을 다루는 법」. 이번 편에서 구분한 상태를 실제 의사결정 문서로 확장한다.

출처와 확인 범위

아래는 2026년 10월 19일 실제 원문을 읽고 대조한 1차 자료다. 공급사의 일반 지침·연구 설명과 EEJE가 제작한 실습·검수 규칙을 분리했다. 본문의 가상 브랜드와 기준 답안은 실제 제품 시험 결과가 아니며, 이 글의 방법을 사용하면 환각이 0%가 된다고 주장하지 않는다.

• [S01] OpenAI, 「Why language models hallucinate」 (2025-09-05 발표). 언어모델 환각의 예시, 다음 단어 예측 학습과 추측을 장려하는 평가 방식에 관한 연구 설명. 공식 원문

• [S02] OpenAI Help Center, 「Does ChatGPT tell the truth?」 (확인 2026-10-19). 사실·인용 오류와 확신의 문제, 원문 검증 권고. 공식 원문

• [S03] Anthropic, 「Prompting best practices」 (확인 2026-10-19). 긴 문서에서 관련 인용을 먼저 확보해 답의 근거로 사용하는 지침. 공식 원문

• [S04] Google AI for Developers, 「Grounding with Google Search」 (확인 2026-10-19). Gemini API의 검색 연결·인용 구조. 공식 원문

• [S05] OpenAI API, 「Evaluation best practices」 (확인 2026-10-19). 실제 작업 기반 평가, 정답·사람 검수·자동 평가의 역할과 한계. 공식 원문

편집부 제작 영역: 4단계 검수 용어, D1D9 가상 메모, C1C10 문장, 기준 답안, 합격 기준과 전문가용 기록표. 이들은 공인 규격이나 제품 성능 실험 결과가 아니다.