3줄 요약
- AI는 모르는 것도 그럴듯하게 지어낼 수 있습니다. OpenAI는 그 이유를 "모른다고 하는 것보다 추측하는 게 점수가 높게 나오도록 학습·평가되기 때문"이라고 설명합니다.
- 질문할 때 "모르면 모른다고 해", "이 자료 안에서만", "출처를 못 찾으면 지워" 같은 한 줄을 더하면 틀린 답을 줄일 수 있습니다.
- 그래도 0이 되지는 않으니, 숫자·날짜·법률·돈 이야기는 반드시 원문 링크로 직접 확인하세요.
왜 AI는 그럴듯한 거짓말을 할까
OpenAI는 2025년 9월 연구 글에서 환각(hallucination)을 "언어 모델이 만들어 내는 그럴듯하지만 거짓인 진술"이라고 정의했습니다. 원인으로는 학습과 평가 방식이 "불확실하다고 인정하는 것보다 추측하는 것에 보상을 준다"는 점을 꼽았습니다.
객관식 시험을 떠올리면 쉽습니다. 모르는 문제를 비워 두면 0점이지만, 찍으면 맞을 수도 있습니다. 정답률만 보는 채점에서는 찍는 쪽이 유리하고, AI도 같은 방식으로 "모르겠다" 대신 그럴듯한 답을 내도록 길들여진다는 설명입니다.
OpenAI가 같은 글에서 인용한 수치를 보면 차이가 분명합니다 (SimpleQA 평가, GPT-5 시스템 카드 기준).
| gpt-5-thinking-mini | 52% | 22% | 26% |
| o4-mini | 1% | 24% | 75% |
정답률은 거의 같지만, 거의 항상 답을 내놓은 모델은 틀린 답이 세 배 가까이 많았습니다. 그래서 우리가 질문할 때 **"모르면 모른다고 해도 된다"**는 길을 열어 주는 것이 중요합니다.
방법 1. 모르면 모른다고 하게 허락하기
Anthropic(Claude 개발사)의 공식 문서는 환각을 줄이는 첫 번째 방법으로 "모른다고 말할 수 있게 명시적으로 허락하라"를 꼽고, 이 간단한 방법만으로도 잘못된 정보가 크게 줄 수 있다고 설명합니다.
방법 2. 자료를 주고 그 안에서만 답하게 하기
AI가 기억에 기대지 않도록, 확인된 자료를 직접 붙여 넣고 그 범위 안에서만 답하게 합니다. Anthropic 문서의 "외부 지식 제한(External knowledge restriction)" 기법입니다.
[자료]
(공식 페이지 내용 붙여넣기)
방법 3. 답하기 전에 원문 문장부터 뽑게 하기
긴 문서를 다룰 때는 먼저 관련 문장을 그대로 인용하게 하고, 그 인용에만 근거해 답하게 합니다. Anthropic 문서는 이것이 답을 실제 텍스트에 붙잡아 두어 환각을 줄인다고 설명합니다.
그다음 그 문장들만 근거로 답하고, 근거 번호를 표시해줘.
방법 4. 주장마다 출처, 못 찾으면 삭제
답을 받은 뒤 각 주장에 근거를 달게 하고, 근거를 찾지 못한 주장은 스스로 지우게 합니다 (Anthropic 문서의 "Verify with citations").
주의: AI가 단 링크도 가짜일 수 있습니다. 링크는 반드시 직접 눌러서 그 내용이 실제로 있는지 확인하세요.
방법 5. 여러 번 묻고, 다시 검증시키기
같은 질문을 새 대화에서 두세 번 해 보고 답이 서로 다르면 의심합니다(Best-of-N). 또 답을 다시 넣고 "틀린 곳이 있는지 확인해줘"라고 되묻습니다(반복 검증). 둘 다 Anthropic 문서에 나오는 고급 기법입니다.
직접 비교해 보기
[직접 넣기] 같은 질문(예: 관심 있는 ETF의 운용보수와 분배금)을 ① 그냥 물었을 때와 ② 위 방법을 적용했을 때의 실제 화면을 캡처해 넣고, 운용사 공식 페이지 값과 비교한 결과를 2~3줄로 적어 주세요. 예: "그냥 물었을 때는 기준일 없이 숫자를 답했고, 공식 페이지 값과 ○○이 달랐다."
[역할] 너는 사실 확인을 중시하는 조사 도우미야.
[질문] (여기에 질문)
[규칙]
1. 공식 홈페이지·공식 문서를 우선 근거로 쓰고, 주장마다 출처와 기준일을 적어줘.
2. 확실하지 않으면 추측하지 말고 "확인할 수 없음"이라고 써줘.
3. 숫자·날짜·금액은 표로 정리하고, 각 값의 출처 링크를 붙여줘.
4. 마지막에 "직접 확인이 필요한 항목"을 따로 정리해줘.
한계와 주의할 점
- 0으로 만들 수는 없습니다. Anthropic 문서도 이 기법들이 환각을 크게 줄이지만 완전히 없애지는 못하므로, 중요한 결정에는 반드시 검증하라고 적고 있습니다.
- 답이 짧아지거나 "모른다"가 늘 수 있습니다. 위 표에서 보듯 틀린 답을 줄이는 대신 답하지 않는 비율이 늘어납니다. 아이디어 내기처럼 정확성이 덜 중요한 작업에서는 규칙을 느슨하게 하는 편이 낫습니다.
- 투자·건강·법률은 AI 답으로 결정하지 마세요. 이런 주제는 공식 기관 자료와 전문가 확인이 우선입니다.
자주 묻는 질문
Q. ChatGPT와 Claude 모두에 통하나요? 위 방법은 특정 기능이 아니라 질문 방식이라 대부분의 대화형 AI에 쓸 수 있습니다. 다만 근거로 든 문서는 Anthropic 공식 문서와 OpenAI 연구 글이며, 서비스별 효과 차이를 측정한 공식 자료는 찾지 못했습니다.
Q. 질문은 길게 쓸수록 좋나요? OpenAI 도움말은 "명확하고 구체적으로, 충분한 맥락을 주라"고 권합니다. 길이 자체보다 무엇을, 어떤 기준으로, 어떤 형식으로 원하는지가 분명한지가 중요합니다.
참고 자료 (확인일 2026-10-17)
- OpenAI, Why language models hallucinate (2025-09-05)
- Kalai 외, Why Language Models Hallucinate, arXiv (2025-09-04)
- Anthropic, Reduce hallucinations (공식 문서)
- OpenAI Help Center, Prompt engineering best practices for ChatGPT
(참고 자료는 원문을 직접 확인하였습니다. 틀린 부분이 있다면 댓글로 알려주시면 바로 수정하겠습니다.)
댓글