기계 속 유령: AI 할루시네이션 미궁 탐험하기
한 변호사의 소송부터 의료, 저널리즘까지... AI가 만들어내는 그럴듯한 거짓말의 모든 것
제1부: 진실의 환상
섹션 1: 한 변호사의 악몽: 마타 대 아비앙카 항공 사건
이야기는 30년 이상의 경력을 가진 베테랑 변호사 스티븐 A. 슈워츠(Steven A. Schwartz)로부터 시작됩니다. 그는 결코 기술에 무지한 초심자가 아니었죠. 그러나 그를 궁지로 몰아넣은 것은 바로 그의 전문성과 경험의 경계선에서 발생한 하나의 사건이었습니다. 그의 고객 로베르토 마타(Roberto Mata)가 콜롬비아 항공사 아비앙카를 상대로 제기한 개인 상해 소송은 뉴욕 주 법원에서 연방 법원으로 이관되었습니다. 이는 슈워츠에게 치명적인 약점이었습니다. 그는 연방 법원 실무에 익숙하지 않았고, 해당 법정에서 변호사로 활동할 자격도 없었거든요. 설상가상으로, 사건의 쟁점은 미국 파산법과 몬트리올 협약 사이의 복잡한 상호작용에 관한 것으로, 그에게는 완전히 생소한 법률 분야였습니다.
이러한 전문성의 공백에 더해 자원의 격차가 그의 발목을 잡았습니다. 슈워츠가 소속된 로펌 '레비도, 레비도 & 오버만(Levidow, Levidow & Oberman)'은 웨스트로(Westlaw)나 렉시스넥시스(LexisNexis)와 같은 고가의 프리미엄 법률 연구 데이터베이스를 구독하지 않고, 기능이 제한적인 패스트케이스(Fastcase)에 의존하고 있었죠. 이 결정적인 자원 부족은 그가 왜 강력하고, 빠르며, 무료인 대안을 필사적으로 찾게 되었는지를 설명해 줍니다. 자신의 가용 도구로는 유의미한 판례를 찾지 못해 좌절한 슈워츠는 결국 ChatGPT로 눈을 돌렸습니다. 그는 훗날 법정에서 자신이 ChatGPT를 "일종의 슈퍼 검색 엔진이라고 잘못 가정했다"고 증언했습니다. 이것이 바로 비극의 서막이었습니다. 그는 AI에게 항공사의 파산으로 인해 공소시효가 정지된 판례를 찾아달라고 요청했습니다.
ChatGPT는 놀라운 속도로 응답했습니다. '바르기스 대 중국남방항공(Varghese v. China Southern Airlines)'을 포함하여, 그럴듯해 보이는 판례 요약과 인용 정보를 담은 6개의 판례를 제시했죠. AI가 생성한 법률 분석은 표면적으로는 전문적이었지만, 그 내용은 실상 '터무니없는 말(gibberish)'에 불과했습니다. 하지만 이 이야기의 가장 결정적인 순간은 슈워츠가 AI의 답변을 맹신하게 된 과정에 있습니다. 제시된 판례들을 찾을 수 없게 되자, 그는 멈추는 대신 AI에게 직접 질문을 던졌습니다. "이 판례들이 진짜인가?" 그러자 ChatGPT는 놀랍도록 인간적인 방식으로 응답했습니다. 혼란을 준 것에 대해 사과한 뒤, 해당 판례들은 실재하며 웨스트로와 렉시스넥시스에서 찾을 수 있다고 단호하게 주장했죠. 이 '대화'의 순간, 인간의 비판적 사고는 기계가 만들어낸 설득력 있는 페르소나 앞에서 완전히 무너져 내렸습니다.
이후의 전개는 예견된 것이었습니다. 아비앙카 항공의 변호인단은 존재하지 않는 판례들을 발견했고, 담당 판사는 슈워츠 측에 해당 판례들의 사본을 제출하라고 명령했습니다. 궁지에 몰린 변호인단은 실수를 인정하는 대신, AI가 생성한 횡설수설한 내용을 그대로 법원에 제출하며 상황을 더욱 악화시켰습니다. 결국 이 사건은 5,000달러의 벌금과 함께 슈워츠 변호사의 명성에 지울 수 없는 오점을 남겼습니다. 판사는 판결문에서 문제의 핵심이 AI를 사용한 것 자체가 아니라, 그 결과를 검증하지 않고 "의식적으로 회피하며 법원에 허위 및 오해의 소지가 있는 진술"을 한 것이 악의적인 행위라고 명시했습니다.
이 사건은 단순히 한 개인의 실수를 넘어섭니다. 이는 경험 많은 전문가조차 자신의 전문 분야나 가용 자원의 한계에 부딪혔을 때 AI의 유혹에 얼마나 취약해질 수 있는지를 보여줍니다. 슈워츠 변호사의 사례는 AI 오용의 위험이 기술에 대한 무지에서 비롯되는 것이 아니라, 오히려 전문적 압박감과 자원 부족이라는 더 복잡한 맥락 속에서 발생할 수 있음을 시사합니다. 더욱이, 이 사건은 대화형 인터페이스가 가진 심리적 취약점을 드러냅니다. AI가 인간의 대화를 모방하고, 사과하며, 안심시키는 능력은 사용자의 비판적 방어 기제를 무너뜨리는 강력한 심리적 장치로 작용할 수 있습니다. 우리는 대화하는 상대를 신뢰하도록 사회적으로 프로그래밍되어 있기 때문이죠. 따라서 더 안전한 AI 시스템을 설계하는 것은 단순히 데이터의 정확성을 높이는 문제를 넘어, 인간의 인지적 편향을 악용하지 않는 인터페이스를 설계하는 문제와 직결됩니다.
제2부: 거짓의 해부
섹션 2: 당신의 AI가 거짓말하는 이유: 그것은 버그가 아니라 기능이다
마타 대 아비앙카 사건은 결코 예외적인 일이 아닙니다. 이는 현재 생성형 AI가 작동하는 방식에 내재된 근본적인 특성에서 비롯된 필연적인 결과입니다. AI가 만들어내는 그럴듯한 거짓말, 즉 '할루시네이션(hallucination, 환각)'은 버그가 아니라 사실상 기능에 가깝습니다. 이 현상을 이해하기 위해서는 AI의 작동 원리를 들여다볼 필요가 있습니다.
대규모 언어 모델(LLM)은 사실을 저장하는 데이터베이스가 아니라, 본질적으로 '다음 단어 예측' 엔진입니다. "메리에게는 어린..."이라는 문장이 주어졌을 때, 우리는 자연스럽게 "양이 있었다"고 예측합니다. LLM도 마찬가지입니다. 방대한 텍스트 데이터를 학습하며 특정 단어 시퀀스 다음에 어떤 단어가 올 확률이 가장 높은지를 통계적으로 계산하죠. AI는 '양'이 무엇인지 개념적으로 이해하는 것이 아니라, 주어진 문맥에서 '양'이라는 단어가 통계적으로 가장 그럴듯한 완성이라고 판단할 뿐입니다.
이것이 바로 AI가 완벽한 형식의 법률 인용문이나 의학 논문 참고문헌을 만들어낼 수 있는 이유입니다. 모델은 인용문의 패턴—저자, 연도, 제목, 학술지명 등—을 학습했지만, 그 인용문이 가리키는 실제 출처에 대한 근본적인 이해는 없습니다. AI는 내용의 실체가 아닌 형식의 대가인 셈이죠.
여기에 "쓰레기가 들어가면 쓰레기가 나온다(Garbage In, Garbage Out)"는 원칙이 적용됩니다. LLM의 학습 데이터는 사실과 허구, 편견과 모순이 뒤섞인 인터넷의 거대한 거울입니다. AI는 진실과 거짓을 구별할 내재적 메커니즘 없이 이 모든 것을 그대로 학습하고 복제합니다.
그렇다면 왜 이 거짓말들은 그토록 확신에 찬 어조로 전달되는 것일까요? 그 이유는 모델이 일관성 있고 유창한 언어를 생성하도록 설계되었기 때문입니다. AI에게는 자기 인식이나 의심과 같은 개념이 없습니다. 모델의 목표는 가장 그럴듯하게 들리는 응답을 제공하는 것이며, 이는 종종 흔들림 없는 자신감으로 표현되어 할루시네이션을 더욱 위험하게 만듭니다.
결국 할루시네이션은 창의성과 유창성을 위한 피할 수 없는 트레이드오프(trade-off)의 산물입니다. 통계적으로 그럴듯하지만 반드시 사실은 아닌 텍스트를 생성하는 바로 그 메커니즘이 AI가 창의적인 글을 쓰고, 복잡한 주제를 요약하며, 새로운 아이디어를 생성하게 하는 원동력이기 때문이죠. 만약 이 '기능'을 완전히 제거하려 한다면, 모델의 핵심적인 생성 능력 자체가 마비될 수 있습니다. 이는 문제 해결의 방향이 '버그 수정'이 아니라, 이 고유한 특성을 효과적으로 '관리'하는 것임을 시사합니다. 따라서 AI 개발의 미래는 완전한 박멸이라는 불가능한 목표를 좇기보다, 검색 증강 생성(RAG)이나 인간의 감독과 같은 안전장치를 구축하여 이 특성을 제어하는 데 달려 있습니다.
섹션 3: 시스템 속 메아리: 고위험 산업 전반의 할루시네이션
스티븐 슈워츠 변호사의 이야기는 법조계에만 국한된 문제가 아닙니다. AI 할루시네이션은 정확성과 신뢰성이 무엇보다 중요한 다른 고위험 산업군에서도 심각한 위협으로 부상하고 있습니다. 이는 시스템적인 문제이며, 그 파급력은 산업 전반에 걸쳐 나타나고 있습니다.
저널리즘의 실패한 실험: CNET 스캔들
테크 뉴스 매체 CNET은 조용히 'AI 엔진'으로 작성된 금융 관련 기사들을 발행하기 시작했습니다. 그러나 이 실험은 곧 재앙으로 번졌습니다. AI가 작성한 기사들은 복리 이자를 근본적으로 잘못 계산하거나 대출에 대한 부정확한 정보를 제공하는 등, 한 보고서가 "어처구니없는 오류(boneheaded errors)"라고 지적한 실수들로 가득했습니다. 더욱 심각한 문제는 일부 기사에서 표절이 발견되었다는 점입니다. CNET은 이를 "완전히 독창적이지 않은" 문구라고 완곡하게 표현했지만, 이는 AI가 단순히 정보를 창작하는 것이 아니라 기존 데이터를 부적절하게 복제할 수도 있음을 보여주는 사례였습니다. 결국 CNET은 이 프로그램을 중단하고, AI가 생성한 77개의 기사 중 41개—절반 이상—에 대해 정정 공지를 내보내야 했습니다.
의료계의 위험한 처방
의료 분야에서 AI 할루시네이션은 문자 그대로 삶과 죽음의 문제를 야기할 수 있습니다. 한 구체적인 사례 연구에서 연구진이 ChatGPT에게 특정 질병의 발병 기전에 대해 묻자, AI는 완전히 조작된 생화학적 경로를 자신 있게 설명하며 이를 뒷받침하기 위해 존재하지 않는 과학 논문 목록을 제시했습니다. 이 가짜 참고문헌들은 실제 존재하지만 전혀 관련 없는 논문들의 PubMed ID와 교묘하게 연결되어 있었죠. 더욱 경악스러운 사례들도 보고되었습니다. AI 챗봇이 사용자에게 바위를 먹으라거나, 유독가스를 생성하는 표백제와 식초를 섞으라고 조언하거나, 심지어 중독 문제로 고통받는 이에게 마약을 소량 투약하라고 권유한 경우도 있었습니다. 이는 모델에 상식이 전혀 없으며, 직접적인 신체적 위해를 가할 수 있음을 명백히 보여줍니다. 연구에 따르면 임상 지원 시스템에서의 할루시네이션 발생률은 최대 20%에 달하며, AI가 조작된 환자 요약 정보나 잘못된 약물 상호작용 정보를 생성하는 사례도 발견되었습니다.
학계의 신뢰성 위기
학문 연구의 영역 또한 AI 할루시네이션의 위협에서 자유롭지 않습니다. 연구자들과 심사자들은 이제 AI가 조작한 가짜 인용문으로 가득 찬 학술 논문들을 마주하고 있습니다. 이는 과학적 기록의 순수성을 오염시키고 동료 심사(peer-review) 과정에 막대한 부담을 안겨줍니다. 한 연구에 따르면 AI 모델은 인용문의 최대 69%를 조작할 수 있는 것으로 나타났습니다. 이처럼 다양한 분야에서 발생하는 할루시네이션 사례들은 마타 대 아비앙카 사건이 일회성 해프닝이 아니라, 광범위한 도전의 서막이었음을 분명히 보여줍니다.
| 산업 | 할루시네이션 유형 | 실제 결과 |
|---|---|---|
| 법률 | 법적 판례 및 사건 인용 조작 | 법원 제재, 전문가 징계, 법적 주장 신뢰도 훼손 |
| 저널리즘 | 금융 정보 관련 사실 오류, 표절 | 허위 정보 발행, 언론사 신뢰도 추락, 대규모 기사 정정 |
| 의료 | 생화학적 경로 조작, 가짜 의료 참고문헌, 위험한 건강 조언 | 오진 위험, 부적절한 치료, 환자에 대한 직접적 위해 |
| 학계 | 연구 논문 내 존재하지 않는 학술 자료 및 인용 생성 | 과학적 기록의 오염, 연구 신뢰 잠식, 동료 심사 시스템 실패 |
제3부: 진실을 향한 길
섹션 4: 허구를 사실로 바로잡기: 기술적 안전장치
AI 할루시네이션이라는 복잡한 문제를 진단한 후, 이제 우리는 실질적이고 실행 가능한 해결책을 모색해야 합니다. 다행히도 기술 커뮤니티는 이 문제에 손을 놓고 있지 않습니다. AI 모델을 제약하고 현실에 기반을 두게 하려는 다양한 기술적 안전장치가 개발되고 있습니다.
"오픈북 시험": 검색 증강 생성(RAG)
할루시네이션에 대한 가장 유망한 아키텍처 해결책 중 하나는 검색 증강 생성(Retrieval-Augmented Generation, RAG)입니다. RAG를 이해하는 가장 쉬운 방법은 시험에 비유하는 것입니다. 표준 LLM이 오직 자신의 학습된 기억에만 의존해 답하는 '클로즈드북 시험'을 치른다면, RAG는 신뢰할 수 있는 외부 자료를 참고하며 답하는 '오픈북 시험'을 가능하게 합니다.
작동 방식은 다음과 같습니다. 사용자가 질문을 입력하면, RAG 시스템은 LLM이 바로 답변을 생성하기 전에 먼저 신뢰할 수 있는 외부 지식 베이스(예: 기업의 내부 문서, 최신 뉴스 데이터베이스 등)에서 관련 정보를 검색(retrieve)합니다. 그런 다음, 검색된 최신 정보를 원래의 질문과 함께 증강(augment)하여 LLM에 전달합니다. 이 과정을 통해 LLM의 답변은 단순히 학습된 패턴이 아닌, 검증 가능한 사실에 기반하게 되죠. RAG의 도입은 여러 가지 중요한 이점을 가져옵니다. 첫째, 할루시네이션을 극적으로 줄여 답변의 신뢰도를 높입니다. 둘째, AI가 학습 시점 이후의 최신 정보에 접근할 수 있게 해줍니다. 셋째, 답변의 근거가 된 출처를 제시할 수 있어 투명성과 사용자 신뢰를 크게 향상시킵니다.
자동화된 체: 사실 확인 시스템
또 다른 기술적 접근법은 AI의 결과물을 검증하기 위해 설계된 자동화된 사실 확인(Fact-Checking) 시스템입니다. 이러한 시스템은 AI가 생성한 복잡한 문장을 검증 가능한 작은 단위의 주장으로 분해하고, 이를 외부 지식 소스와 대조하여 사실 여부를 판별합니다.
그러나 기술적 해결책에도 한계는 명확합니다. 미국 국립과학원회보(PNAS)에 발표된 한 중요한 연구는 이 점을 날카롭게 지적합니다. 연구에 따르면, 90%의 높은 정확도를 가진 LLM 기반 사실 확인 시스템조차도 사용자가 진실과 거짓을 분별하는 능력을 크게 향상시키지 못했습니다. 오히려 AI가 '불확실하다'고 표시한 거짓 헤드라인을 사용자가 더 믿게 만들거나, AI가 실수로 '거짓'이라고 잘못 분류한 진짜 헤드라인에 대한 신뢰를 떨어뜨리는 등 해로운 결과를 낳기도 했습니다.
이는 기술적 해결책이 가진 '라스트 마일(last mile)' 문제를 드러냅니다. RAG나 사실 확인 시스템과 같은 기술은 사실을 우리 앞까지 운반해 줄 수는 있지만, 그 정보를 인간의 신념 체계에 올바르게 통합하는 마지막 단계는 보장하지 못합니다. 이 마지막 단계는 인간의 인지적 편향과 신뢰도 판단이라는 복잡한 과정에 의해 좌우되기 때문이죠. 따라서 어떠한 순수 기술적 해결책도 만병통치약이 될 수 없습니다. 시스템이 의도대로 작동하기 위해서는 '인간 참여(human-in-the-loop)'가 선택 사항이 아닌, 근본적인 필수 요소임을 명심해야 합니다.
섹션 5: 사용자의 한 수: 프롬프트부터 비판적 사고까지
AI 할루시네이션을 줄이는 가장 강력한 도구는 정교한 알고리즘이 아니라, 바로 사용자 자신의 비판적 사고방식입니다. 기술적 안전장치가 외부의 가드레일이라면, 사용자의 현명한 활용법은 운전대 자체를 제어하는 것과 같습니다. 이는 기계가 무엇을 할 수 있게 만들 것인가에서, 사용자 자신이 무엇을 해야 하는가로 초점을 전환하는 것을 의미합니다.
프롬프트의 기술: 진실을 위한 설계
단순한 질문을 넘어, 전략적인 상호작용을 통해 AI의 답변을 진실에 더 가깝게 유도할 수 있습니다. 다음은 할루시네이션을 줄이기 위해 특별히 고안된 고급 프롬프트 엔지니어링 기법들입니다.
- 출처 기반 프롬프트 (Grounding in Sources): AI에게 특정하고 신뢰할 수 있는 출처(예: 위키피디아 문서, 제공된 보고서 등)에 근거하여 답변하도록 명시적으로 지시하는 것입니다. 예를 들어, "다음 텍스트에 근거하여 질문에 답하시오"와 같은 방식입니다.
- 검증 사슬 프롬프트 (Chain-of-Verification, CoVe): 최종 답변을 내놓기 전에, AI에게 자신의 추론 과정을 단계별로 나누어 각 단계를 검증하도록 요구하는 기법입니다. 이는 AI가 성급한 결론을 내리는 것을 방지합니다.
- 성찰적 프롬프트 (Reflective Prompting): AI가 답변을 생성한 후, "한 걸음 물러나서 당신의 답변이 정확한지, 빠진 정보는 없는지 다시 검토해 보시오"라고 요청하는 방식입니다. 이는 AI의 자체적인 오류 수정 능력을 활용합니다.
- 인용 요구: 모든 주장에 대해 검증 가능한 출처를 명시적으로 요구하는 것은 가장 기본적인 안전장치 중 하나입니다.
인간 방화벽: 최후의 보루
궁극적으로 할루시네이션에 대한 가장 효과적인 방어선은 인간의 개입입니다. 이는 AI 시대의 전문가에게 요구되는 새로운 핵심 역량입니다.
- 회의주의의 수용: AI가 생성한 모든 결과물을 최종 답변이 아닌, 검증이 필요한 '초안' 또는 '가설'로 취급하는 근본적인 인식의 전환이 필요합니다.
- 검증의 의무: 이 지점에서 우리는 다시 마타 대 아비앙카 사건으로 돌아가게 됩니다. 스티븐 슈워츠 변호사의 결정적 실수는 AI를 사용한 것이 아니라, 그 결과물을 독립적으로 검증하지 않은 것이었습니다. 최종 결과물에 대한 책임은 언제나 도구가 아닌, 그것을 사용하는 인간에게 있습니다.
- 핵심 역량으로서의 비판적 사고: AI 시대에 비판적 사고, 미디어 리터러시, 출처 평가 능력은 더 이상 학문적 소양에 머무르지 않습니다. 이는 이 강력한 도구를 사용하는 모든 전문가에게 요구되는 필수적인 직업적 역량입니다.
이러한 변화는 사용자의 역할을 근본적으로 재정의합니다. 기존의 소프트웨어는 사용자를 입력값을 넣으면 신뢰할 수 있는 결과가 나오는 '조작자(operator)'의 위치에 두었습니다. 그러나 AI 할루시네이션에 대한 증거와 감독의 필요성은 새로운 역할을 요구합니다. 바로 '감사자(auditor)'의 역할입니다. 감사자는 제시된 정보가 결함이 있을 수 있다고 가정하고, 그 정확성을 조사, 검증하며, 최종적으로 인증하는 임무를 수행합니다. 이는 인간과 컴퓨터의 관계에 있어 심오한 변화이며, 우리의 교육 및 직업 훈련이 시급히 따라잡아야 할 과제이기도 합니다. 우리는 사람들에게 AI를 사용하는 법은 가르치고 있지만, 치명적인 오류를 피하기 위해 훨씬 더 중요한 AI를 감사하는 법은 충분히 가르치고 있지 않습니다.
섹션 6: 결론: 인간과 기계 사이의 새로운 계약을 체결하며
스티븐 슈워츠 변호사의 이야기는 한 개인의 실패담이 아니라, 우리 모두를 위한 경고의 메시지입니다. 이는 우리가 비판적 판단력을 기계에 양도했을 때 어떤 일이 벌어지는지를 극명하게 보여주는 사례죠. 그의 이야기는 AI 할루시네이션이라는 미궁을 탐험하는 우리의 여정을 마무리하며, 앞으로 나아갈 길을 비추는 등대가 됩니다.
생성형 AI는 인류가 만들어낸 가장 강력한 도구 중 하나임이 틀림없습니다. 그러나 중요한 것은 그것이 신탁이나 검색 엔진, 혹은 지각 있는 존재가 아닌, 단지 '도구'에 불과하다는 사실을 명확히 인식하는 것입니다. 우리의 언어와 기대는 이러한 현실을 반영해야 합니다.
앞으로의 길은 AI를 버리는 것이 아니라, 인간과 AI 간의 더 지능적인 협력 모델을 구축하는 데 있습니다. 이를 위해서는 RAG와 같이 더 나은 기술을 개발하는 것이 필요하지만, 그보다 더 중요한 것은 더 나은 사용자를 양성하는 것입니다. 회의적이고, 부지런하며, 진실과 정확성, 그리고 윤리적 행위에 대한 최종 책임은 언제나 인간의 손에 달려 있음을 이해하는 사용자를 말입니다.
우리의 목표는 인간의 사고를 대체하는 인공지능을 만드는 것이 아니라, 인간의 사고를 증강하고 고양시키는 방식으로 그것을 활용하는 것입니다. 기계 속 유령을 두려워하기보다, 그 유령의 본질을 이해하고 제어하며, 궁극적으로는 인간의 지성과 창의성을 위한 강력한 동맹으로 만들어나가는 것. 이것이 바로 우리 앞에 놓인 과제이자 기회입니다.
'아는게 힘이다 > 과학, 공학' 카테고리의 다른 글
| 메타의 AI 갬빗: 개인형 초지능 구축을 위한 거대한 도박 (24) | 2025.08.01 |
|---|---|
| 빅히스토리: 138억 년의 우주, 그리고 당신의 이야기 (33) | 2025.08.01 |
| 창세의 엔진: 우리는 왜 기원 이야기를 갈망하는가 (18) | 2025.08.01 |
| 종교와 과학이 들려주는 위대한 기원 이야기 (31) | 2025.08.01 |
| 두 거인의 춤: 테슬라 옵티머스와 보스턴 다이나믹스 아틀라스 (16) | 2025.07.31 |
