할루시네이션, 거짓말하는 ChatGPT 혼내주기

환각과도 같은 ChatGPT의 거짓말, '할루시네이션'

 

ChatGPT를 써본 사람은 ChatGPT의 거짓말에 속은 경험 한 번쯤은 해봤을 것이다. ChatGPT는 그 어떤 질문에도 그럴듯한 답변을 조리있게 내놓는다. 하지만 모든 답변이 다 사실인 것은 아니다. ChatGPT는 자주 거짓말을 한다. 

 

AI가 거짓답변을 내놓는 현상을 '할루시네이션(hallucination)'이라고 한다. 원래 '환각'을 의미하는 일반적인 단어이다. 최근에는 AI가 거짓 정보를 그럴듯하게 생성하는 현상을 할루시네이션이라고 지칭한다. 실제가 아닌데 실제처럼 보이는 환각과 같다는 의미이다.  

 

실제로 미국에서는 한 변호사가 ChatGPT가 써준 판례를 근거로 변론을 했는데, 알고보니 그 판례는 ChatGPT가 허구로 만들어 낸 가짜 판례로 드러난 사례도 있다. 최근에는 우리나라에서 ChatGPT로 쓴 가짜 탄원서를 검사가 잡아낸 사례도 있었다. 

 

 

논문 작성 중에 경험한 할루시네이션

 

나 역시 논문 작성 중에 그런 일을 종종 겪는다. 

 

물론 내 논문 주제가 비주류이기 때문에 애초에 좋은 답변은 잘 나오지 않는다. 축적된 데이터 자체가 부족하기 때문이다. 대신 논문을 쓸 때 적절한 대체어를 추천받거나, 내 주장을 요약하여 제시한 후 논리적으로 반박하게 하는 등 보조 수단으로는 자주 사용한다.

 

검색엔진 연동이나 ScholarAI 플러그인을 통해 관련 선행연구나 기타 자료를 찾는 데도 유용하다. ChatGPT는 답변 생성 속도가 빠르기 때문에, 10개 중에 2개만 좋은 답변이 나와도 연구에 상당히 도움이 된다. 물론 10개 중 제대로 된 답변 2개를 추려내는 건 내 몫이다. 

 

오늘 있었던 일이다. 내가 수집한 자료 외에 혹시나 다른 공식 문헌이 있을까봐 ChatGPT에게 물어봤다. "환자의 권리를 다룬 국제기구의 공식 문서가 또 있을까?" ChatGPT는 흔쾌히 대답했다. WHO에서 발표한 환자의 권리에 관한 선언이 있다는 거다. 내가 모르던 공식 문서였다. 어디서 찾을 수 있냐니까 WHO 홈페이제 가서 검색해보란다. 찾아봤다. 없었다. 혹시 몰라 논문 검색 사이트, 구글, 빙 다 찾아봤다. 역시나 없었다. 

 

할루시네이션이었다. 바보 같이 당해버렸다. 장시간 논문 작업을 하다가 게을러진 탓에 할루시네이션 여부를 검증하지 않았다. 

 

 

시간낭비란 건 알지만, 화가 나서  ChatGPT를 좀 갈궜다. 지친 상태여서 얘한테 이런 얘기해봤자 소용없다는 합리적 사고는 하지 않았다.

 

 

 

할루시네이션 예방 및 대처 방법

 

프롬프트를 입력할 때 "없으면 없다고 해", "모르면 모른다고 해"라고 말해두면 할루시네이션을 줄일 수 있다. 또 질문을 간결하고, 정확하게, 가능하다면 원어의 용어를 가지고 질문하면 더 정확한 답변을 받을 수 있다. 

 

무엇보다 중요한 건 할루시네이션의 가능성을 항상 염두에 두고, 답변을 직접 전문가로서 평가하고 가려받아야 한다. 그러려면 애초에 ChatGPT에 의존하지 않고도 자료를 수집하고 처리할 수 있는 기본 역량이 필요하다. ChatGPT는 마법같이 어려운 질문에 금방금방 답 한다. 하지만 ChatGPT는 마법이 아니라 기술의 산물이다. 믿음의 대상이 아니다. 

 

ChatGPT의 답변을 잘 가려내고, 잘 활용하고, 자기 생각과 ChatGPT의 답변을 잘 융합하는 사람이 디지털혁명 시대에 살아남을 것 같다.