할루시네이션 (Hallucination, 환각)
할루시네이션(환각)은 AI 모델이 사실인 것처럼 제시하지만 실제로는 틀렸거나 근거가 없는 진술을 말합니다. 잘못된 설립일, 회사가 판매하지 않는 제품, 지어낸 인용문 등이 그 예입니다.
왜 중요한가요?
사용자는 AI 답변을 확인 없이 받아들이는 경향이 있습니다. 틀린 가격, 현행 제품처럼 소개된 단종 제품, 다른 회사와의 혼동이 사실인 것처럼 구매자에게 전달되고, 브랜드는 대개 그런 일이 있었다는 것조차 알지 못합니다.
왜 발생하나요?
- 모델이 브랜드에 대해 가진 신뢰할 만한 정보가 적어 빈자리를 스스로 채웁니다.
- 출처끼리 내용이 어긋나, 모델이 그중 하나를 고르거나 섞어서 답합니다.
- 이름이 다른 엔티티와 같습니다.
- 모델을 학습시킬 당시에는 맞았던 정보가 그 뒤에 바뀌었습니다.
어떻게 발견하고 줄이나요?
각 모델에 브랜드에 관한 사실 확인형 질문을 하고 답변을 실제 사실과 비교합니다. XOOER GEO Score에서는 정확도 차원이 여기에 해당합니다.
- 회사가 무슨 일을 하는지, 언제 설립되었는지, 어디에서 사업을 하는지, 무엇을 판매하는지 담은 명확한 최신 정보 페이지를 게시합니다.
- 제3자 프로필과 디렉터리에 있는 어긋난 정보를 바로잡습니다.
- 핵심 사실에 구조화된 데이터 마크업을 적용합니다.
- 변경한 뒤에 다시 테스트합니다. 실시간으로 페이지를 검색하는 모델일수록 빨리 바로잡힙니다.
예시: 모델 다섯 개 중 세 개가 본사 소재 도시를 잘못 답한다면, 디렉터리나 보도 자료에 예전 주소가 아직 남아 있는지 찾아보십시오.
할루시네이션과 관련 개념 비교
- 오래된 정보: 한때는 사실이었던 내용입니다. 할루시네이션은 사실이었던 적이 없는 내용입니다.
- 그라운딩: 답변을 검색된 출처에 근거하도록 하는 기법으로, 할루시네이션을 줄여 줍니다.
- 부정적 감성: 호의적이지는 않지만 사실일 수 있는 설명입니다. 이는 별도로 측정합니다.
자주 묻는 질문
- 브랜드가 AI 제공업체에 잘못된 답변을 수정해 달라고 요청할 수 있나요?
- 일부 제공업체는 피드백 채널을 운영하지만, 믿고 의지할 만한 수정 절차는 없습니다. 확실한 방법은 모델이 읽는 출처, 즉 자사 사이트와 브랜드를 설명하는 제3자 페이지를 바로잡는 것입니다.