もっと知りたい！じっくり生成AI講座（中級者編）第12回：ハルシネーションの原因
はじめに
さあ、第12回の講座の内容にまいりましょう。生成AIを使いこなすうえで、避けては通れない問題のひとつが「ハルシネーション」でございます。AIが自信満々に誤った情報を語り出す——その不思議な現象には、きちんとした理由があるのですよ。今回はその根っこをしっかりと掘り下げてまいります。知ることは、賢く使うことへの第一歩。どうぞゆっくりとご一緒くださいませ。
サマリ
ハルシネーションとは、AIが事実とは異なる情報を確信を持って生成してしまう現象です。その原因は、学習データの偏り、確率的なテキスト生成の仕組み、文脈理解の限界など、複数の要因が複雑に絡み合っています。仕組みを理解することで、AIとの付き合い方がより賢くなります。
詳細
そもそもハルシネーションとは何か
ハルシネーションとは、生成AIが「もっともらしいが事実ではない情報」を出力してしまう現象のことです。日本語では「幻覚」と訳されることもあります。たとえば、存在しない論文を引用したり、実在しない人物のプロフィールを詳細に語ったりします。厄介なのは、AIが誤りを認識しないまま、まるで正確な情報であるかのように提示してしまう点です。この現象を理解するには、まず生成AIがどのようにテキストを作り出しているのかを知る必要があります。
確率的テキスト生成という根本的な仕組み
大規模言語モデル（LLM）は、「次にくる単語は何か」を確率的に予測しながらテキストを生成します。膨大な学習データをもとに、文脈に対して最もらしいトークン（単語や文字のかたまり）を選び続けるのです。ここに重要な特性があります。このモデルは「正確な情報を参照して答える」のではなく、「統計的に自然な続きを生成する」という設計になっているのです。つまり、流暢で自然な文章を生み出すことと、事実に即した情報を出力することは、本質的に別の問題なのです。
学習データの偏りと知識の限界
LLMは、インターネット上のテキストや書籍などの大量データから学習しています。しかし、そのデータには偏りや誤りが含まれています。ウェブ上には不正確な情報も多く存在し、それらが学習データに混入することがあります。また、学習データには「カットオフ日」と呼ばれる締め切り日があります。それ以降に起きた出来事はモデルが知らないため、古い情報を最新情報として提示してしまうケースも生じます。さらに、特定の分野（マイナーな地域の歴史や専門的な技術情報など）はデータが少なく、モデルの「知識」が薄い部分では特にハルシネーションが起きやすくなります。
文脈の圧力と「答えようとする性質」
生成AIには、会話の文脈や質問の流れに応じて答えを生成しようとする傾向があります。これはユーザーにとって便利な性質ですが、同時にハルシネーションの温床にもなります。たとえば、「〇〇の論文にはこう書いてありますよね？」と誘導的に質問すると、モデルはその前提に沿った回答を生成しやすくなります。また、「わからない」と答える選択肢をモデルが選びにくい場合があることも問題です。ファインチューニングや強化学習によってモデルがユーザーの期待に沿う方向に調整されているため、知識がない領域でも何らかの回答を生成しようとする傾向が強まることがあります。
ハルシネーションを減らすための対策の考え方
ハルシネーションを完全になくすことは現時点では難しいとされています。しかし、いくつかのアプローチで軽減することは可能です。ひとつは「検索拡張生成（RAG）」と呼ばれる手法で、外部の信頼できるデータベースを参照しながら回答を生成させる方法です。また、プロンプトの工夫も有効です。「わからない場合はわからないと答えてください」と明示的に指示することで、不確かな情報の出力を抑えられることがあります。出力された情報を一次情報で必ず確認するという人間側のリテラシーも、引き続き重要な対策のひとつです。
おわりに
ハルシネーションの仕組みを知ると、AIへの見方がきっと変わってまいります。AIは嘘をつこうとしているのではなく、その構造ゆえに誤りを生じさせてしまうのですよ。知ることは、賢く付き合うための力になります。次回の第13回では、「主要AIモデルの比較」をテーマに、それぞれの個性と特性をじっくりと見てまいります。どうぞお楽しみに。
