メインコンテンツへスキップ
ブログ一覧に戻る
AI講座 公開

ハルシネーションとは? AIがもっともらしくまちがえる理由と、仕事で困らないための付き合い方|ラクにゃんとミナが解説

ハルシネーション生成AIRAGAI講座ラクにゃん
目次(12 章)
ラクにゃんミナ

ラクにゃんとミナ

アイキャッチ
ミナ
ミナ
ラクにゃん、聞いてください。来週はじめて会う取引先のことを、AIに聞いてみたんです。設立した年も、社長の名前も、すらすら答えてくれて。
ラクにゃん
ラクにゃん
便利だね。それで、どうだったの?
ミナ
ミナ
念のため相手の会社のホームページを見たら、設立年も社長の名前も、ぜんぶちがっていたんです。しかも、AIの答えは、自信たっぷりで……。
ラクにゃん
ラクにゃん
それが「ハルシネーション」だよ。AIが、事実ではないことを、本当のことのように答えてしまうこと。今日は、なぜそれが起きるのか、どうしてAIは「分かりません」と言わないのか、そして仕事でどう付き合えばいいのかを、順番に見ていこうね。
AIの答えと、会社案内を見比べる
AIの答えと、会社案内を見比べる
この記事の要点
  1. 1AIは、次に来そうな言葉を確率で選んで文章を作っている。事実を調べて確かめているわけではないので、知らないことでも、それらしい答えを作ってしまう。
  2. 2AIが「分かりません」と言いにくいのは、学び方や点数の付け方が「当てずっぽうでも答えたほうが得」になりやすいから。まれにしか出てこない事実・新しいこと・実在しない出典は、とくにまちがえやすい。
  3. 3聞き方と、社内の資料をAIに渡して答えさせるしくみ(RAG)で減らせるが、ゼロにはならない。「まちがえたときの影響」と「確かめやすさ」で、どこまで任せるかを決めておく。

1. ハルシネーションとは

ミナ
ミナ
ハルシネーションって、どういう意味なんですか?
ラクにゃん
ラクにゃん
英語で「幻覚」という意味だよ。AIが、事実ではないことを、本当のことのように答えてしまうことを、こう呼んでいるんだよ。
ミナ
ミナ
AIが、わざとうそをついているんですか?
ラクにゃん
ラクにゃん
そこはちがうよ。AIには、だまそうという気持ちはないんだよ。まちがいだと気づかないまま、それらしい答えを作っているだけ。だから「うそ」より「もっともらしいまちがい」と言ったほうが近いね。

やっかいなのは、まちがった答えも、正しい答えと同じくらい自信たっぷりで、文章もきれいなことです。「〜と言われています」のようなあいまいな言い方もせず、きっぱり言い切ることがよくあります。読んだだけでは、どちらが正しいか見分けられません。

AIの答え設立は2003年、社長は佐藤 健一さんです。自信:たっぷり正しいAIの答え設立は1998年、社長は田中 誠さんです。自信:たっぷりまちがい見た目では、区別がつかない
AIの答え設立は2003年、社長は佐藤 健一さんです。自信:たっぷり正しいAIの答え設立は1998年、社長は田中 誠さんです。自信:たっぷりまちがい見た目では、区別がつかない
読んだだけでは分からない。確かめると、片方がまちがいだと分かる

2. なぜ起きる① AIは「次の言葉」を選んでいる

ミナ
ミナ
そもそも、どうしてまちがえるんですか? あんなにたくさんのことを知っているのに。
ラクにゃん
ラクにゃん
ChatGPTのようなAIのしくみから見てみよう。AIは、ものすごくたくさんの文章を読んで、「この言葉のあとには、どんな言葉が来やすいか」を学んでいるんだよ。

答えを作るときも、AIは辞書や記録を調べているわけではありません。それまでの文を見て、次に来る言葉の候補と、それぞれの「来やすさ」(確率)を計算し、その中から1つ選んで足す。これを、文が終わるまでくり返しています。

その会社が設立されたのは年です次に来る言葉の候補と、来やすさ200328%199824%201019%199515%その他14%19981回目:1998が選ばれた2003もう1回:2003が選ばれたどれも「それらしい」数字。本当の設立年が、この中にあるとは限らない
その会社が設立されたのは年です次に来る言葉の候補と、来やすさ200328%199824%201019%199515%その他14%19981回目:1998が選ばれた2003もう1回:2003が選ばれたどれも「それらしい」数字。本当の設立年が、この中にあるとは限らない
来やすさは、学んだ文章から計算した値(図の数字は説明用)
ミナ
ミナ
じゃあ、「設立は2003年です」の「2003」も……。
ラクにゃん
ラクにゃん
そう。その会社の設立年を本当に覚えていればいいけど、覚えていないときでも、「会社の設立年らしい数字」の候補は出てくるね。その中から選ばれた数字が、自信たっぷりの文の中に入ってしまうんだよ。

候補は、いちばん確率が高いものだけが選ばれるわけではありません。少し低い候補が選ばれることもあります。同じ質問をしても、毎回少しずつ答えが変わるのはこのためです。

AIは、来やすさに合わせて、次の言葉を選んでいる
AIは、来やすさに合わせて、次の言葉を選んでいる
ラクにゃん
ラクにゃん
次の言葉を選ぶしくみは、こちらの動画でくわしく見られるよ。
🎬 次の言葉を当てているだけ?
YouTube で 11/13 12:00 公開予定

3. なぜ起きる② 「分かりません」と言わない理由

ミナ
ミナ
でも、知らないなら「分かりません」って言ってくれればいいのに。
ラクにゃん
ラクにゃん
いい疑問だね。ここにはもう1つ、大事な理由があるんだよ。学校の四択のテストを思い出してみて。

正解すれば1点、まちがえても空欄でも0点のテストで、分からない問題があったとします。空欄にすれば、確実に0点。でも、当てずっぽうで1つ選べば、4回に1回は当たります。点数だけを見るなら、「分からなくても何か書く」ほうが得をします。

Aさん分からなくても、全部書く問1答えた問2答えた問3答えた問4答えた問5答えた問6答えた問7当てずっぽう問8当てずっぽう問9当てずっぽう問10当てずっぽう7点Bさん分からない問題は、空欄問1答えた問2答えた問3答えた問4答えた問5答えた問6答えた問7(空欄)0問8(空欄)0問9(空欄)0問10(空欄)06点点数だけなら、当てずっぽうが勝つ四択なら、当てずっぽうでも 4 回に 1 回は当たる
Aさん分からなくても、全部書く問1答えた問2答えた問3答えた問4答えた問5答えた問6答えた問7当てずっぽう問8当てずっぽう問9当てずっぽう問10当てずっぽう7点Bさん分からない問題は、空欄問1答えた問2答えた問3答えた問4答えた問5答えた問6答えた問7(空欄)0問8(空欄)0問9(空欄)0問10(空欄)06点点数だけなら、当てずっぽうが勝つ四択なら、当てずっぽうでも 4 回に 1 回は当たる
AI も「正解したか」で点を付けられると、同じことが起きる
ミナ
ミナ
AIも、そういうテストを受けているんですか?
ラクにゃん
ラクにゃん
似たところがあるんだよ。AIは、作られるときも、AIどうしの成績を比べるテストでも、「正解したか」で点を付けられることが多いんだね。そうすると、「分かりません」と答えるより、それらしい答えを出したほうが、点が高くなりやすいんだよ。

2025年9月に、ChatGPTを作っているOpenAIの研究者たちが、この見方をまとめた論文を出しました。ハルシネーションは、ふしぎな故障ではなく、「当てずっぽうが得をする」学び方や点数の付け方から自然に生まれる、という考え方です。だから、自信たっぷりのまちがいには点を引き、「分かりません」と正直に答えたことは責めない点数の付け方に変えていこう、と提案しています。

ミナ
ミナ
AIの「くせ」は、育て方から来ているんですね。じゃあ、お金を払う有料版や、いちばん新しいAIなら、起きないんですか?
ラクにゃん
ラクにゃん
新しいAIほど減ってきてはいるよ。でも、ゼロにはなっていないんだね。いまのしくみのままでは、どんなに賢くなっても「知らないことを、それらしく答えてしまう」ことは残る、と考えておいたほうが安全だよ。

4. まちがえやすい質問と、5つの種類

ミナ
ミナ
どんな質問だと、まちがえやすいんですか?
ラクにゃん
ラクにゃん
種類で分けると、5つくらいに整理できるよ。
1123事実のまちがい人・会社・数字・日付2本実在しない出典本・論文・URL・判例3資資料とちがう要約にない話がまざる4÷計算・筋道途中の計算や話のつながり5?まちがった前提「〜した理由は?」に乗る
1231. 事実のまちがい人・会社・数字・日付本2. 実在しない出典本・論文・URL・判例資3. 資料とちがう要約に、ない話がまざる÷4. 計算・筋道途中の計算や話のつながり?5. まちがった前提「〜した理由は?」に乗る
5 つ目は、質問の形に引っぱられて起きる
1事実のまちがい:人や会社の名前、数字、日付など
2実在しない出典:情報の出どころとして、それらしい本、論文、URL、判例(過去の裁判の判決)を作ってしまう
3渡した資料とちがうことを言う:要約の中に、資料にない話がまざる
4計算や筋道のまちがい:途中の計算や、話のつながりがおかしい
5まちがった前提に乗る:質問にまちがいがあっても、そのまま答えてしまう
ミナ
ミナ
5つ目の「前提に乗る」って、どういうことですか?
ラクにゃん
ラクにゃん
たとえば、「〇〇社が去年、新しい工場を建てた理由を教えて」と聞いたとするね。本当は工場なんて建てていなくても、AIは「理由」を答えようとして、それらしい理由を並べてしまうことがあるんだよ。質問の形に引っぱられるんだね。

まれにしか出てこない事実と、新しいことは、あぶない

ミナ
ミナ
わたしの取引先の件は、どれにあたるんですか?
ラクにゃん
ラクにゃん
1つ目の「事実のまちがい」だね。しかも、とくにまちがえやすい種類の質問なんだよ。

AIが学ぶ文章の中に、何千回も出てくる事実(「富士山の高さ」のような有名なこと)は、よく覚えています。でも、ネットに1回か2回しか出てこない事実(地元の小さな会社の設立年、ある人の誕生日など)は、覚えていないことが多いのです。前の章の論文でも、学んだ文章の中に1回しか出てこなかった事実の割合が、まちがいの起きやすさの目安になると書かれています。

AI が学んだ文章に出てくる回数富士山の高さ有名な会社の創業者?取引先の設立年?地元のお店の定休日なし学んだあとに変わったこと出てくる回数が少ないほど・新しいほど、まちがえやすい
AI が学んだ文章に出てくる回数富士山の高さ有名な会社の創業者?取引先の設立年?地元のお店の定休日なし学んだあとに変わったこと出てくる回数が少ないほど・新しいほど、まちがえやすい
棒の長さは説明用(実際の回数ではない)
ミナ
ミナ
取引先の設立年なんて、まさに「1回しか出てこない」ことですね。
ラクにゃん
ラクにゃん
そう。もう1つ気をつけたいのが、「新しいこと」だよ。AIが学んだのは、ある時期までの文章なんだね。そのあとに変わったこと、たとえば法律の改正、最低賃金、補助金の締め切りや条件は、古いままの答えを、いまのことのように言ってしまうことがあるんだよ。
ミナ
ミナ
会社の仕事だと、そういう「いつの情報か」が大事なことばかりです。
ラクにゃん
ラクにゃん
それから、自分の会社の中のこと、たとえば社内のルールや、自社の商品の細かい値段は、AIはそもそも読んだことがないんだよ。読んだことがないのに聞かれると、それらしい答えを作ってしまうんだね。

5. 偽の出典は、こうして生まれる

ミナ
ミナ
「実在しない出典」も気になります。本の名前やURLまで作っちゃうなんて。
ラクにゃん
ラクにゃん
AIは、参考文献の「形」をよく知っているんだよ。「著者の名前、年、題、出版社、URL」という並び方は、何万回も読んでいるからね。

だから、形だけは本物そっくりの参考文献を作れます。著者は実在する研究者で、題もいかにもありそう。でも、その人がその題の本を書いたことはない、ということが起きます。URLも、実在するサイトの住所に、それらしい続きを足して作られることがあります。

AIが挙げた参考文献著者(実在する研究者の名前)実在する人年2019年?これだけでは分からない題『中小企業のAI活用と生産性』検索しても見つからない出版社(実在する出版社)実在するURLhttps://(実在するサイト)/books/ai-2019開くと「ページが見つかりません」形は本物そっくり。中身は作りもの
AIが挙げた参考文献著者(実在する研究者の名前)実在する人年2019年?これだけでは分からない題『中小企業のAI活用と生産性』検索しても見つからない出版社(実在する出版社)実在するURLhttps://…/books/ai-2019開くと「ページが見つかりません」形は本物そっくり。中身は作りもの
著者や出版社が本物でも、その本があるとは限らない
ミナ
ミナ
見分けるには、どうすればいいですか?
ラクにゃん
ラクにゃん
3つ覚えておいてね。
  • 開いてみる:URLは、必ず自分で開く。開けない、まったく別のページが出る、はあやしい
  • 題で検索する:本や論文は、題をそのまま検索する。図書館や出版社のページで見つかるか
  • 中身を読む:見つかっても、AIが言った内容が、本当にそこに書いてあるかを確かめる

6. 実際に起きたこと

ミナ
ミナ
仕事で、本当に困ったことになった例もあるんですか?
ラクにゃん
ラクにゃん
あるよ。4つ紹介するね。
2023年2月グーグル宣伝の答えで「初めて」をまちがえた2023年6月米国の弁護士存在しない判例を裁判所に出した2024年2月エア・カナダチャットボットがちがう割引を案内2025年10月デロイト(豪州)報告書に実在しない文献共通点:確かめずに、そのまま外に出した
2023年2月グーグル宣伝の答えで「初めて」をまちがえた2023年6月米国の弁護士存在しない判例を裁判所に出した2024年2月エア・カナダチャットボットがちがう割引を案内2025年10月デロイト(豪州)報告書に実在しない文献共通点:確かめずに、そのまま外に出した
AI が言ったことでも、責任は使った人や会社にある

グーグルの発表デモ(2023年2月)

グーグルは、対話型AI「Bard(バード)」の宣伝で、「ジェイムズ・ウェッブ宇宙望遠鏡が、太陽系の外の惑星を初めて撮影した」という答えを見せました。ところが、太陽系の外の惑星を初めて撮影したのは、2004年の別の望遠鏡でした。まちがいが報じられた日、親会社の株価は約8%下がりました。

打ち上げ前の試験に並ぶ、ジェイムズ・ウェッブ宇宙望遠鏡の主鏡の板(2011年)
打ち上げ前の試験に並ぶ、ジェイムズ・ウェッブ宇宙望遠鏡の主鏡の板(2011年)写真:NASA/MSFC/David Higginbotham/パブリックドメイン/Wikimedia Commons

米国の弁護士(2023年6月)

ニューヨークの弁護士が、ChatGPTに調べさせた判例を、裁判所に出す書面にそのまま書きました。ところが、その中に、存在しない判例が6件もまざっていました。

ミナ
ミナ
弁護士さんが、確かめなかったんですか?
ラクにゃん
ラクにゃん
ChatGPTに「本当にある判例か」と聞いたら、「本物です」と答えたそうだよ。裁判所は、弁護士2人と事務所に、5,000ドルの制裁金を科したんだよ。
この件の裁判官が法廷を持つ、ニューヨーク南部地区の連邦地裁の庁舎(マンハッタン)
この件の裁判官が法廷を持つ、ニューヨーク南部地区の連邦地裁の庁舎(マンハッタン)写真:Ken Lund/CC BY-SA 2.0/Wikimedia Commons
ミナ
ミナ
じゃあ、別のAIに確かめさせるのは、どうですか?
ラクにゃん
ラクにゃん
別のAIも、同じしくみで「それらしい答え」を作るから、確かめにはならないんだよ。気づくきっかけにはなるけど、最後はAIの外、つまり元の資料やお店・役所のページで確かめないといけないね。

エア・カナダ(2024年2月)

カナダの航空会社のサイトのチャットボットが、身内に不幸があったときの割引について、実際とはちがうルールを案内しました。会社は「チャットボットが言ったことに、会社は責任を負わない」と主張しましたが認められず、差額などを払うよう命じられました。くわしくは、AI時代のWebサイトの記事で図にしています。

エア・カナダの機体
エア・カナダの機体写真:Hollywoodcory/CC BY-SA 4.0/Wikimedia Commons

デロイト(オーストラリア・2025年10月)

大手のコンサルティング会社デロイトのオーストラリア法人が、政府の省に納めた報告書に、実在しない論文や、裁判の判決からの作られた引用がまざっていました。直した版で生成AIを使っていたことを明らかにし、代金の一部を返すことになりました。

ミナ
ミナ
弁護士も、大手のコンサル会社も……。うちのサイトにチャットボットを置いたら、同じことが起きるかもしれないんですね。
ラクにゃん
ラクにゃん
そうだね。もっと身近なところでも、AIに書かせた商品の説明に、ない機能が書いてあった、お知らせの営業時間がまちがっていた、ということは起こりうるよ。4つに共通しているのは、AIの答えを確かめずに、そのまま外に出したこと。そして、AIが言ったことでも、責任は、使った人や会社にあるんだよ。ここは覚えておいてね。

7. 聞き方で減らす

ミナ
ミナ
じゃあ、使う側は、どうすればいいんですか?
ラクにゃん
ラクにゃん
まずは聞き方の工夫から。5つ紹介するよ。
1「分からなければ、分からないと答えて」と最初に伝える:3章の「当てずっぽうが得」をくずしてあげる一言です
2出典を、引用の形で出してもらう:「どこに、なんと書いてあるか」を、そのまま書き写してもらう。出してもらった出典も作られることがあるので、5章の3つのやり方で確かめます
3前提を確かめてもらう:「この質問の前提にまちがいがあれば、先に指摘して」と添える
4同じ質問を、新しいチャットで何回かして、答えがそろうかを見る:同じ会話の中だと、前の答えに合わせてしまいがちなので、毎回新しく聞きます
5元の資料を、自分で渡す:取引先の会社案内や、社内の資料をそのまま貼って「この中から答えて」と頼む。いちばん効く方法です
新しいチャットで、同じ質問を 3 回「取引先の設立年と社長の名前は?」1回目設立1998年社長佐藤 健一2回目設立2003年社長佐藤 健一3回目設立2010年社長佐藤 健一設立年:ばらばら → あやしい社長:3 回そろっている → でも…会社のホームページ社長:田中 誠ばらばらなら、まず疑う。そろっていても、正しいとは限らない
新しいチャットで、同じ質問を 3 回「取引先の設立年と社長の名前は?」1回目設立1998年社長佐藤 健一2回目設立2003年社長佐藤 健一3回目設立2010年社長佐藤 健一設立年:ばらばら → あやしい社長:3 回そろっている → でも…会社のホームページ社長:田中 誠ばらばらなら、まず疑う。そろっていても、正しいとは限らない
最後は、AI の外の「元の資料」で確かめる
ミナ
ミナ
3回聞いて、答えがばらばらだったら、あやしいんですね。……あれ、でも、わたしのとき、社長の名前は何回聞いても同じ名前だった気がします。それでもまちがっていました。
ラクにゃん
ラクにゃん
よく気づいたね。それが大事なところだよ。AIが同じまちがいを何回もくり返すこともあるんだね。だから「ばらばらなら、まず疑う」には使えるけど、「そろったから正しい」とは言えないんだよ。最後は、5つ目の「元の資料」で確かめるのがいちばんだね。
AIの答えに付箋を貼って、ひとつずつ確かめる
AIの答えに付箋を貼って、ひとつずつ確かめる

8. しくみで減らす:RAGと検索

ミナ
ミナ
会社で使うなら、「資料を渡す」をしくみにする方法もあるんですよね。
ラクにゃん
ラクにゃん
うん。代表的なのが「RAG(ラグ)」だよ。7章の5つ目を、毎回自動でやってくれるしくみと思えばいいね。

RAGは、AIに答えさせる前に、社内のマニュアルや資料の中から、質問に関係する部分を探してAIに渡し、「この資料に書いてあることから答えて」とするしくみです。

社内の資料マニュアル料金表出張規程「出張の日当はいくら?」日当は3,000円です。出典:出張規程 p.5「来年の出張の日当は?」資料に記載がありません。無理に答えない資料から答えて、どこを見たかを出す。資料にないことは答えない
社内の資料マニュアル料金表出張規程「出張の日当はいくら?」日当は3,000円です。出典:出張規程 p.5「来年の出張の日当は?」資料に記載がありません。無理に答えない資料から答えて、どこを見たかを出す。資料にないことは答えない
資料が古い・探しまちがい・読みまちがいは残る

RAGで、ハルシネーションはかなり減らせます。

  • 答えといっしょに、どの資料のどこを見たのかを出せる → 人がすぐ確かめられる
  • 「資料に書いていないことは答えない」と決めておける
  • 自社のルールや商品のように、AIがもともと知らないことにも答えられる
ミナ
ミナ
それなら、もう安心ですね。
ラクにゃん
ラクにゃん
それが、ゼロにはならないんだよ。減らないこともあるからね。
  • 資料そのものが古い・まちがっている:古い料金表を渡せば、古い料金を答えます
  • 探し方をまちがえる:質問に合わない資料を拾ってくることがあります
  • 読みまちがえる:正しい資料を渡しても、要約の中でまちがえることがあります(4章の3つ目)

検索つきのAIなら、大丈夫?

ミナ
ミナ
最近のAIは、ネットを検索してから答えてくれますよね。あれなら大丈夫じゃないですか?
ラクにゃん
ラクにゃん
検索つきのAIは、考え方はRAGと同じで、資料のかわりにネットのページを探して読んでいるんだよ。だから、何も見ないで答えるより、ずっとまちがいは減るね。新しいことにも答えられるようになるよ。
ラクにゃん
ラクにゃん
でも、RAGと同じで、ゼロにはならないんだよ。古いページや、まちがったことが書いてあるページを拾うこともあるし、ページに書いていないことを、まとめの中でつけ足してしまうこともあるね。答えに付いたリンクを開いて、そのページに本当にそう書いてあるかを確かめるのが大事だよ。
RAGとは? AIが社内の資料を探してから答える仕組み|ラクにゃんのAI用語講座
YouTube で見る →

9. どこまで任せるか:4マスの地図

ミナ
ミナ
結局、AIを仕事でどこまで使っていいのか、迷ってしまいます。
ラクにゃん
ラクにゃん
それを決めるのに便利な地図があるよ。2つのものさしで考えるんだね。
  • まちがえたときの影響:小さい(やり直せば済む)か、大きい(お客様・お金・契約・法律に関わる)か
  • 確かめやすさ:すぐ確かめられる(読めば分かる・資料と見比べられる・試せば分かる)か、確かめにくい(専門家でないと分からない)か
確かめやすい ← → 確かめにくい影響が小さい ← → 影響が大きい必ず人が確かめてから出すお客様への回答HP・SNSの文見積の文面AIだけで決めない・専門家へ契約書・就業規則補助金の要件税の判断どんどん任せるアイデア出しメールの下書きExcelの関数参考にする知らない分野の下調べ外国語のざっくり翻訳ミナ同じ仕事でも、確かめる人の知識でマスが変わる
確かめやすい ← → 確かめにくい影響が小さい ← → 影響が大きい人が確かめて出すお客様への回答HP・SNSの文見積の文面AIだけで決めない契約書・就業規則補助金の要件税の判断どんどん任せるアイデア出しメールの下書きExcelの関数参考にする知らない分野の下調べ外国語のざっくり翻訳ミナ同じ仕事でも、確かめる人の知識でマスが変わる
青い丸:ミナの取引先の件(影響は大きいが、ホームページですぐ確かめられる)
確かめやすい確かめにくい
影響が大きい必ず人が確かめてから出す(お客様への回答・HPやSNSの文・見積の文面)AIだけで決めない(契約書・就業規則・補助金の要件・税の判断)
影響が小さいどんどん任せる(アイデア出し・メールの下書き・Excelの関数)参考にする(知らない分野の下調べ・外国語の資料のざっくり翻訳)
ミナ
ミナ
わたしの取引先の件は……。
ラクにゃん
ラクにゃん
取引先の情報は、まちがえると失礼になるけど、相手のホームページを見ればすぐ確かめられるね。だから左上、「必ず人が確かめてから出す」のマスだよ。ミナは、ちゃんとそれをやったんだね。
ミナ
ミナ
Excelの関数が「確かめやすい」なのは、試せば分かるからですね。
ラクにゃん
ラクにゃん
そう。それから、同じ仕事でも、確かめる人の知識でマスが変わるよ。税理士さんにとって税の質問は「確かめやすい」けど、ほかの人には「確かめにくい」。自分にとってどうかで考えてね。
大事な所は、虫めがねで確かめてから使う
大事な所は、虫めがねで確かめてから使う

10. 会社で決めておくこと

ミナ
ミナ
会社として、決めておいたほうがいいことはありますか?
ラクにゃん
ラクにゃん
4つあるよ。
  • 使ってよい場面:4マスの地図のどこまでを、AIに任せてよいか
  • 確かめる人:お客様に出す文書は、だれが確かめてから出すか
  • 記録:AIに何を聞いて、どう使ったかを残すか
  • まちがいを見つけたら:だれに伝えて、どう直すか
使ってよい場面4マスの地図のどこまでを任せるか確かめる人お客様に出す文書は、だれが見てから出すか記録何を聞いて、どう使ったかを残すかまちがいを見つけたらだれに伝えて、どう直すか
使ってよい場面4マスの地図のどこまでを任せるか確かめる人お客様に出す文書は、だれが見てから出すか記録何を聞いて、どう使ったかを残すかまちがいを見つけたらだれに伝えて、どう直すか
長いルールより、4 つを短く決めておく

2024年には、国(総務省と経済産業省)が「AI事業者ガイドライン」をまとめました。AIを作る会社だけでなく、AIを仕事に使う会社が気をつけることも整理されています。こうした資料も参考に、自社に合ったルールを短く決めておくと安心です。

AIの使い方のルールを、短く決めておく
AIの使い方のルールを、短く決めておく
ミナ
ミナ
ハルシネーションって、聞けば聞くほど、こわくなってきました……。
ラクにゃん
ラクにゃん
こわがりすぎなくて大丈夫だよ。ハルシネーションは、悪いことばかりじゃないんだね。

アイデア出しや、物語、キャッチコピーの案を考えるときには、「それらしい想像」こそが役に立ちます。事実が大事な場面では確かめる。発想が大事な場面では、どんどん広げてもらう。使い分けができれば、AIはとても頼れる相棒になります。


おわりに

ミナ
ミナ
取引先の件も、AIが悪いというより、「確かめる場面だった」んですね。
ラクにゃん
ラクにゃん
そうだね。今日の話をまとめるよ。
  • ハルシネーションは、AIのもっともらしいまちがい。だまそうとしているわけではない
  • AIは次の言葉を確率で選んでいて、事実を調べて確かめているわけではない
  • 「当てずっぽうが得」な育て方のせいで、「分かりません」と言いにくい。新しいAIでもゼロにはならない
  • まれにしか出てこない事実・学んだあとに変わったこと・自社のこと・出典は、とくにまちがえやすい
  • 聞き方(分からないと言ってよい・出典を引用で・前提の確認・新しいチャットで何回か聞く・元の資料を渡す)と、しくみ(RAG・検索・出典を出す)で減らせる。でもゼロにはならない
  • 「まちがえたときの影響」と「確かめやすさ」の4マスで、どこまで任せるかを決めておく
ミナ
ミナ
これからは、AIの答えを見たら、まず「どのマスかな?」って考えてみます。
ラクにゃん
ラクにゃん
うん、それがいちばんの付き合い方だよ。

ハルシネーションは、YouTubeの講座でも解説しています。

確かめる習慣がなかったころ、AIが挙げた参考文献の本を、図書館の棚で探しまわるラクにゃん

参考サイトと出典

この記事をシェア