生成AIのハルシネーションに注意|存在しない判例・条文・URLを見抜く、個人事業主のための習慣

AIは、存在しない条文もURLも、堂々と作ります

AIに調べ物を頼むと、たいていそれっぽい答えがすぐ返ってきます。条文の番号、判例、参考になるURLどれも自信たっぷりに。便利ですよね。ところが、その中に「実在しないもの」が混じっていることがあります。しかも見た目は、本物とまったく区別がつきません。これ、知らずに使うと、けっこう怖い話です。

もっともらしい嘘を、堂々とつく

AIが、事実と違うことをさも本当かのように答えてしまう。これを「ハルシネーション(幻覚)」と呼びます。うっかりのバグではなく、AIの仕組み上どうしても起きるもので、完全にはなくせないことが分かっています。

中でもやっかいなのが、判例番号・条文番号・出典URLといった「一点ものの情報」です。AIはこの手の細かい固有名詞を、平気で作り出します。しかも口調はいたって堂々。だから「たぶん合ってるだろう」と、そのまま信じてしまいやすいんです。

なぜ番号やURLで間違いが起きやすいのか。ざっくり言うと、AIは「もっともそれらしい続き」を組み立てるのが得意な反面、たった一つしかない正解を正確に思い出すのは苦手だからです。世の中に一つしかない判例番号やURLは、まさにその苦手分野。だから、ありそうな形の”それっぽい番号”を、つい作ってしまう。ここが人間の勘違いと違って、厄介なところです。

海外では、弁護士が実際に処分されている

大げさな話ではありません。海外では、AIが作った実在しない判例を裁判所に提出してしまい、制裁を受けた弁護士が何人も出ています。ある事例では、架空の判例を引用したとして、弁護士に1万5,000ドル(当時のレートで200万円以上)の制裁金が科されました。

しかもこうした事故は2025年から2026年にかけて次々起きていて、大手法律事務所のベテランでも引っかかっています。ある裁判官は、中身を確かめずにAIの出力を通してしまうことを「ゴム印を押すような承認」と表現して、厳しく戒めました。プロ中のプロが、それでもやってしまう。「自分は大丈夫」がいちばん通用しない分野だ、ということです。

これは、個人事業主にも普通に起きる

「弁護士の話でしょ」と思うかもしれません。でも、士業だけの問題ではないんです。たとえば

  • 補助金の要件をAIに聞いたら、実在しない募集要項のURLを教えられた
  • 契約書のひな型を作らせたら、引用された条文番号がそれっぽく間違っていた
  • 「この制度の根拠になる法律は?」と聞いたら、ありそうで存在しない条番号が返ってきた

自分で手続きや契約を進める個人事業主ほど、こういう「もっともらしい間違い」をうっかり信じてしまいがちです。専門家なら「この番号、見慣れないな」と引っかかれる場面でも、ふだん条文を読まない人には、本物と偽物の見分けがつきません。AIの答えを鵜呑みにして役所に出したら差し戻された、取引先に間違った条文を根拠に説明してしまった、では笑えません。時間も信用も、地味に削られます。

行政書士として、ここがいちばん怖い

正直に言うと、AIの弱点の中で、僕がいちばん警戒しているのがこれです。仕事柄、条文番号や通達番号を扱うことが多いんですが、AIはこの番号を、平気な顔で間違えてくる。もし確認せずに書類やコラムに載せてしまえば、士業としては一発でアウトです。

だから僕は、AIが出してきた番号・判例・URLの類いは、その時点ではぜんぶ「まだ下書き」だと思っています。必ず原典、法令データベースや役所の一次情報で存在を確かめてから使う。ここだけは、自分の中で例外なしのルールにしています。

引用の前に、これだけはやる

むずかしい対策はいりません。ひとつだけ、習慣にすればいい話です。

番号・判例・URLは、そのまま信じず、出どころを自分の目で開いて確かめる。

「その条文の正式名称と、出典のページを教えて」ともう一度聞き返して、実際にそのページを開いてみる。開けなかったら、それはたぶん存在しません。

AIは、調べ物の”入り口”としてはとても優秀です。でも”最終確認”は、今でも人の仕事です。ここだけ人の手に残しておけば、いちばん怖い事故は防げます。便利さに乗っかりつつ、最後のひと押しだけは自分でやる。それくらいがちょうどいい距離感だと思っています。

手続きの内容がはっきりしていなくても大丈夫です。
まずはLINEでお気軽にご相談ください。

LINEで相談する

お急ぎの場合は、お電話でもご相談いただけます。

受付時間:平日 9:00〜18:00

電話で相談する

 


出典:

最新情報をチェックしよう!