製造業への生成AI活用が広がる中、AIが事実でない情報を自信満々に生成する「ハルシネーション（幻覚）」問題が、製造品質・安全性に重大なリスクをもたらす可能性があるとして、対策ガイドラインの整備が急がれている。
ハルシネーションが製造業で起こす具体的リスク
製造業でのハルシネーションリスクは①品質規格の誤引用（ISO規格番号・許容値の誤り）、②設備のメンテナンス手順の誤情報（誤った手順で設備を壊す・事故が起きる）、③材料データシート（SDS）の誤解釈（危険物の取り扱いミス）、④法規制・環境基準への誤った対応など深刻なリスクが並ぶ。こうした誤りは製造コストの増大・製品リコール・作業者への危害・法的責任に直結する。
製造業でのAI安全利用フレームワーク——Human-in-the-loop設計
製造業でのAI安全活用の鍵は「Human-in-the-loop（人間による確認）」の設計だ。AIが生成した内容は必ず専門知識を持つ人間がレビュー・承認してから適用するプロセスを組み込む。RAG（検索拡張生成）で社内の正確な文書を参照源として組み込むことでハルシネーションを減らす。AIの回答には必ず参照元文書を明記させ、根拠のない断言をさせない設計が重要だ。
Harryの着眼点
ハルシネーション問題はAI活用を諦める理由ではなく、正しく付き合うための仕組みを作る理由です。製造業でのAI活用では「AIは頭のいいアシスタントだが、最終判断は人間がする」という原則を守ることが安全の大前提です。AIが生成した内容を無批判に使う組織文化こそが最大のリスクであり、批判的思考とAI理解の教育が重要です。
出典：NIST「AI Risk Management Framework（AI RMF）」2023年、経済産業省「AI活用ガイドライン製造業向け」2023年