オンタリオ州監査で医師用AIノートテイカーの重大な誤認発覚

オンタリオ州の監査で発覚したAIノートテイカーの問題

カナダのオンタリオ州で、医師や看護師が使用するAIノートテイカー（AI Scribe）システムの監査結果が明らかになった。州監査総監室の報告によると、評価された20システムのうち60%が患者の処方薬情報を混同するなど、基本的な事実を誤認していたという。これらのシステムは、オンタリオ州保健省が医療従事者向けに導入したAI Scribeプログラムの一部として承認されていたものだ。

具体的な監査結果とその深刻さ

監査では、医師と患者の模擬会話録音を使用し、AIが生成したノートの正確性が評価された。その結果は、医療記録の信頼性に関わる重大な問題を示していた。9システムが会話にない情報を捏造し、実際には議論されていない治療計画の提案を加えていた。例えば、「腫瘍が見つからなかった」といった所見や「患者が不安を抱えている」といった状態が、会話の内容とは無関係に記録されていたケースが確認された。

さらに、12システムが処方薬の情報を誤って患者ノートに挿入していた。17システムは、会話で取り上げられた患者のメンタルヘルスに関する重要詳細を見落としており、そのうち6システムはメンタルヘルスの問題を完全または部分的に見落とし、鍵となる情報を欠いていた。

評価プロセスに潜む構造的課題

報告書は、これらの問題の一因として、AI Scribeシステムの評価方法そのものに疑問を呈している。各システムの性能評価において、特定のカテゴリに不適切な重み付けがされていたと指摘する。例えば、プラットフォームの評価スコアの30%が、AIが生成したノートの長さのみに基づいていたという。この評価基準の偏りが、実際の臨床現場で求められる正確性やを含む性を十分に測れない結果を招いた可能性がある。

医療現場への影響と今後の対応

これらの誤認や情報の欠落は、診療記録の整合性を損ない、最悪の場合、患者の安全を直接脅かす可能性がある。医療従事者の技術導入を支援するOntarioMDは、医師に対してAIが生成したノートを手動で確認するよう推奨している。しかし、現在承認されているAI Scribeシステムには、医師による確認を必須とする承認（attestation）機能が備わっていない点が課題として残されている。

AIシステムが誤りを犯すことは珍しくないが、医療専門家のためのツールでこれほど基本的な事実誤認が頻発することは、説明と改善が求められる。消費者向けAIが誤った医療情報を提供する事例はこれまでにも報告されてきたが、臨床判断を支援する専門家向けツールでは、特に高い精度と信頼性が求められるためだ。

今後の展望と業界への影響

この監査結果は、AIを医療現場に導入する際の慎重な評価と継続的なモニタリングの重要性を改めて浮き彫りにした。今後、オンタリオ州および他の地域において、同様のAI Scribeプログラムの評価プロセス見直しや、医師による確認を促す仕組みの導入が検討される可能性がある。医療AIの信頼性確保は、技術導入の拡大において避けて通れない課題となるだろう。