株式会社POQA

POQA magazinePOQAがお届けするITお役立ち情報

AI導入時に、組織が考えなくてはならないこと ~AI利用を巡るサイバーリスク~

さて、ここまでの記事で「いかにAIが便利か」「AIをよりよく使うには」というお話をしてまいりました。
が、他のIT機器やサービスにも、利点と同時にリスクがあるように、AIも取り扱う上でリスクが存在します。
そして、組織を運営する上では、リスクがある機器・サービスを利用するのであれば、そのリスクを把握し、場合によってはあらかじめ対応が必要になります。
今回の記事では、「AI導入を行う際に、組織があらかじめ考えておかなくてはならないこと、設定すべきルールについて考えていきたいと思います。

情報セキュリティ10大脅威

2026年4月10日に、IPA(独立行政法人情報処理推進機構)が2026年の情報セキュリティ10大脅威」を発表しました。

(独立行政法人情報処理推進機構より引用)

法人のランキングに「AI利用を巡るサイバーリスク」が、今回初めてランクインしています。
IPAは、AI利用の際に発生するリスクについて、以下のように紹介しています。

①シャドーITとしてのAI

従業員が個人的に利用しているAIサービスを業務利用することによって発生する情報漏洩をさします。
個人利用のAIは、情報の保護が組織の想定よりも甘く、入力した情報がそのまま漏洩、あるいは学習に利用されてしまうことがありえます。
米国の AI 企業の調査によると、生成AIにデータをコピー&ペーストして指示入力を行っている利用者の内、「82%が組織に管理されていないアカウントで行っている」=シャドーITの状態である、と報告しています。

②ハルシネーションの危険性

以前の記事でも紹介しましたが、生成AIの場合、明確に指示をしない限りは、「わからない部分を適当に埋める」=ハルシネーションを起こします。
2025年米国では、弁護士が作成した意見書に、実在しない判例がふくまれていた、という事例が発生しています。この弁護士はAIで意見書を作成しており、ハルシネーションが起きる事実について認識していなかった、とのこと。

③AIを利用したサイバー攻撃の多発

AIを利用することにより、母国語でない言語での文言が容易に作成できるようになりました。
このことにより、攻撃を目的としたメール・フィッシングサイトなどを容易に作成できるようになってしまいました。
特に日本は、これまで「日本語が、他言語話者にとっては難しい」ということで守られていた部分がありましたが、言葉の壁がなくなったことにより、攻撃が増加することが予想されます。

他方、AIを利用すれば、専門家でなくても容易にプログラムが組めるようになってしまったがために、「AIを利用して攻撃手段を準備する」ということも、また容易になってしまっています。
ある会社の調査では、AIを利用したサイバー諜報活動行われた形跡が報告されており、この攻撃プロセスの約90%が、AIが自律的に行ったと言われています。

経済産業省が発信するガイドライン

経済産業省は、継続してAI事業者に向けたガイドラインを発行・更新しています。
経済産業省も、AIを積極利用して、各企業組織が国際競争力をつけることを求めています。
が、他方IPAが指摘するような危険性についても指摘しており、AI開発者・AI提供者・AI利用者に向けて、「安全な利用」ができるよう求めています。
今回は、「AIを利用する一般企業」向けの内容についてピックアップします。

2025年3月に発行したガイドラインは、以下を重要な項目として定めています。

  • 安全を考慮した適正利用を行う事こと
  • 入力データまたはプロンプトに含まれるバイアスへの配慮
  • 個人情報の不適切入力およびプライバシー侵害への対策
  • セキュリティ対策の実施
  • 関連するステークホルダーへの情報提供
  • 関連するステークホルダーへの説明
  • 提供された文書の活用及び規約の遵守

高度なAIシステムを利用する利用者は、上記に加えて別途対応が必要だとされていますが、今回は省略します。

組織が考えるべきこと

上記を受けて、組織は具体的にどのようなことをしなくてはならないでしょうか。
具体的にかみ砕いていきます。

①組織利用のためのサービス・アカウントを準備する

AIに限らず、個人利用のためのツール・アカウントを業務用に流用するのはリスクがあります。
組織利用としてサービスを契約し、アカウントを準備するべきでしょう。
個人利用のAIを業務利用させてはいけません。

②AI提供者の定めた利用方法を確認する

AI提供者が定めた利用上の留意点を確認し、その範囲を逸脱しないように利用します。

③どの業務にAIが利用されているのかを把握する

組織はその行為に責任を持つ必要があります。
これは、AI利用にも同じことが言えます。
・どの業務にAIが利用されているのかを定める。
・情報(個人情報・営業機密)の入力を制限する。
等の、利用制限を設ける必要があります。

④説明責任を果たせるようにする

利害関係者に対して、合理的な範囲で、AIツールをどのように利用していたか、情報提供を行えるように備える必要があります。
前述の弁護士のように「AIが調査したので」というのでは、通用しません。

⑤情報収集を行う

利用しているサービスのセキュリティ情報・プライバシーの侵害情報を収集し、問題が発生していれば直ちに利用を停止する等、常に情報を収集する必要があります。

⑥サイバー攻撃への備え

これは、AIそのもののためのルールではありませんが…
前述の通り、AI利用が活発化したことで、攻撃の質・量ともに向上することが予想されます。
既存対策を全般的に点検し、必要に応じて強化を検討してください。

さいごに

経済産業省は、ガイドライン内で以下のように記載しています。

「主体内(組織内)のAIにかかわるものが、AIの正しい理解及び社会的に正しい利用ができる知識・リテラシー・倫理観を持つために必要な教育を行うことが期待される」

現段階では、「期待される」という弱い表現ですが、例えばセキュリティに関する教育が、現代社会において組織の義務であるように、今後はAIを使う以上は、リテラシー教育をおこなうことが組織にとっての義務になる、ということは想像できます。
組織で積極利用をしていなくても、もしかしたら従業員が勝手に利用をはじめている、なんてこともあるかもしれません。
まずは、組織内の状況の確認から始めましょう。