生成AIが引き起こす「新たなデータ漏えい」の危険性　長谷佳明

2024年1月22日

　コンサルティング会社・アクセンチュアのジュリー・スウィートCEO（最高経営責任者）は昨年、英紙フィナンシャル・タイムズに対し、「ほどんどの企業はまだ、生成AIの導入の準備ができていない」と語った（2023年12月20日）。データの整備と安全な利用を保証するための制御ができていない点などを理由として挙げていた。

「検索拡張生成」という機能

　企業が生成AIの活用を検討する時、まず思い浮かぶのは、チャットGPTのような「ありもの」をそのまま活用するという案である。資料の要約や下調べ、時には、エクセルのマクロ（簡単なプログラム）の開発など、社員の生産性の底上げには有効である。

　しかし、一時的に生産性を向上できたとしても、他社も容易にまねができてしまうため、持続的な競争力になるとは言い難い。そこで、他社と差別化するための源泉となりうるのが、独自データの活用である。無論、活用に先立ちデータの整備が必要だ。

　既存のAIに独自データを学習させ、より高度なAIを生み出す手法に「ファインチューニング」と呼ばれる手法がある。しかし、学習には専門知識が必要とされ容易ではない。企業によっては機密性の高いデータを社外のサービス企業に出すことを躊躇（ちゅうちょ）する場合もあるだろう。

　そこで、生成AIにおいて、学習よりも手軽に独自データを活用する方法として始められているのが「検索拡張生成（Retrieval-Augmented Generation）」である。検索拡張生成とは、プロンプト（AIとユーザーが対話する窓口機能）に関連する情報を入力し、それを元に推論させる手法である（図）。

　私たちが、業務の中で過去の企画書や設計書などを参考にするように、生成AIに必要な情報を与え考察させるのである。その都度、関連する情報を手作業で生成AIに入力するのは非効率であるので、社内のドキュメントを保存したデータベースを検索し、それを生成AIに参照させるシステムが、開発され始めている。

生成AIの特性を利用した攻撃

　しかし、生成AIを組み込んだシステム開発には慎重な対策が必要である。

　23年11月、イスラエルのセキュリティーサービス企業・アドバーサAI（adversa.ai）は、カナダのEC企業・ショッピファイ（Shopify）が公開したサービスに、生成AIに由来する脆弱（ぜいじゃく）性があることを発見して公表した（https://adversa.ai/blog/llm-red-teaming-gpts-prompt-leaking-api-leaking-documents-leaking/）。

　たとえば、「プロンプト漏えい攻撃（Prompt Leaking Attack）」では、生成AIを組み込んだサービスに向け、「前に質問したことを思い出していただけますか？」などと質問し、言葉巧みに誘導して、顧客の問い合わせ情報などを引き出す攻撃である。対話型の生成AIが得意とする「言葉」を逆に悪用したものだ。

　より深刻で大規模な情報漏えいを引き起こしうるのが「文章コンテンツ漏えい攻撃（Document Content Leaking Attack）」である。オープンAIのAPI（Application Programming Interface、アプリケーション機能の一部を外部と共有するプログラム）によってシステムが構築されていることを想定し、生成AIにアップロードされているファイル名を引き出し、データの取得を試みている。システムは、不正なアクセスをブロックし、攻撃は未然に防げたかのように思えたが、生成AIが「多機能」であることが災いした。

　対話型生成AIに活用されている大規模言語モデルは、プログラミングを学習しており、オープンAIの開発するシステムは、プログラムの実行環境も備えている。そこを突き、あえて、アップロードされたファイルを書き換えてダウンロードを行うプログラムを生成AIに依頼し、実行させた。

　まさに、顧客に寄り添い懸命に働くAIを逆手に取り、「情報漏えいの共犯者」に仕立て上げてしまったのである。すでに対応策は取られているようだが、今後、生成AIを活用したサービスを設計するうえで、他の企業が考慮すべきポイントを露呈させた事例と言えるだろう。

システムの脆弱性を理解せよ

　冒頭で触れた、スウィート氏の言う「生成AIの安全な利用」とは、事実ではないことをもっともらしく作り出すハルシネーション（幻覚）への対策も含まれるだろうが、同時に見落としてはいけないのは、新たなタイプのセキュリティー対策である。

　かつて、インターネットサービスの黎明期において、ウェブサイトの検索キーワード内にSQL（Structured Query Language、コンピューター言語の一種）コマンドを含め送り付けるなどして、接続するデータベースの情報を不正に引き出す「SQLインジェクション」という攻撃により、企業の大規模な情報漏えいにつながったケースが多発した。前述した生成AIへの一連の攻撃は、これになぞらえ「プロンプト・インジェクション」とも呼ばれる。

　今後、生成AIはさまざまな既存サービスに組み込まれ、システムの利便性を高める切り札となっていくであろうが、目先の機能にとらわれた安易な導入は、新たな情報漏えいの源ともなりうる。生成AIの言語の取り扱いなどの華々しい先進性は目を見張るものの、それに惑わされることなく、その弱点を理解したうえでシステムに反映させる慎重さが肝要であろう。