機械学習アルゴリズムに脆弱性(JVN) | ScanNetSecurity
2020.07.13(月)

機械学習アルゴリズムに脆弱性(JVN)

IPAおよびJPCERT/CCは、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「JVN」で発表した。

脆弱性と脅威 セキュリティホール・脆弱性
独立行政法人 情報処理推進機構(IPA)および一般社団法人 JPCERT コーディネーションセンター(JPCERT/CC)は3月25日、勾配降下法を用いて学習を行う機械学習モデルに対して、意図的に誤った識別をさせるような入力を作成することが可能な問題が存在すると「Japan Vulnerability Notes(JVN)」で発表した。問題はアルゴリズムに存在するため、特定の製品が対象となるわけではない。

勾配降下法を用いて学習させたモデルを用いた分類を行う場合に、任意の分類結果が得られるような入力を意図的に作成することが可能。これは、Kumar et al.による攻撃分類では、「perturbation attacks」や「adversarial examples in the physical domain」に該当する。現在のところ、次のような事例が知られている。

・音声からテキストへの自動変換システムに対し、任意の結果に誤変換させることが可能であることを実証
・写真データを使った顔認識システムに対し、照明操作、眼鏡着用、写真データ加工などによって意図的に誤認識させることが可能であることを実証
・2019年3月に発表された論文では、車線認識機能を持つ Tesla Autopilot に対し、実験用走行環境ではあるが、路面に貼られたステッカーによって意図的に車線変更させる実験に成功。また、2020年1月に発表された論文では、同様の手法がドローンなどによる路面への投影によっても可能であることを実証

JVNでは、「攻撃に使われる入力に対し適切な結果を返すように学習させること」および「多層防御を実戦すること」を推奨している。
《吉澤 亨史( Kouji Yoshizawa )》

関連記事

Scan PREMIUM 会員限定記事

もっと見る

Scan PREMIUM 会員限定記事特集をもっと見る

カテゴリ別新着記事

★★ ( FB ログイン可) 会員限定記事、週 1 回のメルマガ、人気ニュースランキング、特集一覧をお届け…無料会員登録はアドレスのみで所要 1 分程度 ★★
★★ ( FB ログイン可) 会員限定記事、週 1 回のメルマガ、人気ニュースランキング、特集一覧をお届け…無料会員登録はアドレスのみで所要 1 分程度 ★★

登録すれば、記事一覧、人気記事ランキング、BASIC 会員限定記事をすべて閲覧できます。毎週月曜朝には一週間のまとめメルマガをお届けします(BASIC 登録後 PREMIUM にアップグレードすれば全ての限定コンテンツにフルアクセスできます)。

×