はじめに

2022年9月28日から2022年12月25日までの3ヶ月間オーストラリアにある, マッコリー大学（Macquarie University）にAnnabelle McIver 教授の指導のもと研究を行いました. ここでは, その体験について報告いたします.

オーストラリア

オーストラリアは南半球に位置し, 太平洋とインド洋に囲まれた国です. 主要な都市は東側の沿岸部に存在していて, 日本の気候と似て四季を感じられる過ごしやすい気候です. 内陸から西側は広大な砂漠が広がっており, 放牧などが盛んです. 自然が豊かで大切にしている国で, ブルーマウンテンやエアーズロック, グレートバリアリーフなど自然遺産の数が世界一の国です. 様々なバックグラウンドを持った人が多く, 多種多様な文化を感じました.

研修内容

私は, Annabelle McIver 教授の指導のもと差分プライバシーを機械学習に応用する研究を行いました. 私はインターンシップ参加前は秘密計算を用いた顔認証システムの構築というテーマで研究を行っていましたが, 機械学習に関する安全なデータの利活用という点で共通している差分プライバシーに興味をもち, 今回の研修テーマとして取り組みました. 深層ニューラルネットワークを用いた機械学習が様々な分野において成果を上げています. 一方で, モデルの学習に用いられるデータセットの中には個人のプライバシーに関わる情報が含まれている場合があります. そこで, 差分プライバシーを機械学習に用いることで, モデルの出力の差分から学習データに含まれているプライバシー情報が漏えいしないことを数値的に評価することができます. 差分プライバシーは出力に確率分布に基づくノイズを加えることでその出力の差分をわからなくします. 一般に, 差分プライバシーは出力のランダム化メカニズムとしてガウス分布に基づくガウシアンメカニズムが用いられています. しかし, ガウシアンメカニズムより大規模データセットに対して強いプライバシーを実現できるoffset-symmetric Gaussian tail(OSGT)というランダム化メカニズムが提案されています. 私は, OSGTを用いて機械学習の差分プライバシーを実現し, 生成したモデルの精度をガウシアンメカニズムを用いたモデルと比較することで, OSGTを機械学習に用いた際の有用性を明らかにします. OSGTは図1に示すような確率分布を示します.

(OSGT) Distribution

既存研究では, 機械学習の勾配学習時にノイズを加えることで差分プライバシーを実現しており, 勾配学習時に適したガウシアンメカニズムのパラメータが設定されている. そのため, OSGTに関しても同様に勾配学習時に適したパラメータを設定する必要があり, その評価方法を検討した. そして, 様々なプライバシーの強さを満たす設定において, ガウシアンメカニズムとOSGTとを機械学習に用いて, そのモデルの精度を比較する研究を行っていました. 成果として, OSGTがガウシアンメカニズムと同等の精度を示すことを確認しました. 今後, さらに様々なプライバシーの強さを満たす設定での追加実験を行い明らかにしたいと考えています.

おわりに

インターンシップに参加することで, 様々な方から研究に対してアドバイスをいただき, 機械学習を用いた安全なデータの利活用に対する手法や考えを学ぶことができました. コロナウイルスの影響を冷静に判断し, 海外インターンシップの再開に尽力いただいた情報科学研究科の皆様, 研究室の皆様, そしてインターンシップ期間中に現地で研究や生活について支援していただいた皆様に深く感謝申し上げます.

海外インターンシップ体験記 一覧へ