MSRAインターンシップ体験記(高谷 剛志)

はじめに

Microsoft Research Asia-Pacific Internship Programで,2011年8月1日から 2011年10月31日までの3ヶ月間,中華人民共和国(以下,中国)北京市にある Microsoft Research Asiaにおいて,リサーチインターンとして研究する機会を 頂きました. ここでは,その体験についてご報告致します.

MSRA (Microsoft Research Asia)

MSRAは,1998年11月5日にMicrosoftのアジア太平洋地区基礎研究所として創設さ れました. 2004年には,Technology Reviewで,「世界で最もHOTなコンピュータ・ ラボ」と評され,現在では,創設から10数年にも関わらず,コンピュータサイエン ス分野において最も優れた研究機関の1つとなっています. 中国以外にも大韓民 国,アメリカ合衆国,イタリア共和国,インド共和国,そして日本国など様々な国 からのインターンを受け入れています. インターンの数は常時200名程度おり, これまで3000名以上もの学生をリサーチインターンとして育ててきました. ま た,コンピュータサイエンス分野におけるトップカンファレンスやトップジャー ナルへ1500本以上も論文を提出しています.

./images/01.jpg

Microsoft Building

MSRAの環境

リサーチインターンシップということもあり,博士課程学生を主なターゲットと していますが,私のような修士課程学生にもチャンスを与えてくれます. ただ, インターンといっても,ハイレベルで,すでにトップジャーナルペーパーを持っ ている学生もおり,非常に刺激的な場所です. また,大学とのプログラムで,学部 学生が多数おり,早い時期から素晴らしい研究を行っています.自分より若い学 生がすでにトップカンファレンスに挑戦していることを知り,良い刺激となりま した. MSRAは,ハイクオリティな研究だけでなく,様々なアクティビティも提供 しており,スポーツやボードゲーム,フルーツバイキング,インターンパーティな どを通して,人の交流を促進しています. さらに,様々な分野のスペシャリスト によるTech Talkや将来のキャリアについて考える学生向けキャリア講習,外国 人のための中国語講座など毎日のようにイベントがあります. 他分野のリサー チャやインターンが気軽に交流することができるため,アイデアの共有やアドバ イスの提供などが相互に行われます.これを通じて新しい研究の種が生まれるの だと感じました.

MSRAインターンシップで得たもの

社内はフリードリンクで,中国茶やスターバックスコーヒー,コーラなどを自由 に飲むことができます. 私は,2時間に1度くらいでドリンクコーナに行ってまし た.そうすると,なぜかよく会う人がいたり,以前に友人の友人として一言だけあ いさつした人に会ったりします. インターンシップに行く前は英語に自身がな く,自分から話しかけることはまずありませんでしたが,そのドリンクコーナで は,なぜか自分からよく話しかけていました. そのようにで友達ができ,雑談し たり,時には研究についてディスカッションすることもありました. 雑談してい て,相手がトップカンファレンスペーパーやトップジャーナルペーパーを持って いることを知り,席に戻ってから調べてみると読んだことがあるペーパーだった ときもありました. MSRAではよくTech Talkが行われます.世界各国の大学や研 究施設で研究を行っている様々な分野の方々が自分の研究やその分野の課題な どについて講演してくれます. 時間があるときはよく足を運んでいました.時に は,スピーカの方と一緒にランチに行くこともあり,そこでまたいろいろと良い 話を聞くことができました. 結果的に,このインターンシップを通して,研究に ついての新しい視点,ディスカッションのための英語能力,たくさんの友達を得 ることができました. 自分の研究成果をより多くの人に見てもらうには,英語で 書き,かつできるだけ人が集まる会議もしくはインパクトファクタの高いジャー ナルへ投稿することです. 自信がなくても,国内の研究会や会議,ジャーナルで 発表するのではなく,トップカンファレンスやトップジャーナルに挑戦すること が大事だと学びました. 反対に,研究を行う以上,そのような挑戦を常に視野に 入れて研究し,常にトップを狙うべきだと思います.

研究内容

私は,Visual Computingグループに所属し,松下康之博士のご指導の下,多波長画 像を用いたフォトメトリックスレテオ法の改善について研究しました. フォト メトリックステレオ法とは,光源位置の異なる複数の画像から対象の法線情報を 復元するための手法です. 法線とは,面の方向であり,この情報から3次元形状を 復元することもできます. 具体的な方法として,例えば,ある形状の物体があっ たとし,右上から光を照射した画像,左上から光を照射した画像,下から光を照射 した画像があれば,我々人間はその形状を予測することができます. これは,物 体表面における反射光の様子から形状を推定しているためです.

この推定をコンピュータが行うための手法がフォトメトリックステレオ法です. レーザレンジセンサなど直接的に3次元形状を取得する手法と違い,法線情報を 用いるため,より詳細な表面の形状を取得することができます. 実は,フォトメ トリックステレオ法は1980年に提案されたかなり古典的な手法です.したがっ て,フォトメトリックステレオ法の結果改善はこれまで数多く研究されてきまし た.

今回,なぜフォトメトリックステレオ法をターゲットにしたのかというと,大学 で行っていた研究から新しい知見を得たためです. 大学では,反射光や散乱光な どの光学的成分に基づき画像成分を分解する手法について研究していました. その研究を通して,金属以外のあらゆる素材は,表面下において散乱を起こすこ とを知りました.この表面下散乱は,物体の見えに大きく影響します. また,もう 1つの事実として,表面下散乱現象は,光の波長に依存して変化するということで す. したがって,光の波長によって,反射光の様子が変化することがわかります. この事実はフォトメトリックステレオ法による法線復元にどのような影響を及 ぼすのかという興味がモチベーションとなりました. もちろん利用する光源の 波長を考慮したフォトメトリックステレオ法についての研究はありません. つ まり,我々の研究によって,フォトメトリックステレオ法に関して,考慮すべき新 しい要素が明らかになりました.

この事実から,フォトメトリックステレオ法による結果を改善するための新しい 手法を提案し,合成データを用いたシミュレーション実験および様々な物体を対 象として実実験を行いました. 特にターゲットにしたものは,1つ物体であるが,複 数の色や素材から構成されるものです. その理由は,通常のフォトメトリックス テレオ法は,固定の波長スペクトルをもつ光源を利用して,輝度画像を得ます. したがって,推定した法線マップに本来含まれない物体表面のテクスチャなどが 含まれてしまい,正確な法線マップを得ることができません. 提案する手法で は,各色や各素材に応じて,最適な波長を利用できるので,法線マップに物体のテ クスチャは含まれず,より正確な法線情報を得ることができます. まず,様々な 素材の反射特性についてのデータベースを用いて,様々な素材による楕円体を生 成し,様々な光源位置で画像をレンダリングしました. これを合成データとし て,提案手法を適用しました.

定量的な評価のため,通常のフォトメトリックステレオ法による結果と提案手法 による結果を真値と比較しました. 提案手法は入力として多波長画像を想定し ていますが,データベースはRGBの3波長分しかありません.しかし,そのような場 合においても提案手法による結果の改善がみられました. この結果を受け,実デー タを用いた実実験に取り組みました. 実実験では,9枚の狭帯域フィルタを用い て,特定波長のみの画像を入力としました.できるだけ可視光領域で均等になる ように9波長を選択しました. 余談ですが,初めはフィルタを手動で交換してい ました.その場合,暗室に5時間程度篭もる必要があり,非常にストレスフルでし た. そこで,使用されていなかったトランスレーションステージを活用し,フィ ルタ交換の自動化に成功しました.これにより,仕事の効率が上がりました. 得 られた多波長画像を用いて,提案手法を適用しました.実実験で問題となること は,真値が得られないということです. したがって,目視による評価しかできま せん.しかし,推定された法線マップから物体のテクスチャを消すことができて おり,通常のフォトメトリックステレオ法よりも正確に法線マップを推定できて いました. また,通常のフォトメトリックステレオ法では散乱の影響で詳細な表 面形状が得られない場合であっても,提案手法ならば表面の微妙な凹凸形状を得 ることができました.

結論として,我々の研究により,フォトメトリックステレオ法において考慮すべ き新しい要素,つまり光源の波長による影響が明かになりました. それを考慮 し,フォトメトリックステレオ法によって推定される法線マップの正確さを向上 させる手法を提案し,合成データおよび実データを用いて評価しました. この研 究成果は現在,アメリカ合衆国国内会議であるCVPR (Computer Vision and Pattern Recognition) に提出し,査読結果待ちの状態です. CVPRは国内会議で すが,コンピュータビジョン分野において最も大きな会議の1つです.

北京市での生活

中国というと心配事が多いように思われがちですが,実際に住んでみると日本で 住むように暮らせました. 基本的に物価は安いので,低価格にも関わらず量が多 く,かつ非常においしい中華料理を楽しめました. また,交通費も非常に安く,遠 出しても気になりません. 滞在していたホテルの近くにセブンイレブンがあり,全 く不便ではありません. ただ,コンビニは少し割高なので,よくカルフールやウォ ルマートで買出しを行っていました. 英語が通じる一般の方は稀ですが,ボディ ランゲージと漢字による筆談でコミュニケーションできました. 週末は他のイ ンターンたちと一緒に出かけることも多かったです.

./images/02.jpg

中華料理

./images/03.jpg

万里の長城

おわりに

この海外インターンシップを通じて様々な経験を積むことができました.異なる 分野,異なる国のインターンたちと交流し,視野を広げることができました. ま た,著名な研究者がよく訪れるので,様々な講演を聴くことができました. また,多 くの人とコミュニケーションするためには,英語が重要だと感じました.様々な 国の人が集まったとき,使われる言語は,やはり英語であるからです. 今回の経 験から,日々,英語を学習する必要があることを感じました.

最後に,このような貴重な機会を与えてくださった松下康之博士,MSRAと大阪大 学,知り合った多くのインターンたちに心よりお礼申し上げます.