Four Eyes Lab 研修体験記 (工藤 彰)

はじめに

私は、2014年10月3日から2014年12月1日までの約2ヶ月間、アメリカのUniversity of California, Santa Barbara(通称UCSB)に滞在し、Tobias Hollerer教授の指導のもと研究を行いました。ここでは,研究内容と大学の環境、カリフォルニアでの生活について報告致します。

サンタバーバラ

サンタバーバラはカリフォルニアの中央部海岸沿いに位置する街で、ロサンゼルスの北西に位置しています。 スペイン風の白い壁に赤い屋根で統一された美しい町並みが特徴的です。気候は年中温暖で、雨はほとんど降りません。私の2ヶ月間の滞在中には調度ハロウィンの日に一日だけ雨が降りました。

現地での生活

UCSBでは10月頭に夏休みが終わり新学期がスタートするため、私もその時期に合わせて渡航期間を決定しました。 入学時期のため学生寮などが全て埋まっていたので、ホームステイを紹介していただきました。 ステイ先からキャンパスまでは自転車(ホストファミリーに借りたもの)で片道40分ほど費やしていましたが、気候が非常に快適だったため、全く苦に感じませんでした。研究室外でも英語でのコミュニケーションを取る機会を増やしたいと考え、現地の留学生サークルにお邪魔し、イベントに参加したりして過ごしていました。

銃乱射事件(渡航前)

私がUCSBのFourEyesLabに行くことが決定した週のことです。テレビを付けるとアメリカで銃乱射事件が発生し、学生が7人亡くなるという痛ましいニュースが流れました。事件が起こった場所を見てみると、何とUCSBのキャンパスの隣の学生街Isla Vistaで、当時ワクワクの感情しかなかったインターンが一瞬で不安に変わったのを覚えています。 通常はサンタバーバラは非常に治安がよく、実際僕の滞在中に身の危険を感じたことは一度もありませんでした。ですが、用心に越したことはありません。こちらで事件を目撃した人や銃声を聞いたという人の話を何回か聞き、人事ではないという気持ちになりました。

中村教授のノーベル賞受賞記者会見

学校に通い始めて2日目の出来事です。青色LEDを開発したUCSBの中村教授がノーベル賞を受賞されました。この日にラボのメンバーからすぐ近くの建物で中村教授の記者会見が行われるということを聞き、一緒に聞きに行きました。テレビ局やら新聞記者やらが大勢集まっていて、とてつもなく貴重な場面に巡り会えたことを神様に感謝しました。

研修内容

私は、コンピュータグラフィックスにおける拡張現実感(AR)に関する研究を行いました。 AR技術を使ってバーチャル空間と実空間の幾何学的整合性を得る一つの方法に、事前に作成した現実環境の特徴点データベースとシーン中の点のマッチングを行うことでカメラの自己位置を推定するという方法があります。しかし、光源観光が変化した場合に、シーンから抽出される特徴点とデータベースの対応が取れず、カメラの自己位置推定の精度が低下する場合が考えられます。 この問題に対し、バーチャル空間におけるシミュレーション実験を通して、異なる光源環境における画像特徴の頑健性を調査しました。シミュレーションにおいて使用した3Dモテルは、Four Eyes Labにて開発されたCity of Sightsモデルです。 光源環境を容易に変更可能であるゲームエンジンのUnityにモデルをインポートしてシミュレーション実験を行いました。 実験は以下の流れで進めました。

  1. 異なる光源環境に関してそれぞれ各80枚のシーンと各ピクセルの位置座標取得
  2. 各環境についてそれぞれ代表的な特徴点のデータベース(SIFT記述子/SURF記述子)を作成
  3. 異なるデータベースを使用して、それぞれの環境において自己位置推定テスト
はじめのステップでは、各光源環境に関して、モデルを別位置・別角度から80枚の画像を撮影し、各画像に関してピクセルの3次元位置座標を取得します。これは、Unity内のPhysics.Raycastという仮想的な線を利用して衝突判定を行うことで取得できます。取得したピクセルのRGB情報と、3次元の位置情報から、ply形式の3Dファイルを正しく作成できていることが確認できました。

次のステップでは、バーチャル空間において平行光源の角度を変化させ、それぞれの環境において撮影した多数の異なるシーンを元に、代表となる特徴点を記録したデータべースを構築しました。 代表となる特徴点の選出方法については関連研究のアルゴリズムを参考にし、より重要度が高いと考えられる特徴点を2000個に絞って、その特徴量と3次元位置座標を記録しました。 3種類の異なる光源環境において撮影したシーンを対象に、これらの異なるデータべースを使用した各場合の自己位置推定の精度を比較しました。

図は3つの光源環境において、各環境において作成されたデータベースを使用した時の特徴点の対応の正誤を示すものです。環境1(上)、環境2(中)、環境3(下)を対象として、同一の特徴点がマッチングされたとみなせる場合は緑色の点、異なる点とマッチングされたものを赤色で示します。 左から順に、環境1、環境2、環境3の状況下で構築されたデータベース(SIFT記述子)を使用した場合の結果を示しています。 これらの出力結果ではいずれも,光源環境の一致しているデータベースを使用した場合に,より多くの正確なマッチング結果が得られています。 また、ある環境においては影になっている部分が、特に他の環境において多くの対応誤りを得ていることがわかります。 さらに、各環境において撮影された80枚の画像のそれぞれにおいてカメラの3次元位置座標を推定し、 真値との誤差を計算しました。真値との座標の誤差が小さかった場合に自己位置推定を成功とみなし、自己位置推定の成功率を導出しました。その結果、どのデータベースを利用した場合も,光源環境が同じ状況において自己位置推定の成功率が高くなっているのが確認できました。 また、最も鮮明で影が少ない環境3に対して環境の異なるデータベースを使用した場合、データベースに存在しない多くの特徴点が検出されるため、自己位置推定の成功率が低くなることがわかりました。

さらに、帰国後に実環境においても同様の実験を行うことができるように、Four Eyes LabにてCity of sightsのペーパークラフトモデルを複数の異なる光源環境において動画撮影しました。 今後は、光源の位置だけでなく環境光の考慮や,光の色,光度の変化が画像特徴点にもたらす影響について調べ,自己位置推定の精度を高める手法を調査する予定です。

私は、研修に行く前に研究室の先輩や先生方と議論を行い、2ヶ月間の研修内容についてのスケジュールを立てて行きました。現地では、Tobias Hollerer教授だけでなく、他のFourEyesLabのメンバー(ほぼ全員Ph.D)に助言を頂きながら研究を進めました。話すのが速すぎて何言ってるのか分からないということもありましたが、もう一度ゆっくり話してもらったりすると理解できたりしたので、すぐに諦めないように心掛けていました。

おわりに

今回の海外インターンシップにあたり、渡航前は 不安もありましたが特に大きなトラブルもなく無事終えることができました。 海外の大学の研究室という新鮮な環境において研究を行い、現地の学生の研究に対するモチベーションの高さに驚かされ、大きな刺激を受けました。研究以外でも、海外で生活をするという貴重な経験をし、多くの人とコミュニケーションを取ることができたため、心身ともに成長できたように感じます。 社会に出てから、グローバルに活躍できる人間になりたいと考えるきっかけとなりました。

最後に、Tobias Hollerer教授と連絡を取って頂き、貴重な機会を提供してくださった清川先生、何度もskype通話で研究の相談に乗って頂いたAlexさん、 貴重な機会をくださった大阪大学、竹村研究室の方々、暖かいホストファミリー、研究生活を支えてくださったFour Eyes Labの学生に心よりお礼申し上げます。