研究内容について教えてください

大学院から一貫して、コンピュータビジョン分野とコンピュータグラフィックス分野の境界領域を研究し続けています。

コンピュータビジョンとは、カメラで撮影した画像をコンピュータで認識・解析する分野です。例えば、ロボットがカメラを通じて現実の情報を認識し、自律的に活動できるようにするといった社会実装につながります。一方でコンピュータグラフィックスは、コンピュータが作成した情報を人間に視覚的に提示する分野です。

つまり、現実のものを情報化するのがコンピュータビジョン、情報を視覚化するのがコンピュータグラフィックスであり、両者は表裏一体の関係にあります。

バーチャルリアリティなどはまさにこの両分野の境界領域であり、私も大学院時代はこの分野の研究室に在籍し、画像生成AIに近いことも研究していました。バーチャルリアリティは、最近では映画「アバター」（ジェームズ・キャメロン監督/2009年公開）などで話題になりましたが、私が個人的に影響を受けたのは「すべてがFになる」（森博嗣著/1996年発行）という小説です。

その後、研究者として大阪大学に職を得てからは、次第にコンピュータビジョンに近い研究に取り組むようになりました。具体的には、カメラで撮影した画像から、物体の三次元形状をコンピュータ上で仮想的に復元する研究です。なかでも近年は、植物を対象とした画像解析や三次元復元に特に力を入れています。

これまでコンピュータビジョンが主に対象としてきたのは車や人間でした。自動運転やロボットによる工場や物流の省人化につながる領域ですね。ドライブレコーダーやモニタリングカメラを通じて大量の画像データを取得できるため、近年では深層学習…いわゆるAIに大量の画像を学習させる技術開発が進んでいます。

しかし植物のコンピュータビジョンは、ロボットによる栽培の省人化や、品種改良の効率化など、農業が抱える問題の解決につながる領域でありながら、これまであまり研究が進んでいませんでした。

主な理由は２つあります。ひとつは解析に使える画像が少ないことです。最近ではハウス栽培にカメラを導入する農家も出てきましたが、蓄積されたものがありません。

もうひとつは植物の形態が非常に多様であることです。人間や車の形は基本的に同じであり、画像に写っていない箇所があっても「ここから腕が伸びているだろう」と容易に解析できます。しかし植物は品種が多様なだけでなく、同じ植物であっても、枝ぶりや葉のつき方・枚数などに個体差があります。数方向から撮影した画像があっても、葉の裏に隠れている部分がどのようになっているかを解析して再現するのは、コンピュータビジョンの最新技術を持っても困難なのです。

私は、植物の画像解析や三次元復元は、技術的な困難さと社会的ニーズの両方が存在する興味深い分野だと考え、研究を続けています。

植物を研究対象とすることになったきっかけは何ですか

出会いという意味では、学位取得後に1年間フランスに留学したことが挙げられます。国立情報学自動制御研究所（Institut National de Recherche en Informatique et en Automatique、INRIA）にある、三次元復元と画像生成の融合に取り組む研究室にお世話になりました。ちなみにそこは近年「3D Gaussian Splatting」という技術を開発したことで非常に有名になりました。アメリカや中国だけでなく、フランスやイギリス、スイス、ドイツなどもこの分野の先進国なのです。

フランスでの1年間の滞在中、ワイン好きの私は、ボルドーをはじめとするワインの産地を巡りました。産地の葡萄畑を眺め、ワイナリーでワインを楽しみ…。このときはまさに余暇としての旅でしたが、帰国後、思いがけないご縁に恵まれることになります。

私は情報科学研究科（IST）の前に、大阪大学産業科学研究所でまず職を得たのですが、上司である八木康史教授がワイン好きだったのです。そこから八木先生のご縁で、ワインつながりのアカデミックな研究者の集いに参加し、山梨にある葡萄農園を見学することになりました。

そこで印象的だったのは、農園の職員が自身の経験をもとに枝の剪定を行っている一方で、農学系の大先生が「それは違うね」とアドバイスをされていた場面です。

剪定を少しでも間違えば葡萄はうまく育ちません。農業とは経験豊富なプロにとっても決して一筋縄でいかないものだと感じた私は、この難しさをコンピュータでサポートできたらと考えるようになりました。植物の画像解析をもとに「ここを剪定しましょう」とコンピュータが推薦できれば、作業の属人化を避けるとともに、作業の効率化・省人化がめざせると考えたのです。そこから現在の研究を始め、2017年～2021年にはJST（日本の科学技術振興機構）さきがけの研究者を兼任し、近しい領域を研究する方々と出会い、研究の輪を広げることができました。

社会実装に向けての動きとしては、農作物を生産加工しているメーカーや、農機メーカーなどからよく相談をいただいています。企業の方々はやはり、農作業をロボットに任せるフィジカルAIへの関心が強いようです。

このように農業への情報技術の導入は、社会実装に向けてホットな領域です。しかし個人的にはもっとホットにならなくては、農業が立ち行かなくなるという危機感を抱いています。東京大学農学生命科学研究科や農業系ベンチャーなどで近しい領域を研究されている方々と仲が良く、共同研究もしているのですが、情報系・農業系ともにこの分野がさらに加速していけばと願っています。