1枚の写真から3Dの顔データを作成する技術が登場

英ノッティンガム大学と英キングストン大学のAI専門家グループの「The 3D computer vision project」が、1枚の写真から3Dの顔データを作成する技術を開発した。

従来も写真から3Dデータを作る技術はあり、PC用のソフトウェアだけでなく、スマホ用のアプリもあったのがそれらは複数のアングルで撮影した写真を使って3Dデータを作成するもので、任意の複数の写真からではなく、連続して複数のアングルから撮影した写真が必要だった。

今回、両大学のThe 3D computer vision projectが開発したのは、膨大な顔データとそれらの3D顔モデルのデータ、ニューラルネットワークを使って1枚の写真から見えない部分も含めて推測に基づいて3Dの顔データを作成する技術。

このプロジェクトのデモサイト「3D Face Reconstruction from a Single Image」では、バラク・オバマ元米大統領など著名人の写真から3Dの顔データを作成したサンプルを実際に様々なアングルに動かして確認できる。

自分の顔の3Dデータも作成できる

これだけならよくある研究成果のデモなのだが、このデモサイトのスゴいところは自分の写真をアップすると、その写真を基にサーバー側で3D変換処理をして、変換後の3DデータをWebで表示・確認できる。

さらにもっとスゴイのはこのデータをOBJ形式で無料でダウンロードできるところ！3Dスキャナーが無い人でも自分の写真をアップロードすれば、3Dの顔データが入手できるのだからスゴイ！

生成されたOBJ形式の3DデータをSTRATA Design CX 3Dに読み込んだところ。結構なポリゴン量の3Dデータが作成されているのが分かる。

読み込んだ3Dデータにアップロードしたときの写真をテクスチャーマッピングで貼り付けた場合。

さらにそれをレンダリングした場合。

このプロジェクトで生成される3Dの顔データは顔の部分だけ。頭部全体ではないのだが、適当な頭部のデータにこの顔部分の3Dデータを貼り付ければ、それっぽい3Dの頭部や胸像データは簡単に作成できる。

武藤工業が「Value 3D Figure World」というミニフィギュアの出力サービスを展開していて、これは顔の部分だけを3Dスキャンして、プリセットのボディデータと組み合わせて、3Dプリンターでフィギュアを作成する有料サービスなのだが、3Dプリンターと適当なボディーデータがあれば、これに近い事が家でもできてしまう。いやはやスゴイ時代だ。

来月ヴェネツィアで開催されるコンピュータービジョンの国際会議(International Conference on Computer Vision)でこの研究成果が発表される予定で、プロジェクトのHPでは論文が公開、GitHub上ではソースコードも公開されている。

ちょっと気になる部分も……

このプロジェクト、1枚の写真をアップするだけで3Dデータを作ってくれるすごい技術なのだが、ちょっと気になる部分もある。このデモサイトにアップしたデータは20分程度で自動的に消去されるのだが、アップする写真は何でもいい。極端な話、facebookやInstagram、Twitterにアップされている友人や著名人の写真をアップしても3Dデータを作成してしまう。

現在のデモサイトはアップロードできる写真の解像度に制限があり、また出力される3Dのデータの解像度もそれほど高くはないのだが、前述のようにGitHubではソースコード、プロジェクトのHPでは論文も公開されているので、さらに改良を加える事も可能かもしれない。

先日発表になったiPhone Xは3D顔認証を搭載し、赤外線プロジェクターで写真が立体ではないのを認識して、不正な認証突破を防ぐと言う。また特殊メイクや双子も認識するとアップルは発表している。ピース写真から指紋データを作成して、指紋認証を突破できるのが話題になったように、この技術がもっと向上して高精度のデータが出力できるようになれば、他人の写真から3Dプリンターでゴム系の素材等でマスクを作る事もできるので、アップルの顔認証も今後もしかすると突破されちゃう可能性もある。

現在はデモと言う事で無料でサーバー処理が混んでいなければ、誰でも写真から3Dの顔データが作成できるのだが、この技術が悪用されないように願うばかり……。このデモサイト自体、いつまで無料で公開しているのか分からないので、自分の顔の3Dデータが欲しい人はお早めに！