「みんなが夢見たものの実現へ」360Channelが開発したVRコミュニケーションシステム“FACE”とは？

VR空間内のアバターとユーザーの表情が同期!!

VR動画配信サービス“360Channel”を運営する360Channelが、VRコミュニケーションシステム“FACE ~Face And Communication Entertainment~”（以下、FACE）を発表。それに伴ったトークセッションが同社内で行われた。

“FACE”とは、ユーザーの視線や表情を読み取って、VR空間内にあるアバターに表情などを反映させるという独自技術を採用したコミュニケーションツール。

これまでにも、VR空間でコミュニケーションを行えるツールは存在していた。しかし、従来品は表現したい感情をボタンで選択して、アバターに表情を作らせるというものがほとんどだ。

そのため急激な表情切り換えが行われ、そこに違和感を覚える人も多い。しかし“FACE”にはそのようなボタンがなく、あくまでもユーザーの表情そのままがVR空間内に表現されるので、違和感ないコミュニケーションが行えるという。

▼”FACE”PV

この技術の開発の背景には、コロプラが手掛けるVRファンドが関わっているそうだ。

360Channel代表取締役社長の馬場功淳氏曰く「いま、我々はVRファンドで世界中の会社に投資をしています。そこで世界中のコアな技術を見てきたのですが、それら単体だけでなく、組み合わせてみたらもっとおもしろいことができるのではないかと思い、やってみようと決意しました」とのこと。

なお、この新技術開発には、VRヘッドマウントディスプレイ“FOVE”、カメラに映ったユーザーの動きをアバターにトレースする『FaceRig』、人の表情をトラッキングするBinary VRのフェイストラッキング・カメラが用いられている。

ちなみに、これらはすべて民生品。フェイストラッキングカメラはDK版のみのリリースとなっているが、同じ仕様を作ろうと思えば誰でも作れるものだという。

挨拶の最後に馬場氏は「コロプラでは珍しい研究開発案件となります。製品化についてはまだ考えていませんが、まずは研究成果を発表して世界からの反応を見ておきたく、このように発表させていただきました。みんなが夢見たものの実現へとつながるものですので、いい反応がもらえたらうれしいです」とコメント。

開発段階のものを見せたのは、成果発表をしたいという以上に、世界の反応を見たいからだという意が伝えられた。

また、“FACE”開発責任者も務めるプロジェクトマネージャーの澤木一晃氏は、今回の新システムについて「“FACE”のようなVRアバターコミュニケーションツールは、今後当たり前の技術になってくると思います。これを利用したコンテンツ制作なども可能になってくると、我々は予測しています」とコメント。その将来性を感じさせてくれた。

VR HMD“FOVE”開発者であり、発表会登壇者でもある小島由香氏も“FACE”について以下のような言葉を残している。

「現在さまざまな企業で研究されているアイトラッキングは、どのように利便性を高めるかという左脳的な発想をもとに進められています。しかし、私はこの技術を感情的なものに使いたいと思っていたので、FACEの登場により私の見たかった未来が見えてきたのかなと思います」

なお、その後行われたトークセッションでは「今後どのような機能を追加していきたいか？」、「FACEはどのようなことに使えるのか？」などの質疑応答が行われた。以下には、その一部をQ&A方式でまとめておく。

Q1.FACEの中核技術を担うFOVEですが、FOVE開発のロードマップ上に表情の読み取りというものはありましたか？
ありました。視線と表情というのはコミュニケーションにおいては重要なポイントだと思うので、キックスターターにアップした動画にもそれとわかるものが入っています。動きが遅れて現在実装はされていませんが。（小島）

Q2.今後はどのような機能を追加する予定ですか？
ボディランゲージを採用したいと思っています。コミュニケーションツールとして使う上で、ボディランゲージは外せない要素ですから。（澤木）

Q3.FACEには、どのような用法があると思いますか？
ミーティングよりも、リモートワークであったり、遠く離れた人とのブレインストーミングに使えると思います。ブレストは、相手のリアクションを見ながら話すことが多いので。あとは、表情、感情をVRに乗せられるので、二次元嫁とのコミュニケーションにも活用できるようになると思います（笑）。（小島）

Q4.この技術がコミュニケーションツールとして世に出るのはどれくらいの時期になりそうですか？
まだ研究開発段階ですし、いまは技術検証中ですのでなんとも言えません。なので、製品化には時間がかかると思います。ボディランゲージも含めてとなると、もっと先になりますね。（澤木）

Q5.こちらは、現在何人くらいまでが接続上限となっているのでしょう？
現状では快適な動作を保証できるのは3人までです。まばたきや視線など、瞬間的な更新データを頻繁にやり取りをするので、いまはこれが限界です。無理やり4人目を追加することもできますが、安定はしないので、そこを安定させるのも今後の課題ですね。（澤木）

未来を感じる表情トレース技術

最後に“FACE”の体験リポートをお届けする。

VR HMDは、“FOVE”をベースに表情を読み取る専用のカメラが付けられたもの。表情読み取り用のカメラ自体は大きなものではないので、装着に違和感はない。

表情のトラッキング、トレースに関しては、まだ研究開発段階とは思えないほど高いレスポンス。アバターがシロクマだったせいか、ほほの膨らみなどに物足りなさは感じたが、それでもしっかり反応はしていた。

驚きだったのが、眉の動きもトレースされていたところ。話によると、目の開き具合などから眉の動きを想定してアバターに反映させているという。そのほか、口角、まぶたの動きもアバターにしっかり反映されているのを確認できた。

おもしろいのが、自分の顔と同じ動きをしているのに、それが自分の顔ではないという点だ。自分がアニメ映画のキャラクターになったかのようにも思えるこの感覚は、体験してみないことにはわからないだろう。

ちなみに、体験会で使用できたアバターは『FaceRig』のものがベース。

『FaceRig』と言えば、ユーザーメイドのアバターを使って好きなキャラクターになりきれるツールとしても話題を呼んだもの。そのため「アバターがユーザーメイドできるようになる可能性は？」と質問を投げたところ「それもできるようにしたい」との返答が。

“FACE”がいつごろ製品となるのかはまだわからないが、これが世に出たら、ネットコミュニケーションはよりおもしろいことになりそうだ。

馬場氏が「今後どうなっていくのか。コロプラ社としては、これを研究開発していくのが正解だと思っています」と述べているところからも、今後の“FACE”の進展には期待を寄せるほかないだろう。