VTuber (Motion Capture)系技術を利用したシステム開発

最近の研究開発状況をご紹介します。キーワードは、VTuber、モーションキャプチャ、ライブストリーミング、3D仮想空間です。

VTuberやモーションキャプチャ
人間の動きをカメラやセンサによりセンシングし（モーションキャプチャ）、その動きを画面内の2次元・3次元のCGキャラクターの動きに反映させることで、生身の人間ではなくバーチャルなキャラクターがYoutubeに登場して喋ったり踊ったりするバーチャルなYoutuberであるVTuberが、2017年夏頃より人気を集めています。昔から映画制作の現場などでは同様の技術は使われていたものの、それらを利用するには高額かつ大型の装置を利用しなければなりませんでした。数十万円のモーションキャプチャスーツや数万円のヘッドマウントディスプレイ（HMD）＋センサーを利用することで一般ユーザも家庭でできるようになってきたというのが最近の特徴になります。このセンシングにVR用のHMDが利用されることが多いことから、バーチャルリアリティ業界のエンジニアが積極的に技術開発やコンテンツ制作に参加していることも流れを加速させている要因の一つかと思います。

当社では、これまでもスポーツVRなどに取り組んでいたように、アスリートなどのプロフェッショナルの動きを計測できないかということで、バレエの踊りから研究開発を進めています。上の画像では、バレリーナの方にPerception Neuronというモーショントラッキング用センサーを装着してもらい、その動きを計測しています。

通信システムとの融合
VTuberによる映像制作の現場では、モーションキャプチャを実現したスタジオで、演者をセンシングしながら画面内のキャラクターを動かします。そしてその画面を録画することでCGキャラクターが動いたり喋ったりするのを映像コンテンツ化するというのが大まかな流れになります。このままでも映像制作の新手法として面白いのですが、当社では以前よりVRライブストリーミングに取り組んでいることから、モーションデータや３次元データをライブストリーミングするための研究開発を進めてきました。人やキャラクターの映像をライブで遠隔地に届けたいときに、映像そのものだとデータ容量が大きくなりますが、予め受信側がキャラクターのCGデータを持っていれば、モーションデータを送り、受け側でキャラクターを動かせば、動きや表情のあるライブストリーミングが可能になります。具体的にはWebRTCのような低遅延なプロトコルを使用すれば双方向のコミュニケーションが実現できますし、RTMP/RTSPのようなライブストリーミングプロトコルを使用すれば多人数への大規模配信も可能になります。

バーチャルエンターテイメント時代
これまでスポーツ、演劇、コンサートなどのエンターテイメントの多くは、スタジアムや劇場などリアルな空間に集い、みんなで楽しさを共有するようなユーザ体験を提供していました。しかしリアル空間でのエンターテイメントでは、空間のキャパシティによる参加者数の制限や、地理的な理由から必ずしも参加しやすいわけではないといった弱点もありました。ライブな体験ではあるが、バーチャルな空間で実施されるバーチャルエンターテイメントでは、空間的な制約はなくなり（その代わりサーバー的キャパシティはあるが）地球上のどこからでもアクセスできるようになります。スポーツの場合は選手の位置情報や動きをセンシングしてアバター化したり、演劇の場合は演者の踊りや歌をキャプチャしてバーチャル演劇に仕立てたり、そしてそういった鑑賞対象を他のユーザとバーチャル空間を共有し言語的・非言語的なコミュニケーションを取りながら共有できるようになります。

当社ではこれまで培ってきた360度動画をベースにした実写系バーチャルリアリティ技術に加えて、リアルタイムストリーミング技術も利用したコンピュータグラフィックス（CG）ベースのバーチャルリアリティシステムの開発も進めてまいります。お気軽にご連絡下さい。