人工知能ツールは猛烈なスピードで成長し、進化してきた。ニューラルネットワークは数分でアーティスティックなムードボードを作り、コンセプトのアイデアを高めるだけでなく、プリビジュアライゼーションとアニメーションのプロセスを大幅に簡略化することができる。これはAIを使ったモーションキャプチャーで、ゼロコストでゼロからアニメーションを始めることができる。
CGIキャラクターを使った映画の舞台裏を見たことがある人なら、黒いタイトなスーツが俳優の体の隅々まで覆い、例えば想像上の人物になりきるというコンセプトをよくご存知だろう。モーションキャプチャースーツは、人間の演技を記録し、さらにアニメーション制作のために体の動きを追跡する。このようなハードウェアは、数十万ドルにも上る非常に高価なものだ。しかし、こ状況に歯止めをかける別の方法がある。
AIで簡単にモーションキャプチャー
もし、従来のスタジオの何分の一かのコストで、スーツも着ずに、スマートフォンと市販のカメラでモーションを撮影し、しかも同じように忠実な結果を得ることができるとしたらどうだろうか？Move.aiは、AIベースのマーカーレス技術を完全にリリースすれば、まさにそれを提供できると謳っている。同社のウェブサイトによると、このツールは、あらゆる年齢や体型の人のポーズ、歩行、動作、そしてマナーまで追跡することができるそうだ。ベータテスターからのフィードバックは、今のところポジティブなものだ。今月から、サインアップすれば誰でも数分間、この技術を試すことができるようになった。
Move.aiは、特許を取得した機械学習ソフトウェアがユニークだと述べているが、画期的な発明では無い。現在、市場にはさまざまな種類のAIモーキャップツール（Deepmotion、Plask、Kinetixなど）が溢れている。この技術の仕組みを詳しく見るために、「Rokoko Video」を選んだのは、無料であることと、「誰でも使える」といううたい文句があったからだ。(私はモーションキャプチャをやったことがないので、間違いなく「誰でも」だ)。そして第二に、Rokokoは、高予算の作品（Netflixで見るような作品）で広く使われている従来のモーションキャプチャースーツの老舗の開発者であることだ。
AIモーションキャプチャーの活用法
AIモーキャップはとてもシンプルで、使いやすく、直感的に操作できる。例として、「Rokoko Video」ツールの簡単なステップ・バイ・ステップの説明を紹介しよう。
- ブラウザで直接ウェブカメラで動きをキャプチャするか、電話のビデオをアップする。(俳優のダンスを録画したものでも十分だ)。ヒント：全身が常に見えるようにすること、ぶかぶかの服は避けること、三脚を必ず使用すること。ファイルサイズの上限は300MB。
- 好きなようにクリップをトリミングし、「アニメート」をクリックすると、AIが強力なクラウドエンジンを使って、Rokokoは身体と手足の動きを抽出する。私の場合、最初の動画50秒を処理するのに10分ほどかかった。
- その後、スタジオソフトウェアでデータにアクセスし、足のロックの調整などクリーンアップを行い、Blender、Cinema 4D、Unityなどお好みの最終3Dアプリケーションに持ち込むことができる。
開発者による詳しいチュートリアルはこちら。
AIを使ったモーションキャプチャーの応用分野
今回のテストでは、古いiPhone Xで、人工照明を使わずに短いビデオを撮影した。できるだけ簡単にするため、クリップは、私のリビングルームで壁に向かって直接撮影した様々なヨガのポーズとダンスの動きだけで構成されている。これらは、Rokoko Studioの結果となっている。
正直なところ、完璧ではない。でも、しっかり機能している。数回クリックするだけで、数分後には完成している。一番嬉しかったのは、この段階で特別なアニメーションのスキルが必要なかったことだ。もちろん、動く骸骨をもっともらしいキャラクターに変えたいときには必要かもしれないが、それはまた別の話だろう。
もしあなたが、ビギナーアニメーターや、CGIキャラクターを試してみたいプロフェッショナルなら、AIベースのモキャップはちょうどあなたの好みに合うかも知れない。私にとっては、この技術の最も適した使い方は、ショートムービーのための迅速で良質なアニメーションの準備、またはVFXショットのためのあまり要求の高くないアニメーションだと考えている。
AIモーションキャプチャーのデメリット
- RokokoのCEOであるJakob Balslev氏によると、AIが生成するデータは、従来のモーションキャプチャースーツが生成するデータほど正確ではない。例えば、全身の動きは抽出さ れるが、手の動きや顔の表情の正確な動きは含まれない。(上の例では、手が急に後ろに回ったのがわかると思う)。
- モーキャプスーツで非常に重要な機能である高忠実度やリアルタイムストリーミングを、Rokoko Videoは提供できない。move.aiの登場は、その解決策となるかもしれない。
NVIDIA AIでプリビスにフォトリアリスティックな3D風景
NVIDIA Canvasは、Windows用の無料AIツールで、ニューラルネットワークを利用して、シンプルなブラシストロークをリアルな風景に素早く変えることができる。このアプリは数年前から登場しており、まだベータ版の段階だが、最近、開発者はこのアプリの驚くべきアップデート、すなわち360度の環境マップを作成できるようになることを発表した。
このアップデートはまだ登場していないが、登場したら大きなものになるかも知れない。Canvasのシンプルなスケッチが、あなたのアイデアの3Dビジュアライゼーションに魔法のように変化する様子を想像してみてほしい。書き出したものをアニメーションアプリケーションで開き、360度の背景として適用できる。前のステップで作成したAIモーションキャプチャーを追加し、カメラの動きで操作すれば、シーンの最初のプリビスができあがる。
まとめ
人工知能ソフトは高価なモーションキャプチャースーツに完全に取って代わるだろうか。現在進行中の人間と機械の対立も、近い将来解決されることはない だろう。しかし、新しいAIツールが私たちの生活をよりシンプルにし、仕事のプロセスをより効率的にする限り、それを使わない理由はない。
Feature image: a showcase, created with help of AI motion capture. Image credit: Mascha Deikova, CineD
