NVIDIAの研究チームは、後処理で作る”疑似”スローモーションのための、新しいディープラーニングベースのシステムを発表した。このソフトウェアは既存の方法に対し、新しい方法で中間フレームを生成できるとしている。
Example of the Resulting Slow Motion Footage. Source: NVIDIA
ポストプロダクションで “疑似”スローモーションを作成する考えは新しいものではない。コンピュータは、実存のフレームの間に疑似フレームを生成し、結果としてフレームレートが向上する。通常のNLEは単純なフレームブレンドによりこれを行っている。ちなみにFinal Cut Pro XはPremiere Pro CCよりも優れているようだ。例えばVision EffectsのTwixtorというソフトウェアは、条件が良ければすばらしい結果を得られる。単純な背景で一つの物体が動く場合などだ。しかし複雑で非常に速い動きや複雑な背景があると、とたんに映像は破綻してしまう。
NVIDIAの研究者は、ディープラーニングに基づいた新しいシステムを開発し、良い結果を得た。彼らは、ユタ州ソルトレイクシティで6月21日に開催される次回の年次コンピュータビジョンとパターン認識（CVPR）会議でこの成果を発表する。チームは、NVIDIA Tesla V100 GPUとcuDNNアクセラレーテッドディープラーニングフレームワークを使用した。毎秒240フレームでネイティブに撮影された11,000以上のビデオをシステムに学習させた結果、従来の方法より正確に予測することができた。
NVIDIAのチームはこの方法により、空間的および時間的に一貫性のある複数の中間フレームを生成できるとしている。なお、研究チームはYouTubeにビデオを公開している。
デモンストレーションビデオは、30fpsで撮影した映像を240fpsにした結果を見せている。クルマの最初の映像は、見たところかなり良い結果が出ているように見える。ソフトウェアにより毎秒210フレームが追加されているわけだ。ただ、ビデオ後半のホッケープレーヤーの映像では、不要な効果が出ているのが分かる。また、ダンサーの髪の毛の部分にも不要な効果が見えることがある。完璧とはまだまだ言えないだろう。
次に、NVIDIAはYouTubeチャンネルの一部を撮影している。Slow Mo Guysはすでに高いフレームレートで撮影されているが、更に低速にしている。こちらの結果はかなり良好だ。
現在見られる映像はこれだけだが、この範囲では既存の方法よりも優れた結果を得られるように思われる。しかし期待できるもであることは間違いないだろう。是非近いうちに手頃な価格でNLEに統合されて欲しいものだ。
