ミュージックビデオ、長編映画、ドキュメンタリーなど、タイムラプス映像は、動きのある変化を捉えるためのツールとしてよく知られており、広く使われている。しかし、フィンランドのアールト大学の研究者によれば、タイムラプスには、ランダムなちらつきや、どこからともなく現れるオブジェクトなど、いわゆるアーチファクトがあり、完璧なものとはいいがたい。フィンランドのアールト大学の研究者たちは、NVIDIAと共同で、タイムラプスを大幅に拡張するための新しいAI技術を開発した。
タイムラプスには、カメラ、三脚、そして根気という、視覚的に説得力のある3つの重要な要素がある。一見、簡単そうにみえるかもしれない。しかし、ダイナミックなプロセスを自分で撮影したことがある人なら、それがどれほど厄介なものであるかを知っている。以前の記事で、撮影時に適切な時間間隔を設定することを説明した。しかし、数日、数ヶ月、あるいは数年に渡って何かを観察することが目的である場合はどうだろうか。NVIDIAの新しいジェネレーティブモデルは、かけがえのないアシスタントになることができる。
新しいディープラーニングモデルでちらつきの問題を解決する
タイムラプスの作成に関して、NVIDIAは一石何鳥かを得たいと考えていた。まず、数年にわたるビデオ観測など、長いタイムラプスを撮影する場合に起こりやすいちらつきを抑えること。第二に、タイムラプスからの変化を制御し、最も厄介なものを一掃すること。例えば、天候の急激な変化、フレーム内をランダムに歩く人、突然カメラレンズを覆う蜘蛛の巣など、映像制作者が直面するあらゆる予期せぬものを制御する。
そして実際に、彼らはやり遂げた。研究者の一人であるErik Härkönen氏は、徹底したビデオプレゼンテーションの中で、ウェブカメラからの荒くて雑な入力データが、魔法のように滑らかで素晴らしいタイムラプスに変化する様子を実演している。選ばれた風景は、さまざまな季節を美しく彩り、私たちはそれをちらつきなく目にすることができる。研究資料では、NVIDIAのAIがどのようにトレーニングされ、テストされたのか、技術的な詳細をすべて読むことができる。
タイムラプス映像を後から調整する
さらにその先がある。ディープラーニングモデルは、後から映像を加工することもできるのだ。古くからある「ポストで修正する」という方法だ。芸術的な目標に応じて、天候、時間帯、さらには時期など、映像の中でいつ変化が起こるかをコントロールできる。
別の例では、タイムラプスの前景にある木が成長するのを数年かけて観察するとする。AIを使えば、この過程を詳細に見るか、成長を時間軸で固定するかを決めることができる。後者のオプションは、木がその背後にある美しい風景を隠してしまうのを防ぐことができる。
欠落したデータでも品質を実現
NVIDIAチームのアプローチは、Generative Adversarial Networks（GAN）に基づいており、基本的に彼らのAIは、もっともらしいデータ（長いタイムラプスを想像してください）を生成することに長けている。何日も何週間も映像が欠けていることがよくある。映像素材は、通常、広い時間帯を非常に素早く表示するため、関係なく使用可能だ。しかし今、NVIDIAのAIは、その間にあるものすべてを合成し、最終的な映像をさらに向上させることができる。
NVIDIAでタイムラプスを作成する – 結果
これがタイムラプスの新しい編集方法だ。変化の本質を見せながら、動画を滑らかにする。以前の研究の試みと比較して、NVIDIAからこのモデルは、天候やちらつきを制御し、興味深い詳細のうち、洗浄しないことができる。GitHubでソースコードと学習済みモデルをダウンロードできるので、試していただきたい。ただし、AIトレーニングの経験や専門知識が必要かもしれない。
特集画像は、論文「Disentangling random and cyclic effects in time-lapse sequences」からの引用。出典：フィンランド・アールト大学、NVIDIA
Another source used: Two Minute Papers
