今年の初め、アドビは ビデオ用のジェネレーティブAIに関する研究の一部を公開した 。最初のテストでは、ショットから不要な要素を取り除いたり、生成された映像でタイムラインのギャップを埋めたり、その他の 「魔法のような 」トリックが披露された。新しいAdobe Fireflyビデオモデルは、2024年後半に同社のジェネレーティブAIファミリーに加わる予定だ。
AI画像ジェネレーターAdobe Fireflyは、クリエイターの間でかなり人気がある。その理由は、まず、開発者が法的権利を有する学習データを使用するため、競合他社の同様のAIツールよりも商業的に安全で倫理的なソフトウェアとなっている。次に、Fireflyの多くの機能はアドビのソフトウェアに直接統合されている。例えば、IllustratorのAIベクター生成やPhotoshopのGenerative Fillなどだ。
アドビがこれまで実現できていないのは、ビデオ用のFireflyをリリースすることだった。
Adobe Fireflyビデオモデル
今年のNABの内覧会で、アドビは映画制作者や映像クリエイターのための多くのAIツールを展示した。その中には、テキストからビデオへ、画像からビデオへのジェネレーターや、オブジェクトの追加、ワンクリックでの邪魔な要素のマスキング、タイムラインで直接ショットを延長するなどの便利な編集機能もあった。デモ・セッションの全内容はこちら。
アドビはFirefly Video Modelのベータ版の準備が整い、市場に投入することを発表した。アドビのプレスリリースによると、ビデオ用の最初のAI搭載機能には少なくとも、いわゆるジェネレーティブ・エクステンドと、テキストや画像のプロンプトからビデオを作成する機能が含まれる。
例えば、カメラアングルやカメラモーションのような細かなコントロールを活用してアニメーションやエフェクトなどを作成する、カメラモーションで主要なビデオショットにインサートを生成する、プロが撮影した映像とビデオを組み合わせてストーリーをより速く伝える、といった用途が考えられます。
アドビのプレスリリースから引用
今後のスケジュール
しかし、正式な発売日はまだ決まっていない。アドビの開発者たちがプレス発表で述べたように、同社にとっては、AIを搭載したツールを早く出すことよりも、正しく使いこなすことの方が重要なのだ。
発表によると、新しいFirefly Video Modelは 「今年後半 」に利用可能になるという。発売後、テキストからビデオ、画像からビデオへのジェネレーターはFirefly.Adobe.comでテストでき、Generative ExtendはPremiere Proに直接埋め込まれる。その他のプレビュー機能（オブジェクトの除去など）がいつ本稼働するかはまだ不明だ。
Firefly Video Modelがベータ版として利用可能になった際には、こちらからリストに登録し、最新情報を受け取ることができる。
AIダビングとリップシンク
すでにデモされた機能とは別に、アドビは企業向けサービスとして、Fireflyを搭載した新しいツールをいくつか発表した。その中で最も印象的なのは、AIダビングとリップシンクだ。この機能により、ユーザーは元の話者の声で、リップシンクを確保しながら、ビデオ内の話し言葉を異なる言語に翻訳することができる。
このサービスは、既存のワークフローにシームレスに統合するためのベータ版APIとして、またウェブアプリケーションとして、企業顧客向けにすでに提供されている。我々はまだ試していないが、アドビのライブイベントでのデモプレゼンテーションは衝撃的な説得力があった。
Feature image source: Adobe.
