IBCは、新しい機材やソフトウェアのアップデートだけが話題となるわけではない。新進気鋭の若い企業が、映画制作者や映像クリエイター向けのさまざまな技術的ソリューションを紹介するチャンスでもある。オーストリアの企業「play」は、ビデオ編集者向けのマルチモーダルAIをデモした。これは、テキストの指示に基づいてラフカットを作成できるものだ。
同社のプレスリリースによると、playの人工知能モデル「Holly」の主な目的は、単調な作業(メタデータの追加や選択プロセスなど)を代行し、クリエイティブな編集作業に時間を割けるようにするツールを開発することだ。一見、AIの能力を合理的に活用しているように思えるが、どうだろうか?
また、嬉しいお知らせがある。playは、CineDのIBC 2024ベスト・オブ・ショーの受賞者の1社となり、AIイノベーション賞を受賞した。
playのHollyの本質
playのHollyは、配信されたビデオクリップを機械学習で分析し、包括的なメタデータを提供するブラウザベースのアプリケーションだ。 それ以外にも、LLM(大規模言語モデル)が搭載されており、ユーザーとのコミュニケーションや、ユーザーが提供したテキストに基づくラフカットの作成が可能だ。 また、Hollyはビデオクリップ内の音声を99言語で理解できるという。
時間を最大80%節約し、クリエイティブな編集に集中できます。
引用元:playの公式ウェブページ
機能
まず、映像をソフトウェアにアップロードする必要がある。または、frame.ioからアクセスすることもできる。アップロードが完了すると、Hollyは受け取ったビデオクリップを分析し、以下のようなメタデータのライブラリを作成する。
見ての通り、playのAIはショットの種類、シーンの説明、キーワード、キャラクターID、ショットの色調まで含めた情報を提供する。開発者によると、Hollyはコンテクストを「理解」し、例えばどのカメラアングルが関連しているかを知ることができる。
2つ目のステップは、簡単なチャットボットを使用してラフカットのアイデアを提示し、それをブラシアップする。デモでは、開発者は次のような表現を使用していた。「エクストリームスポーツのハイライトホイールとして、ダートバイクに焦点を当てたタイムラインを作成し、少なくとも7つのクリップを含める」
Hollyが要求されたラフカットでタイムラインを作成したら、ツール内で直接タイムラインを修正するか、好みのビデオ編集ソフトにファイルとしてエクスポートすることができる。AIが作成したすべてのメタデータマーカーも転送され、これだけでもポストプロダクションをスピードアップする優れた機能と言える。
開発者によると、これはまだ第一歩であり、将来的にはHollyがユーザーのお気に入りの編集スタイルを学習し、模倣することも可能にしたいと考えている。
playはすでに、いくつかの有名な制作会社やビデオグラファーと協力し、プロトタイプを迅速に製品化するための共同開発を行っている。
ツールへの早期アクセス
Hollyはまだ開発初期であり、今後はさらに多くのトレーニングが必要となる。playの開発チームは、テストユーザーはパイオニアであり、彼らのフィードバックは非常に重要であると語っている。
今後少数精鋭のチームにより、さらに多くのモデルが実装され、プレビューなどの新機能が統合されるだろう。ノンリニア編集ソフト用のプラグインも2025年のロードマップに組み込まれている。
ご興味のある方は、こちらの黄色いボタンをクリックして、無料の早期アクセスに申し込むこともできる。
画像:プレイのプレゼンテーションからの画像のコラージュ。
