数年前、私は同僚と、何時間ものインタビュー、特に外国語のインタビューの文字起こしは、地獄の作業だと冗談を言ったものだ。今日、これらの作業はワンクリックで行えるようになった。完璧ではないが、それでもAIのおかげで100倍は早い。そして、この最先端技術が可能にするトリックはそれだけでは無い。この記事では、ポストプロダクションにおけるいくつかのAIツールに焦点を当て、面倒な作業を簡単に代行し、ワークフローを大幅にスピードアップできる、小さくて実用的な機能を紹介する。
ニューラルネットワークや機械学習モデルを利用していることを知らずに使っている人もいるかもしれない。編集作業に応用できるショートカットを初めて発見したときのことを思い出せるだろうか？これらの新しいテクノロジーを使うことで、同じような感覚を味わうことができる。
ポストプロダクションでの文字起こしAIツール
まずは、トランスクリプトの作成からはじめよう。これは主に、完成した作品の字幕やキャプションを制作するために必要なものだ。Adobe Spaceで編集している場合、Premiere Proでインタビューやボイスオーバーを直接自動で文字起こしすることが可能だ。「Text」ウィンドウで「Transcript」タブを選択し、「Create transcription」を選択、必要な「option」を適用して「Transcribe」をクリックするだけだ。その後、数分間待つだけで、結果を得ることができる。このツールは、字幕を作成し、タイムコードにしたがって配置することもできる。とはいえ、結果を校正することも忘れてはいけない： AIの言語理解には欠点がある。ここでは、すべての設定とオプションが説明された、アドビの詳細なビデオ説明を紹介する：
しかし、さらに一歩進んで、この技術をテキストベースのビデオ編集に応用できたらどうだろう？ドキュメンタリーの監督や編集をしていて、このような機能を持ったものが欲しいと思ったことはないだろうか。これはもう夢ではなくなりつつある。DaVinci Resolveは、最新リリースである18.5 Beta Studioバージョンにまさにこの機能を追加した。そして、彼らの例にならって、Adobeも同じことを行った。数回クリックするだけで、簡単にトランスクリプトを作成することができるようになった。必要なテキスト部分をハイライトし、ビデオタイムラインにドラッグ＆ドロップするだけ。これにより、ラフカットを好みに合わせて正確に微調整することが可能になる。
他の編集ソフトを使用している場合でも、AIの力を享受することができる。市場にはたくさんのアプリケーションがあり、迷ってしまうほどだ。キャプションの作成やテキストベースの編集を行うための代表的なツールの1つが、Simon Says AIだ。ただし、サブスクリプションプランはかなり高価なので、たまにしかサービスを必要としないのであれば、ビデオクリップの期間によって価格が決まる、都度払いが可能だ。
AIによるテープ起こしの他の例としては、オンライン通話中に筆記メモを取ることができるGoogleのAI「Fireflies」や、ブラウザベースのエディターで100％の精度を約束した「Scribie」（Spotifyやケンブリッジ大学などが顧客として報告されている）が挙げられる。
ワンクリックで映画用の音楽をリミックスする
企業映画や短編CMの編集を日課としている場合、次のAIツール役に立つかも知れない。
昨年秋にアップデートされ、Premiere Proに直接統合されたAdobe Remixツールは、正真正銘の時間とストレスの節約になる。Senseiと呼ばれるアドビのAIを搭載しており、選んだ楽曲を数秒以内に理想的なカットポイントやループを見つけ出し、タイミングを合わせて再配置してくれる。
- ミュージッククリップを選択する。
- ツールバーパネルの「リップル編集」ツールグループをクリックしたまま移動する。Remixツールを選択し、タイムライン上のミュージッククリップの右端をクリック＆ドラッグする。
- エッセンシャルサウンドパネルでRemixのプロパティを編集する。例えば、ターゲットデュレーションを設定したり、パラメータ「バリエーション」を使用して、曲のハーモニックまたはメロディーの要素に焦点を当てた代替リミックスをすばやくプレビューしたりする。
このジグザグした線が見えるだろうか？これは、アドビのAIがカットや音楽のトランジションを設定したところだ。Remixは常にクリップの最初と最後を保持するので、サウンドトラックを特定のポイントから始めたい場合は、元のクリップを分割して必要な部分のみをリミックスすることを留意していただきたい。
他にもオーディオのポストプロダクションに特化した便利なAIツールはいろいろあるので、さらに詳しく紹介するが、このツールは、編集者やワンマンクルーで映像の長さに音楽を合わせるのに疲れている映画制作者にとって、非常に実用的だ。
ポストプロダクションにおけるAIツール：DaVinci Resolveのマジックマスク
DaVinciのベテランユーザーなら、この本当に素晴らしいツールについてご存知だと思うが、これから始める場合は、ぜひ見てほしい。昨年に追加アップデートされ、個人と体の一部だけでなく、さまざまなオブジェクトをマスクして追跡できるようになった。
実はとてもシンプルで直感的だ。カラーセクションで「マジックマスク領域」を選択し、オブジェクトをマスクするか、人をマスクするかを選択する。そして、フレームの1つ、できればオブジェクトがなるべく見える場所に適用する。ダヴィンチ・ニューラル・エンジンは、動物、車、人、食べ物、その他無数の要素を分離して、高度な二次グレーディングとエフェクトの適用を可能にする。
上の例では、このツールを使ってサングラスを素早く抽出し、残りのショットを白黒に変換している。マジックマスクを使えば、オブジェクトのクローンを作ったり、後ろに派手なタイトルアニメーションを付けたり、色を変えたりすることができる。選択プロセスで少し手助けが必要かもしれないが、全体として、まるで魔法のように感じられる。なお、この機能は有料のStudio版でのみ利用可能だ。
動画や写真のアップスケール
別の例を見てみよう。アーカイブ映像（写真やビデオ）を使って作業をしていて、うまく撮影できないランダムクリップをタイムラインにドラッグする必要がある。これらのショットは、AIによってすべて修正できるようになった。DaVinci Resolve Studioのユーザーであれば、完璧にできる。同社は「スーパースケール」機能をアップデートし、新たに2倍強化モードを追加した（同社の最新リリースとAIツールについては、レビューで読むことができる）。もしそうでなければ、画像補正のための他のディープラーニングアプリケーションをいくつか紹介する。これらは、ワークフローのゲームチェンジャーになる可能性がある。
最も広く知られているのが、Topaz Labsだ。動画と画像の両方に対応しており、解像度を上げるだけでなく、映像をシャープにしたり、ノイズを取り除いたりすることができる。しかし、まともなAIアップスケールツールを無料で見つけることもできる。例えば、ImgLargerなどがそうだ。
この上の例では、ほとんど差がないと思う人もいると思われるが、画像サイズが3倍になり、同時に画質も保存できるようになっただけでも、やはり素晴らしい結果ではないだろうか？
AIによるカラーグレーディング
カラーリストやカラーサイエンティスト向けに、カラーマネジメントの自動化、異なるカメラのショットの容易なマッチング、AIを使った美しいショールックの開発などを解説したレビューを別途掲載している。こちらをご覧いただければ、非常に人気の高い大規模言語モデルChatGPTでも、カラーグレーディングに素晴らしい効果を発揮することに驚かれるかもしれない。
Featured image: screenshots from Simon Says AI, DaVinci Resolve, Adobe Premiere Pro, and ImgLarger.
