AI（Artificial Intelligence）は、インターネット上で騒がれているキーワードだけではありません。それは、急速に進化する新しいツールのシステムであり、すでに業界を大きく変えつつあります。ニューラルネットワークに仕事を奪われるのではないかという心配はさておき、ここでは、映像制作者がこの技術をどのように活用できるかをお話したいと思います。まずは、MidjourneyやStable Diffusionのようなイメージジェネレーターで、AIツールを使ってムードボードを作るところから始めましょう。
皆さんも一度は、AIを使ってテキストから画像を生成してみたことがあるのではないでしょうか？有名なDALLE-2からDeep Dream Generator、Nightcafeなど、数え上げればきりがないほどあります。この概要では、コーディングのスキルを必要とせず、私自身が新しいビデオプロジェクトの開始時に使用する厳選したツールをいくつか紹介します。
Midjourney – 最初のクリエイティブなアイデアとムードボードのためのAIベースのツール
Midjourneyは、巨大なコミュニティを持つ小さな独立した研究室です。彼らのAIは、いわゆる「プロンプト」によってテキストの説明から画像を作成し、シンプルなDiscordボットを通じてオンラインで操作します。まだベータ版であるため、Midjourneyは常に新しい機能をもたらしています。
Discord のアカウントを作成し、ベータ版に参加すると、Midjourney サーバーにリダイレクトされ、開始することができます。初心者のチャンネルに行き、”/imagine “と入力し、視覚化したいものの説明をテキストで入力するだけです。
私の意見では、Midjourneyはプロジェクトの最初の段階で創造性を高め、アイデアをムードボードにするために最適です。たとえば、森で迷子になった小さな女の子の話を考えます。突然、彼女は神秘的な雰囲気のキャンピングカーに出会います。でも、「神秘的」というのが、具体的にどういう意味なのかはわかりません。そこで、Midjourneyにアクセスしてインスピレーションを得ながら、ラフなアイデアを打ち込みます。ちなみに、プロンプトの最後に「-ar 16:9 (2:1, 9:16, etc.)」をつけると、生成する画像のアスペクト比を設定することも可能です。さらに、同社の機械学習システムは、さまざまなアーティストや映像作家を認識しているので、お気に入りの作家のスタイルを利用することも可能です。
わずか数秒の待ち時間の間に、あなたのリクエストをもとにした4種類のイメージバリエーションが出来上がります。あとは、それぞれを何度も現像して、思い通りの仕上がりになるまでアップスケールすることが可能です。また、そのままにしておいて、プロンプトを調整すれば、まったく新しいものができあがります。コンセプトのアイデアに迷ったら、一度試してみる価値はあるでしょう。
私の場合、すでに頭の中にいくつかのビジュアルがありました。Midjourneyで遊んでいたら、わずか10分ほどで、短編映画のプロジェクトにふさわしいムードボードが完成しました。
あまり知られていない機能：異なる画像を組み合わせて変更する
しかし、もっと現実的なことはどうでしょう？例えば、コマーシャルを撮影するために、製品を紹介するためのクリエイティブなセットアップを探しているとします。例えば、最近ここでレビューした新しいパナソニックLUMIX S5 IIを野生動物の生息地に置いて、商品撮影をするアイデアを売り込みます。その強力なオートフォーカス機能も強調します。
Midjourneyのあまり知られていない機能として、1つまたは複数の画像をMidjourneyに送り、それらを好きなように組み合わせることができます。試しに、あなたの画像を直接チャットにアップロードしてみてください。同じ “/imagine” プロンプトフィールドを使用し、必要に応じてテキストを追加した画像へのリンクを貼り付けてください。新しい「/blend」コマンドもあり、より簡単に使用できますが、テキストメモを追加することはまだ許可されていません。50秒後に完成 クライアントに送る最初のピッチ画像の準備ができました（ただし、あくまでラフなコンセプトであることを忘れずに）。
その他の機能やコマンドの詳細については、Midjourneyのユーザーガイドをご覧ください。
Midjourneyの欠点
- 無料のMidjourneyパッケージでは、AIジョブが制限されています（GPU時間にして0,4時間、プロンプト数にして20程度）。また、トライアル版では、他のユーザーと一緒に延々とDiscordチャットで生成された画像を探さなければなりません。有料プランでは、Midjourney Botと直接チャットすることができます。
- Midjourneyは美しい画像を作成しますが、あまり正確ではありません（上の画像では虎が奇妙です）。あなたは結果に直接影響を与えることはできませんが、言葉遣いを変えることで、調整できます。
- 病みつきになります。一度始めると、ハマってしまい、一晩中新しいビジュアルを生成してしまう危険性があります。
コンセプトの正確な視覚化 － Stable Diffusion
映像制作者にとって興味深いもう一つの深層学習によるテキストから画像への変換システムは、Stable Diffusionと呼ばれるものです。Midjourneyと比べると、オープンソースプロジェクトとして提供されており、完全に無料で、コンピュータのGPU上でも動作することができます。Stable Diffusionをベースにした様々なモデルがあり、ダウンロードしてオフラインで使用することができます：犬の画像を生成するために訓練されたものから、漫画を作成することができるものまであります。この実験では、Midjourneyに似たDreamlike Diffusion 1.0と呼ばれるものを使用することにします。(Mac OSユーザーはDiffusionbeeを試してみてください)。
これはMidjourneyができることはすべてできますが、その生成されたビジュアルがなんとなく芸術的でないように感じることはあります。では、その部分を飛ばして、Stable Diffusionがより優れている点、つまり正確さと柔軟性を見てみましょう。
イメージジェネレータには、非常に多くのパラメータとカスタム設定が用意されています。そのため、最終的な結果をより詳細に制御することができます。例えば、”Inpaint “機能を使えば、画像の選択されたエリアのみを変更することができます。例えば、最初にテストした女の子のキャラクターが気に入らないので、その画像をStable Diffusionにアップロードして、結果を見てみます。
頭の中の絵をコンセプトアートに変える
Stable Diffusionのもう一つの素晴らしい使い方は、適当なコラージュをコンセプトアートに変えることです。頭の中に具体的なアイデアがあり、それを正確に視覚化する必要がある場合、次のことを試してみてください：任意のグラフィックデザイン・プログラム（ペイントでも可）で画像をいくつかまとめます。それをニューラルネットワークに送り、何を変えたいかをテキストで説明し、さまざまな設定で遊んでみてください。
上級者は、自分や俳優のポートレート写真でAIをトレーニングし、作成されたキャラクターモデルを使ってリアルな絵コンテを作成することもできます。とはいえ、ここまででStable Diffusionにできることのほんの一端を紹介したに過ぎません。その可能性を探るには、実際に使ってみるのが一番です。
Stable Diffusionの欠点
- Stable Diffusionの最大の欠点は、その複雑さです。このプロセスに入り込み、すべての仕組みを理解するためには、かなりの時間が必要でしょう。しかし、一度経験すれば、このAIは生産性を高め、ビジョンを伝えるための強力なツールになります。
- Stable Diffusionは、512×512の解像度の画像（アップデート版2.0では768×768）からなるデータセットで学習させます。画像の寸法を「想定内」から変更すると、生成される画像の品質が著しく劣化します。この制限は、AIベースのアップスケーリングツールによって克服することができます。
- Stable Diffusionをハードウェアで実行する場合、8GB以上のVRAMを搭載したGPUと、ハードディスクに十分な容量（2～4GB pro downloaded model）を確保することが推奨されます。多様なサービスがオンラインでもDiffusionモデルを提供していますが、有料であるか、オフラインのインターフェイスよりもはるかに複雑な使い方をしなければなりません。
まとめ
ビジュアルAIを搭載したアプリケーションは、映画制作者にとって非常に便利なツールになり得ます。Midjourneyは、コンセプト段階の初期にクリエイティブなプロセスを強化するために素晴らしいものです。Stable Diffusionは、ピッチや絵コンテのために、頭から正確なイメージを視覚化するのに役立ちます。
また、イメージとムードのライブラリを構築するKIVE AIのようなニューラル・ネットワークもあります。ディープラーニングを使って写真をカテゴリーに分け、それぞれに詳細なメタデータを付けてラベル付けします。そうすれば、クリエイティブフォルダを自分で整理する必要がなくなります。
もちろん、それ以外にも多くの機能があります。この記事で、AIツールを使ってビジュアルムードボードを素早く簡単に作成するための便利なアプリケーションを味わっていただければと思います。次回は、脚本作成、プリビズ、ポストプロダクションの各プロセスであなたをサポートする他のニューラルネットワークについて見ていきます。ご期待ください。
Featured Image: created with Midjourney by CineD
