高解像度、高ダイナミックレンジ（HDR）、高フレームレート・・、技術は人間の視覚にどれほど近づいたのだろうか？
どこまで行けば十分なのか？ これは、East Berlin Harbourの新しいクリエイティブ地区にあるDie Fernsehwerftスタジオで開催されたARRI Broadcast Dayで行われたディスカッションで出た、最も興味深い質問のひとつだ。 ARRIのカメラシステム責任者であるMarc Shipman-Mueller氏は、業界の各方面からのゲストを迎え入れたスタジオで、今日のデジタルシネマの撮影、後処理、配信に関して、この質問に答えた。
これらは純粋に私の意見で、新技術に関する思考には基づいているが、絶対に正しいというわけではない。ひょっとしたら間違っているかもしれないし、私の意見とは違う見解を聞くのは楽しみだ。是非、皆さんの考えも聞きたいので、コメントを残して欲しい。
今までの目標
10年前は、35mmフィルムの性能と美しさに追いつくことがデジタルシネマの目標だった。我々は現在、この課題をほぼ克服したといえる。現在では、デジタルカラーサイエンスの方が、映画とデジタルの論争よりもはるかにかまびすしい。デジタル化の論争は、既に終わっており、今では普通にデジタルで映画が作られている。
デジタルシネマの次は何だろうか？ 新しいテレビなど民生用機器の需要により、経済的にも影響を与えているだろう。おそらく、我々が思っている以上の経済効果があるのだろう。一方、水面下では数年を経て、新しい規格が決定され、使われ始めている。
Digital Cinema 2.0
デジタルシネマの進化は35mmフィルムに追いつき、追い越したが、第2段階はギアと方向を完全に変えた。それはもはや従来のものを模倣するのではなく、未知の未来を開拓するものだ。従来の映画においては、その到達点は周知のものだったが、次に進むべき方向は、まだ試行錯誤の段階と言える。
先走るビジネス
映像を作る側と観る側の両方に損害を与える技術が進んでしまうのは、おそらく、然るべき目標が欠如している場合だろう。テレビメーカーは、3Dテレビ、UHD、SUHD、HDRなど、時には正当な理由で、時には不当な理由で消費者に買い替えを勧めてきた。 これらは正式な規格が合意される前から販売されており、またコンテンツプロバイダーはUHDコンテンツがほとんどないのにもかかわらず、UHDチャネルとサービスを開始したという事実もある。
しかし現在では、UHD、ハイダイナミックレンジ（HDR）、広色域、高フレームレートなどを最適に組み合わることにより、制作者と視聴者の両方にとって最良の結果が得られるようになりつつある。
ただ、まだ何かをする余地があるということは、まだ完全な状態ではないということでもある。あるいは、まだ実際的な問題を完全に理解していないのかもしれない。
解像度
解像度論争はここ数年静かだ。4Kが順調に普及しつつあるが、8Kが既にその先に控えていることも知られている。私は、8Kがすぐに主流になるとは思っていないが、RED（およびNHKなど放送側のパートナー）は8Kでの撮影を現実化している。非現実的だと思っている人が思っているほど非現実的ではないのだ。
確かに、単純に解像度を上げると、色々な影響が出てくる。高い色深度のピクセルが多いほど、より大きなデータ量が必要だ。これにより、ポストプロダクションや、配信のために、更なる帯域幅が要求される。解像度の向上のポイントは、画像の鮮明度およびディテールを高めることだが、単純に帯域幅を広げなくてもこれを達成する方法がある。
人間が感じる解像度と実際のピクセル解像度との間には差がある。この違いが重要なポイントになる。視聴者にとって重要なのは、シャープネスとディテールが感じられればよいのだ。異なる技術の良し悪しを体系的に把握するためには、人間の感じ方を数式に反映させることが不可欠となる。実際のピクセルを400％増加させると言った単純な方法で問題を解決すると、結局は他の問題を引き起こすことになる。
常々我々は動画を見ているが、それは錯覚の上に成り立っているということがヒントになる。
人間の目の解像度
我々の目の網膜の中でも非常に高密度な領域がある。この領域は「中心窩：ちゅうしんか」と呼ばれ、網膜の1％未満で構成されているが、脳の視覚野の50％以上を占めている。視野の中心の2度だけが中心窩で、ここだけ焦点が合っている。
By Ben Bogart – Own work, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=31009153
視界の中心外の状況を見るためには、目はその部分をスキャンする必要があり、脳はそれ以外の部分を補完する。周囲の視界ははるかに低解像度だが、目がその上を通り過ぎると、脳は目の前のシーンの全体的なイメージを構築する。動きのあるときでさえも、目が動いた後にシーンの一部から詳細を思い出してイメージを呼び戻す。これにより、視野全体にわたってリアルタイムの視覚的意識を持つことができるのだ。
しかし、あなたが目にしているのは、あなたの目が見ている「本当の」投影されたイメージではなく、あなたの脳内で処理される常に更新されたイメージだ。均一なピクセル密度のイメージセンサーにより、固定されたフレームレートで読み出されるイメージを記録するカメラより、はるかに複雑だ。
あなたがこの画面の文章を読むとき、あなたが画面をスキャンするために目を動かすのは、これが理由だ。画面上の別の部分の詳細を見るためには、目を動かして再度読む必要がある。テキストの別の部分や視野内の他のレイアウト、あるいは全体的な位置関係は認識しているが、テキストを実際に読むためには、目を物理的に移動させなければならないのだ。
なお、ディスプレイ上の動画は、いわば錯覚だ。私たちの脳に、動いているイメージとして認識させるトリックなのだ。我々は錯覚により、動画を見ているのだ。
HDR
ピクセル解像度はシャープネスの唯一の尺度ではない。数学的には、ピクセル数を増やすとシャープになることは間違いないが、特定のしきい値を超えると、指数関数的にデータレートは増加するが効果は限りなくゼロに近づく。
ディテールとシャープネスの認識は、本質的に対照的だ。我々の脳は、エッジコントラストにより、ある物体を別の物体から分離して認識することを可能にする。それはその物体以外の部分と一様ではないことにより、特に動いているときには、主に明るさと色のコントラストにより認識される。これは、イメージ全体のピクセル解像度を単純に増加させることは、視覚システムに余分な情報を与えているということを意味している。必要な場所に正確に情報を供給すれば、望むべき結果が得られる。
ARRI Broadcast DayにMarc Shipman-Mueller氏が示した実用的な例の1つは、1080p SDRとUHD HDR、続いて1080p HDRとUHD HDRを、暗い部屋で、較正されたモニターで、サイドバイサイドでの比較だった。 1080p SDRとUHD HDRの違いは明らかだったが、その後の1080p HDRとUHD HDRはそうではなかった。
スクリーンから通常の視距離に座って見る分には、1080pのSDRと比べると、1080pのHDRは、ピクセル数を4倍にした場合と9割方同じであることに誰もが同意した。即ち、ピクセルを4倍にしても、その多くは無駄なピクセルということだ。
ジャダー
脳が個々のフレームをスムーズに接続して統合できない場合、即ち、動きの錯覚を維持できない場合、我々が直面する最大の課題がジャダーだ。
ジャダーは、我々の脳が、個々のフレームで、明るく高コントラストのエッジが認識できず、オブジェクトの動きをスムーズに接続できない場合に発生する。 HDRとの関連で我々が問題にしているのは、ディスプレイが明るすぎることだ。しかし、以下のような状況の組み合わせによっては、低く抑えることができる。
- 全視野と比較した移動している被写体の面積の比率
- 動きの速度
- ディテールのコントラスト
- ディテールの鮮明さ
- ディスプレイの輝度レベル
ディスプレイの明るさは根本的な原因ではないが、状況を悪化させる。相対的に画像の明るさが低いほど、効果は芳しくない。SDR表示レベルでは、ジャダーは、通常、フィルムやビデオのフレームレートでのモーションブラーによって隠されていた。
しかし、HDRでのコントラスト比やバックライトレベルでは、これらの影響を隠すことはもはや不可能となる。
では、この問題をどうやって解決するのだろうか？
フレームレート
現実の世界では、我々の目は、脳に一定の流れで画像情報を与える。1枚のフレームやサンプリングされた固定画像ではない。しかし、網膜は約40msの画像を保持することができるため、連続した一連の静止画像を連続して見ると、それは錯覚により動画として認識される。
24fps規格は、滑らかな動きとして知覚するための最小許容フレームレートとして設定された。錯視が保持されるのと、経済性をバランスさせた落とし所なのだ。
24fpsが映画のように感じられる理由は、主に歴史的、あるいは文化的な理由による。即ち、いつも論じられていることだが、テレビやビデオでは見られない微妙な、ほとんど知覚できないちらつきが、大画面のハリウッド映画の芸術的価値を連想させるのだ。
これは今までの映画やテレビの100年、そして解像度と色で35mmのフィルムに追いついた「デジタルシネマ1.0」までは許容されていた。しかし、小さな画面や映写機の映写で、伝統的なフレームレートの場合は、動きの錯覚を保持するために許容できるコントラスト、色および明るさは限られてしまう。
高解像度の画像、高ダイナミックレンジ、明るいディスプレイでは、より高いフレームレートが必要となる。簡単に言えば、オブジェクト間の相対的な動きがフレーム間で減少するため、より高いフレームレートにしないとジャダーを感じることになる。非常に高いディテール、高いコントラスト、あるいは高速の動きでは、非常に高いフレームレートでないとジャダーを感じることになるのだ。
高いフレームレートには他にも利点がある。 120fpsで撮影することで、ポストプロダクションでモーションブラーを補間できるし、あるいは任意の低フレームレート配信に容易に変換することができる。
欠点もある。解像度同様、フレームレートを上げると、動画のキャプチャ、保存、処理に必要なデータ帯域幅が大幅に増加する。
スーパーリアリズムとソープオペラ効果
第2の欠点は、高いフレームレートで映画制作を試みている映画制作者が直面していることだ。Peter Jacksonが48fpsで“The Hobbit”を撮影し、そして最近ではAng Leeが”Billy Lynn’s Long Halftime Walk”を120fpsの3Dで撮影したが、多くの評論家は、これらのクリスタルクリアで超シャープな映像は技術的には素晴らしいが、映画としては見るに堪えないと評している。
A projecting praxinoscope, 1882, here shown superimposing an animated figure on a separately projected background scene
それは見ているものを物語に没頭させ、現実から逃避させてくれるような、夢のような画質だ。これはおそらく4K 1000-nitディスプレイよりも重要なものだと思うのだが。
もっとも、新しい“美しさ”に慣れる必要があるのかもしれない。
コンピューターイメージング
おそらく解決策は、画面全体を120fpsで、4Kや8Kの解像度で撮らないことだろう。画像の選択された部分のみディテールとフレームレートを上げる、というアプローチがあるかもしれない。前出のとおり、視野全体の中心の2度以外は細部まで見えていない。画面を見ている間も、目を注目点から注目点に移動している。実際に我々が作成したイメージを体験し、知覚する方法についてもっと考える余地が残されているのだろう。
人間の知覚に対するソリューションを目標とするなら、我々の脳がすでに精巧なリアルタイムの圧縮とフィルタリングをしていることを理解する必要がある。我々の網膜は中枢神経系の一部であり、眼には約1億5,000万個の受容体があるが、視神経線はわずか百万本しかない。網膜は、視神経の限られた容量に適合するように画像を空間的に圧縮しているのだ。
脳は、合焦した狭い高解像度の画像情報を動的に処理している。広い低解像度の視野とともに、記憶を呼び戻してディテールを補完し、自分の周りの世界を構築している。
今あなたが見ているものは、あなたの脳が、不必要な追加情報を大量にフィルタリングし、間引いたものだ。もちろんビデオの圧縮のようなデジタルの空間的、時間的な画像圧縮とは異なる。
多分、映画もこのようなことを考慮しながら、どのようにすべきかを模索していく必要があるのだろう。
まとめ
確かに、4Kや8KのHDR、HFR、大規模な最先端のOLEDディスプレイ上の広色域画像は、高いリアリティーを実現するものだ。しかし、このリアリティーは、ストーリーテリングの面から本当に我々が望んでいるものなのだろうか？
まだまだ考察の余地があるように思える。
