UE4を大量のVFXの背景制作に利用するというのは、世界的に見てもあまり類がないというお話を伺ったところで、UE4が実際にどのように利用されたのかを背景リードの土屋 謙氏に解説をお願いします。

UE4を使った植物化させた渋谷の街のメイキングについてですが、今回初めて長編実写作品に使用するということ、まずはUE4に前作で制作した渋谷の街を再現するところから始めました。ルックが再現できたところで、渋谷の街を植物化していくテストを始めています。
前作でもUE4を使ったLookDevは行っていたのですが、マシン環境のやUE4のバージョンの問題、我々の経験不足などを理由にあまりクオリティを上げられなかったということから、本格的な使用は見送っていました。今回はUE4のバージョンアップで様々な機能が追加されたことや、リアルタイムレンダリング用のアセットの最適化を行い、プリレンダーに近いルックが再現できたことで、今作での導入を決めました。 背景リード　土屋 謙

UE4を使って、どのような手順で渋谷の街のアセットを植物化していったのでしょうか。

まず、大量に繁茂する植物は外部ツールの「Speed Tree」を使って制作しています。植物の幹の部分はフォトグラメトリーで制作したデータを使用し、枝、葉の部分は「Speed Tree」のモデルに揺れなどをUE4で再現しています。渋谷の街並のアセットについては前作で使用したアセットをMayaで加工して経年変化を足して、UE4にインポートしています。植物のアセットはその他にもMegascansのデータを使用したりもしています。

通常のMayaを使った背景制作とUE4を使った背景制作ではどのような違いあるのでしょうか。

大きいところで言うと、やはり処理負荷ですね。プリレンダーのように長い時間計算してレンダリングするのと違って、リアルタイムで動かすための処理負荷を考えないといけないというのは重要でした。今までプリレンダー用に使っていたアセットを流用しているので、ポリゴン数が多かったり、テクスチャの解像度が高かかったりしていました。それらのデータをリアルタイムで再現するために、かなりデータ量を削減しています。距離によってメッシュのディティールを可変するLOD（Level of Detail）なども組み込んでいますが、映像作品ではメッシュのポップ（メッシュが切り替わった瞬間）がばれてしまうといけないのでカメラの距離によって可変は固定させています。

あともう一つが、UE4での作業は基本的に植物のレイアウト作業が多いのですが、キットバッシュでアセットを複数組み合わせてレイアウトしていくというのはかなりスキルが求められる作業だなと思います。闇雲に植物を配置したり繁茂させてUE4でレイアウトしてしまうと、煩雑な画になってしまうので、実際に植物がどのように繁茂しているのかをロケハンで念入りに確認しながらレイアウトを行なっています。

最後にUE4を使う一番の利点は、リアルタイムレンダリングによる作業の効率化です。レンダリング時間が短くなるので、修正作業を迅速にできるようになりました。ディレクターのチェック回数も増やせるので、より映像のクオリティを上げていくことができました。これまでのプリレンダーでは、レンダリングに数時間、それを動画にしてチェックしてもらうとなると1日にせいぜいワンチェックという感じでした。しかし、UE4を使った今回の場合は1日に複数回、速いと数十分ぐらいで再チェックを受けることができました。
利点としては他にもディレクターに直接作業画面を見ていただきながら微調整ができることもかなりやりやすかったですね。レンダリングの必要が無いのでそのままOKになることも多かったです。
UE4を使うことでかなり速いテンポで制作を進められたと思います。

Mayaで制作したアセットはどのようにUE4に持っていくのでしょうか。

弊社では、これまでプリレンダーで使用していたパイプラインに、UE4を組み込むためのツールを幾つか開発しました。プリレンダーの場合、V-Rayを使ったマテリアルを組んでいますが、UE4にはV-Rayのマテリアルは読み込めないので、Maya側でV-RayマテリアルをBlinnなどへ変更しテクスチャのアサインも仕様に沿って接続するツールを開発しました。その他にも、読み込んだマテリアルをUE4でインスタンスマテリアルへ置き換えるツールや、テクスチャのアサインを自動化するツールなども開発しています。

これまでのMayaなどのDCCツールでの作業環境に、新たにUE4を加えるのは大変だったのではないでしょうか。

最初はかなり大変でしたね。弊社のデザイナーの多くはプリレンダー用のアセットに慣れていたので、ポリゴン数を減らしたり、テクスチャの解像度を効率化したりといったゲーム寄りのアセット制作を行わなければいけなかったので大変でした。弊社にはゲームアセットの制作経験があるスタッフや、先行してUE4を導入していたスタッフがいるので、その人たちと中心になって、UE4未経験者に丁寧に教えていきました。UE4を指導する時間を設けたというより、プロジェクト毎に少しずつ経験を積んでスキルアップしていった感じです。

背景制作にUE4を使った感想をお伺いしたいのです。

UE4を使った背景制作は先程も言ったようにレンダリングコストがかなり浮くので、今後も実写作品でどんどん使われるだろうなと思います。ただ、アセット制作のコストを考えると、プリレンダー用のアセット制作もコストがかかるのですが、UE4で大規模なシーンを制作するとなると、ポリゴン数を抑えながらクオリティを上げるというゲームアセット的な作り方もやはりコストがかかります。アセットの制作コストだけでは単純に比較することはできませんが、レンダリングコストを下げた分、クオリティアップや絵作りを考える時間を多く捻出できるので、利用する機会はどんどん増えていくのではないでしょうか。他にも、植物の揺れや流体のシミュレーションなど、UEを使うメリットはたくさんあります。他のプロジェクトで利用していますが、雲の表現や太陽光の差し方なども背景の方でリアルタイムにいじれたりするので、その辺もUEを背景制作で使用する優位性なのではないかと思います。

次に、ライティングの観点からUE4を使った背景制作について、ライティングリードの安藤 弘樹氏に話しを伺った。

シーズン1では、UE4で背景のクオリティを出すことが厳しいということで利用を見送ったのですが、今回はレイトレースやLightBuildの部分が非常にうまくいったことでUE4を使用することが決定しました。このLightBuildの検証が今作でのライティング周りの注力ポイントとなっています。 ライティングリード　安藤 弘樹

まずは、今回のライティングの概要について説明をしますと、ワーキングカラースペースはV-Ray5のカラーマネージメントを使用していますが、AcesCG Linearにコンバートして作業を行っています。UE4の方はワーキングカラースペースの色空間はsRGB Linearで行なっており、素材のアウトプットはAcseCG Linearで出しています。今回はライティングに関しても新しくUE4用のパイプラインが開発され、シーンのビルドなども効率良く作業できるようなワークフローが確立されています。

ライティング作業を細かく説明していくと、まずロケの撮影ステージでTHETA Z1でマルチブランケット撮影を行い、13枚の明るさの違う画像を連続撮影します。
LibrawでTIFF現像をし、ptGuiでスティッチして一枚のパノラマ画像を生成します。NukeでmmColorTargetを使ってAcesCG LinearとsRGB LinearのColorChartを用意して2種類の色空間のマッチングを施したHDRIを用意しています。
撮影したHDRIには太陽や、グリーンバックなどが映り込んでしまっているので、これらの消し込みも行なっていきます。作成されたHDRIをUE4のスカイライトに読み込んで、撮影プレートに合わせて角度を調整しています。Mayaでの作業も同じなのですが、撮影プレートとUE4の画像キャプチャしてものをNuke上で比較して、KeyLight光源の部分と暗部側のRGBの平均値、HSVの値が近い値になるように調整します。調整後、UE4側では、スカイライトのMobilityをMovableからStationaryに変更して、ライトビルド後も色と輝度の調整を出来るようにしています。

今回大量のVFXカットでUE4による背景制作が行われていますが、ライティングを行う際にどのような効率化が工夫されているのでしょうか。

先程も話しに出ましたが、まずLightBuildという手法を使って処理負荷を効率化しています。LightBuildはライトの照明効果やGIなどの影の情報を事前に計算して、ライトマップに描き込むことでリアルタイムレンダリングの処理負荷を下げる手法です。また、撮影プレートは全てデータベース化し、同じ場所のカットでまとめてUE4での作業を事前に見積もってから作業をおこなっています。似たライティングの環境を同じ担当者が作業することで、一度作成した際のフィードバックを無駄なく反映できるようにしています。その他にも、UE Work Managerという任意のショットでUE4上にシーンを構築したり、フォルダ階層の自動生成、レンダリングのバッチファイルを作成したり、ショットを開く補助などを行うツールも開発されています。

撮影プレートとUE4でのライティングのルックを合わせるのは大変難しい作業だとおもうのですが、どのような工夫をされたのでしょうか。

先程ご説明した『現場で撮影したHDRI』と『スカイライトに読み込んだベースのLightset』を該当するシーンに読みこんで環境を合わせ、細かいライティングを設定していきます。ただ、現場で撮影したHDRIに合わせてしまうと、シーンによってはUE4内にレイアウトされた建物が高くて全体が影になってしまうこともあるので、まずはキーライトの角度を調整して、地面に光が入るように調整し、コントラストを付けるために、エリアライト足したり、暗くなりすぎた部分にライトをあてて明るくしています。地面部分は撮影プレートを使うことが多いので、撮影プレートの影の状況に応じてステージの上側に遮蔽用の平面を設置して、影の濃度を調整しています。その他では、ビルの側面など明るさが足らないところにエリアライトを追加するなどして調整しています。

ライティングの側から見て、シーン制作においてUE4を使った感想はありますでしょうか。

土屋が言っていたことと同じになりますが、必ずUEを使いたいというわけではなく、適材適所で使っていくといいのではと思います。やはりUEは、今回のような背景に大量の植物があるような自然環境の再現には非常に有効だと思いました。ルックが噛み合うようであれば、どんどん利用していけると感じました。