ニューラル レンダリングは、コンピューター グラフィックスの従来のパイプラインをニューラル ネットワークで強化することを目的とした、ディープ ラーニングの新しい技術です。
ニューラル レンダリング アルゴリズムには、同じシーンのさまざまな角度を表す一連の画像が必要です。 これらの画像はニューラル ネットワークに入力され、同じシーンの新しい角度を出力できるモデルが作成されます。
ニューラル レンダリングの優れた点は、計算負荷の高い従来の方法に頼ることなく、詳細な写真のようにリアルなシーンを正確に再現できることにあります。
ニューラル レンダリングのしくみに飛び込む前に、従来のレンダリングの基本について説明しましょう。
クラシック レンダリングとは
まず、古典的なレンダリングで使用される典型的な方法を理解しましょう。
従来のレンダリングとは、2 次元シーンの XNUMXD イメージを作成するために使用される一連の技術を指します。 画像合成とも呼ばれる従来のレンダリングでは、さまざまなアルゴリズムを使用して、光がさまざまな種類のオブジェクトとどのように相互作用するかをシミュレートします。
たとえば、固体のレンガをレンダリングするには、影の位置や、壁の両側がどれだけ明るくなるかを判断するために、特定のアルゴリズム セットが必要になります。 同様に、鏡、光沢のある物体、水域など、光を反射または屈折させる物体にも独自の技術が必要になります。
従来のレンダリングでは、各アセットはポリゴン メッシュで表されます。 シェーダー プログラムは、ポリゴンを入力として使用して、指定された照明と角度でオブジェクトがどのように見えるかを決定します。
リアリスティック レンダリングには、入力として使用する何百万ものポリゴンがアセットに含まれることになるため、はるかに多くの計算能力が必要になります。 ハリウッドの大ヒット作で一般的なコンピューター生成の出力は、通常、レンダリングに数週間または数か月かかり、数百万ドルの費用がかかる場合があります。
レイ トレーシング アプローチは、最終的なイメージの各ピクセルで、光源からオブジェクトおよびカメラまでの光の経路を計算する必要があるため、特にコストがかかります。
ハードウェアの進歩により、ユーザーはグラフィックス レンダリングをより簡単に利用できるようになりました。 たとえば、最新の多くの ビデオゲーム ハードウェアが機能している限り、写真のようにリアルな反射や影などのレイ トレーシング効果を使用できます。
最新の GPU (グラフィック プロセッシング ユニット) は、写真のようにリアルなグラフィックをレンダリングするために必要な非常に複雑な計算を CPU が処理できるように特別に構築されています。
ニューラル レンダリングの台頭
ニューラル レンダリングは、別の方法でレンダリングの問題に取り組もうとします。 光がオブジェクトとどのように相互作用するかをシミュレートするためにアルゴリズムを使用する代わりに、シーンが特定の角度からどのように見えるべきかを学習するモデルを作成したらどうなるでしょうか?
フォトリアリスティックなシーンを作成するための近道と考えることができます。 ニューラル レンダリングでは、光がオブジェクトとどのように相互作用するかを計算する必要はありません。十分なトレーニング データが必要なだけです。
このアプローチにより、研究者は実行することなく、複雑なシーンの高品質のレンダリングを作成できます。
ニューラル フィールドとは
前述のように、ほとんどの 3D レンダリングはポリゴン メッシュを使用して、各オブジェクトの形状とテクスチャに関するデータを格納します。
ただし、ニューラル フィールドは、XNUMX 次元オブジェクトを表す代替方法として人気を集めています。 ポリゴン メッシュとは異なり、ニューラル フィールドは微分可能で連続的です。
神経場が微分可能であると言うとき、私たちは何を意味しますか?
ニューラル フィールドからの 2D 出力は、ニューラル ネットワークの重みを調整するだけでフォトリアリスティックになるようにトレーニングできるようになりました。
ニューラル フィールドを使用すると、シーンをレンダリングするために光の物理をシミュレートする必要がなくなります。 最終的なレンダリングがどのように照らされるかについての知識は、暗黙のうちに ニューラルネットワーク.
これにより、ほんの一握りの写真やビデオ映像から、斬新な画像やビデオを比較的迅速に作成できます。
ニューラル フィールドをトレーニングする方法
ニューラル フィールドがどのように機能するかの基本がわかったので、研究者がニューラル ラディアンス フィールドまたは ナーフ.
まず、シーンのランダムな座標をサンプリングし、それらをニューラル ネットワークにフィードする必要があります。 このネットワークは、フィールド量を生成できるようになります。
生成されたフィールド量は、作成したいシーンの目的の再構成ドメインからのサンプルと見なされます。
次に、再構成を実際の 2D 画像にマッピングする必要があります。 次に、アルゴリズムが再構成エラーを計算します。 このエラーは、ニューラル ネットワークがシーンを再構築する能力を最適化するように導きます。
ニューラル レンダリングの応用
ノベルビュー合成
新規ビュー合成とは、限られた数の視点からのデータを使用して、新しい角度からカメラの視点を作成するタスクを指します。
ニューラル レンダリング技術は、データセット内の各画像のカメラの相対位置を推測し、そのデータをニューラル ネットワークにフィードしようとします。
次に、ニューラル ネットワークはシーンの 3D 表現を作成します。3D 空間の各ポイントには色と密度が関連付けられています。
での NeRF の新しい実装 Googleストリートビュー 新しいビュー合成を使用して、ユーザーがビデオを撮影するカメラを制御しているかのように、現実世界の場所を探索できるようにします。 これにより、観光客は特定の場所への旅行を決定する前に、没入型の方法で目的地を探索できます。
写真のようにリアルなアバター
ニューラル レンダリングの高度な技術は、よりリアルなデジタル アバターへの道を開くこともできます。 これらのアバターは、仮想アシスタントや顧客サービスなどのさまざまな役割に使用したり、ユーザーが自分の似顔絵を ビデオゲーム またはシミュレートされたレンダリング。
たとえば、 紙 2023 年 XNUMX 月に公開された .
まとめ
ニューラル レンダリングは、コンピューター グラフィックス業界全体を変える可能性を秘めたエキサイティングな研究分野です。
このテクノロジーは、3D アセットの作成への参入障壁を下げる可能性があります。 ビジュアル エフェクト チームは、写真のようにリアルな数分間のグラフィックスをレンダリングするのに何日も待つ必要がなくなるかもしれません。
このテクノロジーを既存の VR および AR アプリケーションと組み合わせることで、開発者はより没入型の体験を作成できるようになる可能性もあります。
ニューラル レンダリングの真の可能性は何だと思いますか?
コメントを残す