ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਸੁਣਿਆ ਹੋਵੇਗਾ ਕਿ ਪਿਛਲੇ ਕੁਝ ਸਾਲਾਂ ਵਿੱਚ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਏਆਈ ਮਾਡਲ ਕਿੰਨੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਬਣ ਗਏ ਹਨ। ਪਰ ਕੀ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਇਹੀ ਤਕਨੀਕ 2D ਤੋਂ 3D ਤੱਕ ਛਾਲ ਮਾਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ?
ਅੱਜ ਦੇ ਡਿਜੀਟਲ ਲੈਂਡਸਕੇਪ ਵਿੱਚ AI ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ 3D ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਦਾ ਇੱਕ ਵਿਆਪਕ ਕੇਸ ਹੈ। ਵੀਡੀਓ ਖੇਡ ਅਤੇ ਫਿਲਮ ਕੰਪਿਊਟਰ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਤਿਆਰ ਕਰਨ ਲਈ 3D ਸੰਪਤੀਆਂ ਬਣਾਉਣ ਲਈ ਹੁਨਰਮੰਦ 3D ਕਲਾਕਾਰਾਂ ਅਤੇ ਮਾਡਲਿੰਗ ਸੌਫਟਵੇਅਰ ਜਿਵੇਂ ਕਿ ਬਲੈਂਡਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ।
ਹਾਲਾਂਕਿ, ਕੀ ਇਹ ਸੰਭਵ ਹੈ ਕਿ ਉਦਯੋਗ ਘੱਟ ਮਿਹਨਤ ਨਾਲ 3D ਸੰਪਤੀਆਂ ਬਣਾਉਣ ਲਈ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ 2D ਕਲਾਕਾਰ ਅੱਜ DALL-E ਵਰਗੀ ਤਕਨਾਲੋਜੀ ਨੂੰ ਅਪਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰ ਰਹੇ ਹਨ। ਮਿਡਜਰਨੀ?
ਇਹ ਲੇਖ ਇੱਕ ਨਵੇਂ ਐਲਗੋਰਿਦਮ ਦੀ ਪੜਚੋਲ ਕਰੇਗਾ ਜੋ ਮੌਜੂਦਾ ਵਰਤਦੇ ਹੋਏ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਟੈਕਸਟ-ਟੂ-3ਡੀ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਫੈਲਾਅ ਮਾਡਲ.
ਕੀ ਹੈ ਡ੍ਰੀਮਫਿਊਜ਼ਨ?
ਇੱਕ ਪ੍ਰਸਾਰ ਮਾਡਲ ਬਣਾਉਣ ਦੇ ਨਾਲ ਇੱਕ ਪ੍ਰਮੁੱਖ ਮੁੱਦਾ ਜੋ ਸਿੱਧੇ ਤੌਰ 'ਤੇ 3D ਸੰਪਤੀਆਂ ਪੈਦਾ ਕਰਦਾ ਹੈ ਇਹ ਹੈ ਕਿ ਇੱਥੇ ਬਹੁਤ ਸਾਰਾ 3D ਡੇਟਾ ਉਪਲਬਧ ਨਹੀਂ ਹੈ। 2D ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਇੰਟਰਨੈੱਟ 'ਤੇ ਪਾਏ ਗਏ ਚਿੱਤਰਾਂ ਦੇ ਵਿਸ਼ਾਲ ਡੇਟਾਸੇਟ ਦੇ ਕਾਰਨ ਬਹੁਤ ਸ਼ਕਤੀਸ਼ਾਲੀ ਬਣ ਗਏ ਹਨ। 3D ਸੰਪਤੀਆਂ ਨਾਲ ਵੀ ਅਜਿਹਾ ਨਹੀਂ ਕਿਹਾ ਜਾ ਸਕਦਾ ਹੈ।
ਕੁਝ 3D ਪੈਦਾ ਕਰਨ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ 2D ਡੇਟਾ ਦੀ ਇਸ ਭਰਪੂਰਤਾ ਦਾ ਫਾਇਦਾ ਉਠਾ ਕੇ ਡੇਟਾ ਦੀ ਇਸ ਘਾਟ ਨੂੰ ਪੂਰਾ ਕਰਦੀਆਂ ਹਨ।
DreamFusion ਇੱਕ ਜਨਰੇਟਿਵ ਮਾਡਲ ਹੈ ਜੋ ਇੱਕ ਪ੍ਰਦਾਨ ਕੀਤੇ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਅਧਾਰ ਤੇ 3D ਮਾਡਲ ਬਣਾ ਸਕਦਾ ਹੈ। ਡਰੀਮਫਿਊਜ਼ਨ ਮਾਡਲ ਟੈਕਸਟ ਪ੍ਰੋਂਪਟ ਤੋਂ ਯਥਾਰਥਵਾਦੀ ਤਿੰਨ-ਅਯਾਮੀ ਮਾਡਲ ਤਿਆਰ ਕਰਨ ਲਈ ਪੂਰਵ-ਸਿਖਿਅਤ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
ਕੋਈ 3D ਸਿਖਲਾਈ ਡੇਟਾ ਨਾ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਇਸ ਪਹੁੰਚ ਨੇ ਉੱਚ-ਵਫ਼ਾਦਾਰੀ ਦੀ ਦਿੱਖ ਅਤੇ ਡੂੰਘਾਈ ਦੇ ਨਾਲ ਇਕਸਾਰ 3D ਸੰਪਤੀਆਂ ਤਿਆਰ ਕੀਤੀਆਂ ਹਨ।
ਇਹ ਕਿਵੇਂ ਚਲਦਾ ਹੈ?
DreamFusion ਐਲਗੋਰਿਦਮ ਵਿੱਚ ਦੋ ਮੁੱਖ ਮਾਡਲ ਹੁੰਦੇ ਹਨ: ਇੱਕ 2D ਪ੍ਰਸਾਰ ਮਾਡਲ ਅਤੇ ਏ ਨਿਊਰਲ ਨੈਟਵਰਕ ਜੋ ਕਿ 2D ਚਿੱਤਰਾਂ ਨੂੰ ਇਕਸੁਰ 3D ਦ੍ਰਿਸ਼ ਵਿੱਚ ਬਦਲ ਸਕਦਾ ਹੈ।
ਗੂਗਲ ਦਾ ਚਿੱਤਰ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਮਾਡਲ
ਐਲਗੋਰਿਦਮ ਦਾ ਪਹਿਲਾ ਹਿੱਸਾ ਪ੍ਰਸਾਰ ਮਾਡਲ ਹੈ। ਇਹ ਮਾਡਲ ਟੈਕਸਟ ਨੂੰ ਚਿੱਤਰਾਂ ਵਿੱਚ ਬਦਲਣ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ।
ਚਿੱਤਰ ਇੱਕ ਪ੍ਰਸਾਰ ਮਾਡਲ ਹੈ ਜੋ ਕਿਸੇ ਖਾਸ ਵਸਤੂ ਦੇ ਚਿੱਤਰ ਭਿੰਨਤਾਵਾਂ ਦਾ ਇੱਕ ਵੱਡਾ ਨਮੂਨਾ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਸਾਡੇ ਚਿੱਤਰ ਭਿੰਨਤਾਵਾਂ ਨੂੰ ਪ੍ਰਦਾਨ ਕੀਤੀ ਵਸਤੂ ਦੇ ਸਾਰੇ ਸੰਭਵ ਕੋਣਾਂ ਨੂੰ ਕਵਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜੇਕਰ ਅਸੀਂ ਘੋੜੇ ਦਾ 3D ਮਾਡਲ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਸਾਰੇ ਸੰਭਵ ਕੋਣਾਂ ਤੋਂ ਘੋੜੇ ਦੀਆਂ 2D ਤਸਵੀਰਾਂ ਚਾਹੁੰਦੇ ਹਾਂ। ਟੀਚਾ ਸਾਡੇ ਐਲਗੋਰਿਦਮ ਵਿੱਚ ਅਗਲੇ ਮਾਡਲ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਜਾਣਕਾਰੀ (ਰੰਗ, ਪ੍ਰਤੀਬਿੰਬ, ਘਣਤਾ) ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਇਮੇਜੇਨ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ।
NeRF ਨਾਲ 3D ਮਾਡਲ ਬਣਾਉਣਾ
ਅੱਗੇ, ਡ੍ਰੀਮਫਿਊਜ਼ਨ ਇੱਕ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ ਏ ਨਿਊਰਲ ਰੇਡੀਅਨਸ ਫੀਲਡ ਜਾਂ ਅਸਲ ਵਿੱਚ ਤਿਆਰ ਚਿੱਤਰ ਸੈੱਟ ਤੋਂ 3D ਮਾਡਲ ਬਣਾਉਣ ਲਈ NeRF। NeRFs 3D ਚਿੱਤਰਾਂ ਦੇ ਡੇਟਾਸੇਟ ਦੇ ਨਾਲ ਗੁੰਝਲਦਾਰ 2D ਦ੍ਰਿਸ਼ ਬਣਾਉਣ ਦੇ ਯੋਗ ਹੁੰਦੇ ਹਨ।
ਆਓ ਇਹ ਸਮਝਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ ਕਿ ਇੱਕ NeRF ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ।
ਮਾਡਲ ਦਾ ਉਦੇਸ਼ 2D ਚਿੱਤਰਾਂ ਦੇ ਪ੍ਰਦਾਨ ਕੀਤੇ ਡੇਟਾਸੈਟ ਤੋਂ ਅਨੁਕੂਲਿਤ ਇੱਕ ਨਿਰੰਤਰ ਵੋਲਯੂਮੈਟ੍ਰਿਕ ਸੀਨ ਫੰਕਸ਼ਨ ਬਣਾਉਣਾ ਹੈ।
ਜੇਕਰ ਮਾਡਲ ਇੱਕ ਫੰਕਸ਼ਨ ਬਣਾਉਂਦਾ ਹੈ, ਤਾਂ ਇੰਪੁੱਟ ਅਤੇ ਆਉਟਪੁੱਟ ਕੀ ਹਨ?
ਸੀਨ ਫੰਕਸ਼ਨ ਇੱਕ 3D ਸਥਾਨ ਅਤੇ ਇੱਕ 2D ਦੇਖਣ ਦੀ ਦਿਸ਼ਾ ਵਿੱਚ ਇਨਪੁਟ ਵਜੋਂ ਲੈਂਦਾ ਹੈ। ਫੰਕਸ਼ਨ ਫਿਰ ਇੱਕ ਰੰਗ (RGB ਦੇ ਰੂਪ ਵਿੱਚ) ਅਤੇ ਇੱਕ ਖਾਸ ਵਾਲੀਅਮ ਘਣਤਾ ਨੂੰ ਆਊਟਪੁੱਟ ਕਰਦਾ ਹੈ।
ਇੱਕ ਖਾਸ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਇੱਕ 2D ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ, ਮਾਡਲ 3D ਪੁਆਇੰਟਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਤਿਆਰ ਕਰੇਗਾ ਅਤੇ ਰੰਗ ਅਤੇ ਵਾਲੀਅਮ ਘਣਤਾ ਮੁੱਲਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਨੂੰ ਵਾਪਸ ਕਰਨ ਲਈ ਸੀਨ ਫੰਕਸ਼ਨ ਦੁਆਰਾ ਉਹਨਾਂ ਬਿੰਦੂਆਂ ਨੂੰ ਚਲਾਏਗਾ। ਵਾਲੀਅਮ ਰੈਂਡਰਿੰਗ ਤਕਨੀਕ ਫਿਰ ਉਹਨਾਂ ਮੁੱਲਾਂ ਨੂੰ 2D ਚਿੱਤਰ ਆਉਟਪੁੱਟ ਵਿੱਚ ਬਦਲ ਦੇਵੇਗੀ।
NeRF ਅਤੇ 2D ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਨੂੰ ਇਕੱਠੇ ਵਰਤਣਾ
ਹੁਣ ਜਦੋਂ ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਇੱਕ NeRF ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਆਓ ਦੇਖੀਏ ਕਿ ਇਹ ਮਾਡਲ ਸਾਡੀਆਂ ਤਿਆਰ ਕੀਤੀਆਂ ਤਸਵੀਰਾਂ ਤੋਂ ਸਹੀ 3D ਮਾਡਲ ਕਿਵੇਂ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ।
ਹਰੇਕ ਪ੍ਰਦਾਨ ਕੀਤੇ ਟੈਕਸਟ ਪ੍ਰੋਂਪਟ ਲਈ, DreamFusion ਸਕ੍ਰੈਚ ਤੋਂ ਇੱਕ ਬੇਤਰਤੀਬੇ ਸ਼ੁਰੂਆਤੀ NeRF ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ। ਹਰ ਦੁਹਰਾਓ ਗੋਲਾਕਾਰ ਕੋਆਰਡੀਨੇਟਸ ਦੇ ਇੱਕ ਸਮੂਹ ਵਿੱਚ ਇੱਕ ਬੇਤਰਤੀਬ ਕੈਮਰਾ ਸਥਿਤੀ ਚੁਣਦਾ ਹੈ। ਸ਼ੀਸ਼ੇ ਦੇ ਗੋਲੇ ਵਿੱਚ ਘਿਰੇ ਮਾਡਲ ਬਾਰੇ ਸੋਚੋ। ਹਰ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਆਪਣੇ 3D ਮਾਡਲ ਦਾ ਇੱਕ ਨਵਾਂ ਚਿੱਤਰ ਤਿਆਰ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਆਪਣੇ ਆਉਟਪੁੱਟ ਦੇ ਅਨੁਕੂਲ ਬਿੰਦੂ ਦੇ ਤੌਰ 'ਤੇ ਆਪਣੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਬੇਤਰਤੀਬ ਬਿੰਦੂ ਦੀ ਚੋਣ ਕਰਾਂਗੇ। DreamFusion ਇੱਕ ਬੇਤਰਤੀਬ ਰੋਸ਼ਨੀ ਸਥਿਤੀ ਵੀ ਚੁਣੇਗਾ l ਰੈਂਡਰਿੰਗ ਲਈ ਵਰਤਣ ਲਈ।
ਇੱਕ ਵਾਰ ਸਾਡੇ ਕੋਲ ਕੈਮਰਾ ਅਤੇ ਲਾਈਟ ਪੋਜੀਸ਼ਨ ਹੋਣ 'ਤੇ, ਇੱਕ NeRF ਮਾਡਲ ਪੇਸ਼ ਕੀਤਾ ਜਾਵੇਗਾ। DreamFusion ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਰੰਗਦਾਰ ਰੈਂਡਰ, ਟੈਕਸਟਚਰ ਰਹਿਤ ਰੈਂਡਰ, ਅਤੇ ਬਿਨਾਂ ਕਿਸੇ ਰੰਗਤ ਦੇ ਐਲਬੇਡੋ ਦੀ ਰੈਂਡਰਿੰਗ ਵਿਚਕਾਰ ਚੋਣ ਕਰੇਗਾ।
ਅਸੀਂ ਪਹਿਲਾਂ ਜ਼ਿਕਰ ਕੀਤਾ ਹੈ ਕਿ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਸਾਡਾ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਮਾਡਲ (ਇਮੇਜੇਨ) ਪ੍ਰਤੀਨਿਧ ਨਮੂਨਾ ਬਣਾਉਣ ਲਈ ਕਾਫ਼ੀ ਚਿੱਤਰ ਤਿਆਰ ਕਰੇ।
ਡ੍ਰੀਮਫਿਊਜ਼ਨ ਇਸ ਨੂੰ ਕਿਵੇਂ ਪੂਰਾ ਕਰਦਾ ਹੈ?
ਡ੍ਰੀਮਫਿਊਜ਼ਨ ਇਰਾਦੇ ਵਾਲੇ ਕੋਣਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇੰਪੁੱਟ ਪ੍ਰੋਂਪਟ ਨੂੰ ਥੋੜਾ ਜਿਹਾ ਸੋਧਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਅਸੀਂ ਆਪਣੇ ਪ੍ਰੋਂਪਟ ਵਿੱਚ "ਓਵਰਹੈੱਡ ਵਿਊ" ਜੋੜ ਕੇ ਉੱਚ ਉਚਾਈ ਦੇ ਕੋਣ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ। ਅਸੀਂ "ਫਰੰਟ ਵਿਊ", "ਸਾਈਡ ਵਿਊ", ਅਤੇ "ਬੈਕ ਵਿਊ" ਵਰਗੇ ਵਾਕਾਂਸ਼ ਜੋੜ ਕੇ ਹੋਰ ਕੋਣ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹਾਂ।
ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਬੇਤਰਤੀਬ ਕੈਮਰੇ ਦੀਆਂ ਸਥਿਤੀਆਂ ਤੋਂ ਵਾਰ-ਵਾਰ ਪੇਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਰੈਂਡਰਿੰਗ ਫਿਰ ਸਕੋਰ ਡਿਸਟਿਲੇਸ਼ਨ ਨੁਕਸਾਨ ਫੰਕਸ਼ਨ ਵਿੱਚੋਂ ਲੰਘਦੀਆਂ ਹਨ। ਇੱਕ ਸਧਾਰਨ ਗਰੇਡੀਐਂਟ ਡਿਸੈਂਟ ਪਹੁੰਚ ਹੌਲੀ ਹੌਲੀ ਸੁਧਾਰ ਕਰੇਗੀ 3D ਮਾਡਲ ਜਦੋਂ ਤੱਕ ਇਹ ਟੈਕਸਟ ਦੁਆਰਾ ਵਰਣਿਤ ਦ੍ਰਿਸ਼ ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ।
ਇੱਕ ਵਾਰ ਜਦੋਂ ਅਸੀਂ NeRF ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 3D ਮਾਡਲ ਰੈਂਡਰ ਕਰ ਲਿਆ ਹੈ, ਤਾਂ ਅਸੀਂ ਵਰਤ ਸਕਦੇ ਹਾਂ ਮਾਰਚਿੰਗ ਕਿਊਬਜ਼ ਐਲਗੋਰਿਦਮ ਸਾਡੇ ਮਾਡਲ ਦੇ ਇੱਕ 3D ਜਾਲ ਨੂੰ ਆਉਟਪੁੱਟ ਕਰਨ ਲਈ। ਇਸ ਜਾਲ ਨੂੰ ਫਿਰ ਪ੍ਰਸਿੱਧ 3D ਰੈਂਡਰਰਾਂ ਜਾਂ ਮਾਡਲਿੰਗ ਸੌਫਟਵੇਅਰ ਵਿੱਚ ਆਯਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
ਇਸਤੇਮਾਲ
ਜਦੋਂ ਕਿ DreamFusion ਦਾ ਆਉਟਪੁੱਟ ਕਾਫੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ ਕਿਉਂਕਿ ਇਹ ਮੌਜੂਦਾ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਨਵੇਂ ਤਰੀਕੇ ਨਾਲ ਵਰਤਦਾ ਹੈ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਕੁਝ ਸੀਮਾਵਾਂ ਨੋਟ ਕੀਤੀਆਂ ਹਨ।
SDS ਨੁਕਸਾਨ ਫੰਕਸ਼ਨ ਨੂੰ ਓਵਰਸੈਚੁਰੇਟਿਡ ਅਤੇ ਓਵਰ-ਸਮੂਥ ਨਤੀਜੇ ਪੈਦਾ ਕਰਨ ਲਈ ਦੇਖਿਆ ਗਿਆ ਹੈ। ਤੁਸੀਂ ਇਸਨੂੰ ਗੈਰ-ਕੁਦਰਤੀ ਰੰਗਾਂ ਵਿੱਚ ਦੇਖ ਸਕਦੇ ਹੋ ਅਤੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਪਾਏ ਗਏ ਸਟੀਕ ਵੇਰਵੇ ਦੀ ਘਾਟ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹੋ।
DreamFusion ਐਲਗੋਰਿਦਮ ਵੀ ਇਮੇਜੇਨ ਮਾਡਲ ਆਉਟਪੁੱਟ ਦੇ ਰੈਜ਼ੋਲੂਸ਼ਨ ਦੁਆਰਾ ਸੀਮਿਤ ਹੈ, ਜੋ ਕਿ 64 x 64 ਪਿਕਸਲ ਹੈ। ਇਸ ਨਾਲ ਸੰਸ਼ਲੇਸ਼ਣ ਕੀਤੇ ਮਾਡਲਾਂ ਵਿੱਚ ਵਧੀਆ ਵੇਰਵਿਆਂ ਦੀ ਘਾਟ ਹੁੰਦੀ ਹੈ।
ਅੰਤ ਵਿੱਚ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਨੋਟ ਕੀਤਾ ਹੈ ਕਿ 3D ਡੇਟਾ ਤੋਂ 2D ਮਾਡਲਾਂ ਦੇ ਸੰਸਲੇਸ਼ਣ ਵਿੱਚ ਇੱਕ ਅੰਦਰੂਨੀ ਚੁਣੌਤੀ ਹੈ। ਇੱਥੇ ਬਹੁਤ ਸਾਰੇ ਸੰਭਾਵਿਤ 3D ਮਾਡਲ ਹਨ ਜੋ ਅਸੀਂ 2D ਚਿੱਤਰਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਤੋਂ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹਾਂ, ਜੋ ਅਨੁਕੂਲਤਾ ਨੂੰ ਕਾਫ਼ੀ ਮੁਸ਼ਕਲ ਅਤੇ ਅਸਪਸ਼ਟ ਵੀ ਬਣਾਉਂਦਾ ਹੈ।
ਸਿੱਟਾ
ਡਰੀਮਫਿਊਜ਼ਨ ਦੀਆਂ 3D ਰੈਂਡਰਿੰਗਜ਼ ਕਿਸੇ ਵੀ ਵਸਤੂ ਜਾਂ ਦ੍ਰਿਸ਼ ਨੂੰ ਬਣਾਉਣ ਲਈ ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਦੀ ਯੋਗਤਾ ਦੇ ਕਾਰਨ ਬਹੁਤ ਵਧੀਆ ਕੰਮ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ ਕਿ ਕਿਵੇਂ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਬਿਨਾਂ ਕਿਸੇ 3D ਸਿਖਲਾਈ ਡੇਟਾ ਦੇ 3D ਸਪੇਸ ਵਿੱਚ ਇੱਕ ਦ੍ਰਿਸ਼ ਨੂੰ ਸਮਝ ਸਕਦਾ ਹੈ। ਮੈਂ ਪੜ੍ਹਨ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹਾਂ ਸਾਰਾ ਕਾਗਜ਼ DreamFusion ਐਲਗੋਰਿਦਮ ਦੇ ਤਕਨੀਕੀ ਵੇਰਵਿਆਂ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ।
ਉਮੀਦ ਹੈ, ਇਹ ਤਕਨਾਲੋਜੀ ਅੰਤ ਵਿੱਚ ਫੋਟੋ-ਯਥਾਰਥਵਾਦੀ 3D ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਸੁਧਾਰ ਕਰੇਗੀ। ਪੂਰੀਆਂ ਵੀਡੀਓ ਗੇਮਾਂ ਜਾਂ ਸਿਮੂਲੇਸ਼ਨਾਂ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜੋ AI-ਉਤਪੰਨ ਵਾਤਾਵਰਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇਹ ਇਮਰਸਿਵ 3D ਸੰਸਾਰ ਬਣਾਉਣ ਲਈ ਵੀਡੀਓ ਗੇਮ ਡਿਵੈਲਪਰਾਂ ਲਈ ਦਾਖਲੇ ਦੀ ਰੁਕਾਵਟ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ!
ਤੁਹਾਡੇ ਖ਼ਿਆਲ ਵਿੱਚ ਟੈਕਸਟ-ਟੂ-3ਡੀ ਮਾਡਲ ਭਵਿੱਖ ਵਿੱਚ ਕੀ ਭੂਮਿਕਾ ਨਿਭਾਉਣਗੇ?
ਕੋਈ ਜਵਾਬ ਛੱਡਣਾ