လွန်ခဲ့သည့်နှစ်အနည်းငယ်အတွင်း AI မော်ဒယ်များသည် စာသားမှပုံတစ်ပုံအထိ အားကောင်းလာပုံအကြောင်း သင်ကြားဖူးပေမည်။ သို့သော် တူညီသောနည်းပညာသည် 2D မှ 3D သို့ ခုန်တက်အောင် ကူညီပေးနိုင်သည်ကို သင်သိပါသလား။
AI မှ ထုတ်လုပ်သော 3D မော်ဒယ်များသည် ယနေ့ခေတ် ဒစ်ဂျစ်တယ် အခင်းအကျင်းတွင် ကျယ်ပြန့်စွာ အသုံးပြုနိုင်သော ကိစ္စတစ်ခု ရှိသည်။ ဗီဒီယိုဂိမ်းများ ရုပ်ရှင်သည် ကျွမ်းကျင်သော 3D အနုပညာရှင်များနှင့် Blender ကဲ့သို့သော မော်ဒယ်လ်ဆော့ဖ်ဝဲကို အားကိုးပြီး 3D ပိုင်ဆိုင်မှုများကို ဖန်တီးကာ ကွန်ပျူတာဖြင့် ဖန်တီးထားသော မြင်ကွင်းများကို ဖြည့်သွင်းပေးသည်။
သို့သော်၊ ယနေ့ခေတ် 3D အနုပညာရှင်များသည် DALL-E နှင့် DALL-E ကဲ့သို့သော နည်းပညာကို စတင်အသုံးပြုပုံနှင့် ဆင်တူသည့် 2D ပိုင်ဆိုင်မှုများကို အားထုတ်မှုနည်းသော XNUMXD ပိုင်ဆိုင်မှုများကို ဖန်တီးရန်အတွက် စက်မှုလုပ်ငန်းသည် စက်သင်ယူမှုကို အသုံးပြုလာနိုင်သည်လား။ လမ်းလယ်?
ဤဆောင်းပါးသည် ရှိပြီးသားကို အသုံးပြု၍ ထိရောက်သော စာသားမှ 3D မော်ဒယ်ကို ဖန်တီးရန် ကြိုးစားသည့် ဆန်းသစ်သော အယ်လဂိုရီသမ်တစ်ခုကို ရှာဖွေပါမည်။ ပျံ့နှံ့မှုမော်ဒယ်များ.
ဘာဖြစ်သလဲ အိပ်မက်မက်ခြင်း။?
3D ပိုင်ဆိုင်မှုများကို တိုက်ရိုက်ထုတ်ပေးသည့် ပျံ့နှံ့မှုပုံစံကို ဖန်တီးရာတွင် အဓိကပြဿနာတစ်ခုမှာ 3D ဒေတာရရှိနိုင်မှု အများအပြားမရှိပါ။ အင်တာနက်ပေါ်တွင် တွေ့ရှိရသည့် များပြားလှသော ဒေတာအစုံကြောင့် 2D ပျံ့နှံ့မှုပုံစံများသည် အလွန်အားကောင်းလာသည်။ 3D ပိုင်ဆိုင်မှုများနှင့် အလားတူပြော၍မရပါ။
အချို့သော 3D မျိုးဆက်သစ်နည်းပညာများသည် 2D ဒေတာများစွာကို အခွင့်ကောင်းယူခြင်းဖြင့် ဤဒေတာချို့တဲ့မှုကို ဆောင်ရွက်ပေးပါသည်။
DreamFusion ပေးထားသော စာသားဖော်ပြချက်အပေါ် အခြေခံ၍ 3D မော်ဒယ်များကို ဖန်တီးနိုင်သည့် မျိုးဆက်သစ် မော်ဒယ်တစ်ခုဖြစ်သည်။ DreamFusion မော်ဒယ်သည် စာတိုပေးပို့မှုများမှ လက်တွေ့ကျကျ သုံးဖက်မြင် မော်ဒယ်များကို ထုတ်လုပ်ရန်အတွက် ကြိုတင်လေ့ကျင့်ထားသော စာသားမှပုံပျံပျံ့သည့်ပုံစံကို အသုံးပြုထားသည်။
3D လေ့ကျင့်ရေးဒေတာမရှိသော်လည်း၊ ဤနည်းလမ်းသည် ခိုင်မာသောအသွင်အပြင်နှင့် အတိမ်အနက်ဖြင့် ပေါင်းစပ်ထားသော 3D ပိုင်ဆိုင်မှုများကို ထုတ်ပေးပါသည်။
ဒါကဘယ်လိုမျိုးအလုပ်လုပ်သလဲ?
DreamFusion algorithm တွင် အဓိက မော်ဒယ်နှစ်ခု ပါဝင်သည်- 2D diffusion model နှင့် a အာရုံကြောကွန်ယက်ကို ၎င်းသည် 2D ရုပ်ပုံများကို ပေါင်းစပ်ထားသော 3D မြင်ကွင်းအဖြစ်သို့ ပြောင်းလဲနိုင်သည်။
Google ၏ Imagen Text-to-Image မော်ဒယ်
algorithm ၏ပထမပိုင်းသည် ပျံ့နှံ့မှုပုံစံဖြစ်သည်။ ဤမော်ဒယ်သည် စာသားမှ ရုပ်ပုံများအဖြစ် ပြောင်းလဲရန် တာဝန်ရှိသည်။
Imagen အရာဝတ္ထုတစ်ခု၏ ပုံသဏ္ဍာန်ပြောင်းလဲမှုများစွာကို ဖန်တီးပေးနိုင်သော ပျံ့နှံ့မှုပုံစံတစ်ခုဖြစ်သည်။ ဤကိစ္စတွင်၊ ကျွန်ုပ်တို့၏ပုံသဏ္ဍာန်ပြောင်းလဲမှုများသည် ပေးထားသည့်အရာဝတ္ထု၏ ဖြစ်နိုင်ခြေရှိသောထောင့်အားလုံးကို ဖုံးအုပ်ထားသင့်သည်။ ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့သည် မြင်းတစ်ကောင်၏ 3D မော်ဒယ်ကို ထုတ်လုပ်လိုပါက၊ ဖြစ်နိုင်သည့် ထောင့်ပေါင်းစုံမှ မြင်း၏ 2D ပုံများကို လိုချင်ပါသည်။ ပန်းတိုင်သည် ကျွန်ုပ်တို့၏ အယ်လဂိုရီသမ်ရှိ နောက်မော်ဒယ်အတွက် ဖြစ်နိုင်သမျှ အချက်အလက်များ (အရောင်များ၊ ရောင်ပြန်ဟပ်မှုများ၊ သိပ်သည်းဆ) ကို ပေးစွမ်းရန် Imagen ကို အသုံးပြုရန်ဖြစ်သည်။
NeRF ဖြင့် 3D မော်ဒယ်များ ဖန်တီးခြင်း။
ထို့နောက် Dreamfusion သည် a ဟုခေါ်သော မော်ဒယ်ကို အသုံးပြုသည်။ Neural Radiance Field သို့မဟုတ် ထုတ်ပေးထားသော ပုံအစုံမှ 3D မော်ဒယ်ကို အမှန်တကယ် ဖန်တီးရန် သို့မဟုတ် NeRF။ NeRFs များသည် 3D ရုပ်ပုံများ၏ ဒေတာအတွဲတစ်ခုပေးထားသည့် ရှုပ်ထွေးသော 2D မြင်ကွင်းများကို ဖန်တီးနိုင်သည်။
NeRF ၏အလုပ်လုပ်ပုံကိုနားလည်ရန်ကြိုးစားကြပါစို့။
မော်ဒယ်သည် ပံ့ပိုးပေးထားသည့် 2D ပုံများ၏ ဒေတာအတွဲမှ အကောင်းဆုံးဖြစ်အောင် စဉ်ဆက်မပြတ် ထုထည်ရှိသော မြင်ကွင်းလုပ်ဆောင်ချက်ကို ဖန်တီးရန် ရည်ရွယ်သည်။
မော်ဒယ်သည် လုပ်ဆောင်ချက်တစ်ခုကို ဖန်တီးပါက၊ အဝင်နှင့် အထွက်သည် အဘယ်နည်း။
မြင်ကွင်းလုပ်ဆောင်ချက်သည် 3D တည်နေရာနှင့် 2D ကြည့်ရှုမှုလမ်းကြောင်းကို ထည့်သွင်းပေးသည်။ ထို့နောက် လုပ်ဆောင်ချက်သည် အရောင်တစ်ခု (RGB ပုံစံ) နှင့် သီးခြားထုထည်သိပ်သည်းဆကို ထုတ်ပေးသည်။
တိကျသောရှုထောင့်မှ 2D ရုပ်ပုံတစ်ပုံကို ထုတ်လုပ်ရန်၊ မော်ဒယ်သည် 3D အချက်များကို ထုတ်ပေးပြီး အရောင်နှင့် ထုထည်သိပ်သည်းမှုတန်ဖိုးများကို ပြန်ပေးရန်အတွက် မြင်ကွင်းလုပ်ဆောင်ချက်မှတစ်ဆင့် အဆိုပါအမှတ်များကို လုပ်ဆောင်ပေးမည်ဖြစ်သည်။ Volume rendering techniques သည် ထိုတန်ဖိုးများကို 2D ပုံအထွက်အဖြစ်သို့ ပြောင်းလဲပေးလိမ့်မည်။
NeRF နှင့် 2D Diffusion Models များကို အတူတကွ အသုံးပြုခြင်း။
ယခု ကျွန်ုပ်တို့သည် NeRF မည်ကဲ့သို့ အလုပ်လုပ်သည်ကို သိရှိပြီး၊ ဤပုံစံသည် ကျွန်ုပ်တို့၏ ထုတ်လုပ်ထားသော ပုံများမှ တိကျသော 3D မော်ဒယ်များကို မည်သို့ထုတ်လုပ်နိုင်သည်ကို ကြည့်ကြပါစို့။
ပံ့ပိုးပေးထားသည့် စာသားအချက်ပြမှုတစ်ခုစီအတွက်၊ DreamFusion သည် ကျပန်းဖြင့် အစပြုထားသော NeRF ကို အစမှ လေ့ကျင့်ပေးသည်။ ထပ်ကာထပ်ကာတစ်ခုစီသည် လုံးပတ်သြဒိနိတ်အစုတစ်ခုတွင် ကျပန်းကင်မရာအနေအထားကို ရွေးချယ်သည်။ ဖန်ခွက်ထဲတွင် ထည့်ထားသော မော်ဒယ်ကို စဉ်းစားကြည့်ပါ။ ကျွန်ုပ်တို့၏ 3D မော်ဒယ်၏ ရုပ်ပုံအသစ်ကို ဖန်တီးသည့်အခါတိုင်း၊ ကျွန်ုပ်တို့၏ ထွက်ပေါက်၏ အားသာချက်အဖြစ် ကျွန်ုပ်တို့၏ စက်လုံးအတွင်းရှိ ကျပန်းအမှတ်ကို ရွေးချယ်ပါမည်။ DreamFusion သည် ကျပန်းအလင်းရောင် အနေအထားကိုလည်း ရွေးချယ်မည်ဖြစ်သည်။ l rendering အတွက်အသုံးပြုရန်။
ကျွန်ုပ်တို့တွင် ကင်မရာနှင့် အလင်းရောင် အနေအထားရှိသည်နှင့် တပြိုင်နက်၊ NeRF မော်ဒယ်ကို ပြန်ဆိုပါမည်။ DreamFusion သည် ရောင်စုံ render ၊ textureless render နှင့် shading မပါဘဲ albedo ၏ rendering အကြား ကျပန်းရွေးချယ်ပါမည်။
ကိုယ်စားလှယ်နမူနာတစ်ခုဖန်တီးရန် ကျွန်ုပ်တို့၏ စာသားမှပုံရိပ်မော်ဒယ် (Imagen) ကို ကိုယ်စားပြုနမူနာတစ်ခုဖန်တီးရန် လုံလောက်သောပုံများထုတ်လုပ်ပေးစေလိုကြောင်း အစောပိုင်းတွင် ဖော်ပြထားပါသည်။
Dreamfusion က ဒါကို ဘယ်လို ပြီးမြောက်သလဲ။
Dreamfusion သည် ရည်ရွယ်ထားသော ထောင့်များကို ရရှိရန်အတွက် ထည့်သွင်းမှု အချက်ပြမှုကို အနည်းငယ် ပြင်ဆင်သည်။ ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့၏အချက်ပြမှုတွင် "အပေါ်ယံမြင်ကွင်း" ကို ထည့်သွင်းခြင်းဖြင့် ကျွန်ုပ်တို့သည် မြင့်မားသောအမြင့်ထောင့်များကို ရရှိနိုင်သည်။ "ရှေ့မြင်ကွင်း"၊ "ဘေးကြည့်" နှင့် "နောက်ကြည့်" ကဲ့သို့သော စကားစုများနောက်ဆက်တွဲဖြင့် အခြားထောင့်များကို ဖန်တီးနိုင်သည်။
မြင်ကွင်းများကို ကျပန်းကင်မရာနေရာများမှ ထပ်ခါတလဲလဲ ပြန်ဆိုထားပါသည်။ ဤသရုပ်ဖော်မှုများသည် ရမှတ်ပေါင်းခံခြင်းဆုံးရှုံးမှု လုပ်ဆောင်ချက်ကိုဖြတ်သန်းသည်။ ရိုးရှင်းသော gradient ဆင်းသက်ခြင်းချဉ်းကပ်နည်းသည် ဖြည်းဖြည်းချင်း တိုးတက်ကောင်းမွန်လာမည်ဖြစ်သည်။ 3D ပုံစံ စာသားဖြင့် ဖော်ပြထားသည့် မြင်ကွင်းနှင့် ကိုက်ညီသည်အထိ။
NeRF ကို အသုံးပြု၍ 3D မော်ဒယ်ကို ပြန်ဆိုပြီးသည်နှင့်၊ ကျွန်ုပ်တို့သည် ၎င်းကို အသုံးပြုနိုင်သည်။ Marching Cubes algorithm ကျွန်ုပ်တို့၏မော်ဒယ်၏ 3D mesh ကိုထုတ်ပေးရန်။ ထို့နောက် လူကြိုက်များသော 3D သရုပ်ဖော်ခြင်း သို့မဟုတ် မော်ဒယ်လ်ဆော့ဖ်ဝဲသို့ ဤကွက်ကို ထည့်သွင်းနိုင်သည်။
ကန့်သတ်
DreamFusion ၏ထွက်ရှိမှုသည် ဆန်းသစ်သောနည်းလမ်းဖြင့် ရှိပြီးသား text-to-image diffusion မော်ဒယ်များကို အသုံးပြုသောကြောင့် အထင်ကြီးလောက်စရာဖြစ်သော်လည်း သုတေသီများသည် ကန့်သတ်ချက်အချို့ကို သတိပြုမိခဲ့သည်။
SDS ဆုံးရှုံးမှု လုပ်ဆောင်ချက်ကို ပြည့်ဝလွန်ကဲပြီး ချောမွေ့လွန်းသော ရလဒ်များ ထုတ်ပေးရန် လေ့လာတွေ့ရှိထားသည်။ ၎င်းကို သဘာဝမကျသော အရောင်ခြယ်ခြင်းနှင့် ရလဒ်များတွင် တွေ့ရှိရသည့် တိကျသောအသေးစိတ်မရှိခြင်းတွင် ၎င်းကို သင်ကြည့်ရှုနိုင်သည်။
DreamFusion algorithm ကို 64 x 64 pixels ဖြစ်သည့် Imagen မော်ဒယ်အထွက်၏ ကြည်လင်ပြတ်သားမှုဖြင့်လည်း ကန့်သတ်ထားသည်။ ၎င်းသည် ပေါင်းစပ်ထားသော မော်ဒယ်များကို ပိုမိုအသေးစိတ်အချက်များ ကင်းမဲ့စေသည်။
နောက်ဆုံးအနေဖြင့်၊ သုတေသီများသည် 3D ဒေတာမှ 2D မော်ဒယ်များကို ပေါင်းစပ်ရာတွင် မွေးရာပါစိန်ခေါ်မှုတစ်ခုရှိကြောင်း သုတေသီများက သတိပြုမိခဲ့သည်။ ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရန် အလွန်ခက်ခဲပြီး ရှင်းရှင်းလင်းလင်းပင်ဖြစ်စေသည့် 3D ပုံများအစုတစ်ခုမှ ထုတ်လုပ်နိုင်သည့် ဖြစ်နိုင်ချေရှိသော 2D မော်ဒယ်များစွာရှိပါသည်။
ကောက်ချက်
DreamFusion ၏ 3D rendering များသည် အရာဝတ္ထု သို့မဟုတ် မြင်ကွင်းကို ဖန်တီးရန် စာသားမှပုံတစ်ပုံသို့ ပျံ့နှံ့မှုပုံစံများ၏ စွမ်းရည်ကြောင့် အလွန်ကောင်းမွန်ပါသည်။ အာရုံကြောကွန်ရက်တစ်ခုသည် 3D လေ့ကျင့်မှုဒေတာမပါဘဲ 3D အာကာသအတွင်း မြင်ကွင်းတစ်ခုကို နားလည်နိုင်ပုံအား အံ့ဩစရာပင်။ ဖတ်ဖို့ အကြံပြုချင်ပါတယ်။ စာရွက်တစ်ခုလုံး DreamFusion algorithm ၏ နည်းပညာဆိုင်ရာ အသေးစိတ်အချက်အလက်များကို ပိုမိုလေ့လာရန်။
နောက်ဆုံးတွင် ဓာတ်ပုံ-လက်တွေ့ကျသော 3D မော်ဒယ်များကို ဖန်တီးရန် ဤနည်းပညာသည် ပိုမိုကောင်းမွန်လာလိမ့်မည်ဟု မျှော်လင့်ပါသည်။ AI ဖန်တီးထားသော ပတ်ဝန်းကျင်ကို အသုံးပြုသည့် ဗီဒီယိုဂိမ်းများ သို့မဟုတ် သရုပ်ဖော်မှုများကို စိတ်ကူးကြည့်ပါ။ ၎င်းသည် နစ်မြုပ်နေသော 3D ကမ္ဘာများကို ဖန်တီးရန်အတွက် ဗီဒီယိုဂိမ်းဆော့ဖ်ဝဲရေးဆွဲသူများအတွက် ဝင်ခွင့်အတားအဆီးကို လျှော့ချနိုင်သည်။
စာသားမှ 3D မော်ဒယ်များသည် အနာဂတ်တွင် မည်သည့်အခန်းကဏ္ဍမှ ပါဝင်လာမည်ဟု သင်ထင်သနည်း။
တစ်ဦးစာပြန်ရန် Leave