Neural rendering нь компьютерийн графикийн сонгодог шугамыг мэдрэлийн сүлжээгээр нэмэгдүүлэх зорилготой гүнзгий суралцах шинэ техник юм.
Мэдрэлийн дүрслэх алгоритм нь нэг үзэгдлийн өөр өөр өнцгүүдийг төлөөлөх олон тооны зургийг шаарддаг. Дараа нь эдгээр зургуудыг мэдрэлийн сүлжээнд нийлүүлж, ижил үзэгдлийн шинэ өнцгүүдийг гаргаж чадах загварыг бий болгоно.
Мэдрэлийн дүрслэл нь илүү тооцоолол шаарддаг сонгодог аргуудад найдахгүйгээр нарийвчилсан фото бодит үзэгдлүүдийг хэрхэн нарийвчлалтай дахин бүтээж чаддагт оршдог.
Мэдрэлийн дүрслэл хэрхэн ажилладаг талаар судлахаасаа өмнө сонгодог дүрслэлийн үндсийг авч үзье.
Сонгодог дүрслэл гэж юу вэ?
Эхлээд сонгодог дүрслэлд ашигладаг ердийн аргуудыг ойлгоцгооё.
Сонгодог дүрслэл гэдэг нь гурван хэмжээст үзэгдлийн 2 хэмжээст дүрсийг бүтээхэд ашигладаг арга техникийг хэлдэг. Зургийн синтез гэж нэрлэгддэг сонгодог дүрслэл нь янз бүрийн төрлийн объекттой гэрэл хэрхэн харьцаж байгааг дуурайлган янз бүрийн алгоритмуудыг ашигладаг.
Жишээлбэл, цул тоосгоор өнгөлөхийн тулд сүүдрийн байрлал эсвэл хананы аль аль тал нь хэр сайн гэрэлтэхийг тодорхойлох тодорхой алгоритмыг шаарддаг. Үүний нэгэн адил толь, гялалзсан зүйл, усны бие гэх мэт гэрлийг тусгах эсвэл хугалах объектуудад өөрийн гэсэн арга техник шаардагдана.
Сонгодог дүрслэлд хөрөнгө бүрийг олон өнцөгт тороор дүрсэлсэн байдаг. Дараа нь шэйдер програм нь заасан гэрэлтүүлэг, өнцгөөр объект хэрхэн харагдахыг тодорхойлохын тулд олон өнцөгтийг оролт болгон ашиглах болно.
Бидний хөрөнгө сая сая олон өнцөгтийг оролт болгон ашиглах тул бодитоор дүрслэх нь илүү их тооцоолол шаарддаг. Холливудын блокбастеруудад түгээмэл байдаг компьютерээр бүтээгдсэн бүтээлийг үзүүлэхэд ихэвчлэн долоо хоног, бүр хэдэн сар шаардагддаг бөгөөд олон сая долларын өртөгтэй байдаг.
Эцсийн зураг дээрх пиксел тус бүр нь гэрлийн эх үүсвэрээс объект болон камер хүртэлх гэрлийн замыг тооцоолохыг шаарддаг тул туяа хянах арга нь ялангуяа өндөр өртөгтэй байдаг.
Техник хангамжийн дэвшил нь график дүрслэлийг хэрэглэгчдэд илүү хүртээмжтэй болгосон. Жишээлбэл, хамгийн сүүлийн үеийн олон видео тоглоом Техник хангамж нь даалгавраа бүрэн хангасан л бол гэрэл зургийн бодит тусгал, сүүдэр гэх мэт цацрагийн эффектийг зөвшөөрөх.
Хамгийн сүүлийн үеийн GPU (график боловсруулах нэгж) нь фото бодит график гаргахад шаардагдах нарийн төвөгтэй тооцооллыг CPU-д хийхэд туслах зорилгоор тусгайлан бүтээгдсэн.
Neural Rendering-ийн өсөлт
Neural rendering нь дүрслэх асуудлыг өөр аргаар шийдвэрлэхийг оролддог. Гэрэл объекттой хэрхэн харьцаж байгааг дуурайлган алгоритм ашиглахын оронд тухайн дүр зураг тодорхой өнцгөөс хэрхэн харагдах ёстойг сурсан загвар бүтээвэл яах вэ?
Та үүнийг фото бодит дүр төрхийг бий болгох товчлол гэж бодож болно. Мэдрэлийн дүрслэлийг ашигласнаар гэрэл нь объекттой хэрхэн харьцаж байгааг тооцоолох шаардлагагүй бөгөөд бидэнд сургалтын хангалттай өгөгдөл хэрэгтэй.
Энэ арга нь судлаачдад заавал гүйцэтгэх шаардлагагүйгээр нарийн төвөгтэй үзэгдлүүдийг өндөр чанартай дүрслэх боломжийг олгодог
Мэдрэлийн талбар гэж юу вэ?
Өмнө дурьдсанчлан, ихэнх 3D дүрслэл нь объект бүрийн хэлбэр, бүтэцтэй холбоотой өгөгдлийг хадгалахын тулд олон өнцөгт сүлжээг ашигладаг.
Гэсэн хэдий ч мэдрэлийн талбарууд нь гурван хэмжээст объектыг дүрслэх өөр арга болгон түгээмэл болж байна. Олон өнцөгт торноос ялгаатай нь мэдрэлийн талбарууд нь ялгагдах, тасралтгүй байдаг.
Мэдрэлийн талбарыг ялгах боломжтой гэж хэлэхэд бид юу гэсэн үг вэ?
Мэдрэлийн талбараас гарсан 2D гаралтыг мэдрэлийн сүлжээний жинг тохируулах замаар фотореалист болгоход сургаж болно.
Мэдрэлийн талбаруудыг ашигласнаар бид дүр зургийг гаргахын тулд гэрлийн физикийг дуурайх шаардлагагүй болсон. Эцсийн дүрслэл хэрхэн асах тухай мэдлэг одоо бидний жингийн дотор далд хэлбэрээр хадгалагдаж байна мэдрэлийн сүлжээ.
Энэ нь бидэнд хэдхэн гэрэл зураг эсвэл видео бичлэгээс харьцангуй хурдан шинэ зураг, видео үүсгэх боломжийг олгодог.
Мэдрэлийн талбайг хэрхэн сургах вэ?
Одоо бид мэдрэлийн талбар хэрхэн ажилладаг тухай үндсийг мэдэж байгаа тул судлаачид мэдрэлийн цацрагийн талбарыг хэрхэн сургаж, сургах чадвартайг харцгаая. NeRF.
Эхлээд бид үзэгдлийн санамсаргүй координатыг түүвэрлэж, мэдрэлийн сүлжээнд оруулах хэрэгтэй. Энэ сүлжээ нь дараа нь талбайн хэмжээг үйлдвэрлэх боломжтой болно.
Үйлдвэрлэсэн талбайн хэмжигдэхүүнийг бидний бүтээхийг хүсч буй үзэгдлийн хүссэн сэргээн босголтын талбайн дээж гэж үздэг.
Дараа нь бид сэргээн босголтын зураглалыг бодит 2D зурагт оруулах хэрэгтэй болно. Дараа нь алгоритм нь сэргээн босгох алдааг тооцоолох болно. Энэ алдаа нь мэдрэлийн сүлжээг дүр зургийг дахин бүтээх чадварыг оновчтой болгоход чиглүүлнэ.
Neural Rendering програмууд
Роман үзлийн синтез
Шинэ үзлийн синтез гэдэг нь хязгаарлагдмал тооны хэтийн төлөвийн өгөгдлийг ашиглан шинэ өнцгөөс камерын хэтийн төлөвийг бий болгох ажлыг хэлнэ.
Neural rendering техник нь өгөгдлийн багц дахь зураг бүрийн камерын харьцангуй байрлалыг таамаглаж, энэ өгөгдлийг мэдрэлийн сүлжээнд оруулахыг оролддог.
Мэдрэлийн сүлжээ нь дараа нь 3D орон зайн цэг бүр холбогдох өнгө, нягтралтай байдаг үзэгдлийн 3D дүрслэлийг бий болгоно.
NeRF-ийн шинэ хэрэгжилт Google гудамж харах Хэрэглэгчдэд видео бичлэг хийж буй камерыг удирдаж байгаа мэт бодит ертөнцийн байршлыг судлах боломжийг олгохын тулд шинэ харагдах синтезийг ашигладаг. Энэ нь жуулчдад тодорхой газар руу аялахаар шийдэхээсээ өмнө зорьсон газруудаа гүн гүнзгий судлах боломжийг олгодог.
Фото бодит аватарууд
Мэдрэлийн дүрслэлийн дэвшилтэт техникүүд нь илүү бодитой дижитал аватаруудыг бий болгох боломжийг олгодог. Дараа нь эдгээр аватаруудыг виртуал туслах эсвэл харилцагчийн үйлчилгээ гэх мэт янз бүрийн үүрэг гүйцэтгэх эсвэл хэрэглэгчид өөрсдийн дүр төрхийг оруулах арга болгон ашиглаж болно. видео тоглоом эсвэл загварчилсан дүрслэл.
Жишээ нь: a цаасан 2023 оны XNUMX-р сард хэвлэгдсэн энэ ном нь хэдэн минутын видео бичлэгийн дараа фото бодит аватар бүтээхийн тулд мэдрэлийн дүрслэх аргыг ашиглахыг санал болгож байна.
Дүгнэлт
Neural rendering нь компьютерийн графикийн салбарыг бүхэлд нь өөрчлөх чадвартай, сонирхолтой судалгааны талбар юм.
Энэхүү технологи нь 3D хөрөнгийг бий болгоход нэвтрэх саадыг багасгаж чадна. Визуал эффектийн багууд хэдэн минут фото бодит график үзүүлэхийн тулд хэдэн өдөр хүлээх шаардлагагүй болж магадгүй юм.
Технологийг одоо байгаа VR болон AR програмуудтай хослуулах нь хөгжүүлэгчдэд илүү сонирхолтой туршлагыг бий болгох боломжийг олгоно.
Таны бодлоор мэдрэлийн рэндэрлэх жинхэнэ боломж юу вэ?
хариу үлдээх