Содржина[Крие][Прикажи]
Еј, дали знаевте дека 3D сцена може да се создаде од 2D внесување податоци за неколку секунди со NVIDIA's Instant NeRF модел на невронско рендерирање, а фотографиите од таа сцена може да се прикажуваат во милисекунди?
Можно е брзо да се конвертира збирка неподвижни фотографии во дигитална 3D средина со помош на техниката позната како инверзно прикажување, што овозможува вештачката интелигенција да имитира како работи светлината во вистинскиот свет.
Тој е еден од првите модели од ваков вид што може да комбинира ултра-брза обука за невронска мрежа и брзо рендерирање, благодарение на техниката што ја смисли истражувачкиот тим на NVIDIA која ја завршува операцијата неверојатно брзо - речиси моментално.
Оваа статија длабински ќе го испита NeRF на NVIDIA, вклучувајќи ја неговата брзина, случаи на употреба и други фактори.
Значи, што е тоа NeRF?
NeRF е кратенка за полиња со нервно зрачење, што се однесува на техника за создавање уникатни прикази на комплицирани сцени со рафинирање на основната континуирана волуметриска функција на сцената користејќи мал број влезни прикази.
Кога се дава збирка од 2D фотографии како влез, NeRF-овите на NVIDIA користат нервните мрежи да прикажува и генерира 3Д сцени.
Потребни се мал број фотографии од различни агли околу областа невронска мрежа, заедно со локацијата на камерата во секоја рамка.
Колку побрзо се сликаат овие слики, толку подобро, особено во сцени со актери или предмети во движење.
3D сцената генерирана со вештачка интелигенција ќе се размачка ако има премногу движење за време на процедурата за фотографирање 2D.
Со предвидување на бојата на светлината што излегува во секоја насока од која било локација во 3D околината, NeRF ефикасно ги пополнува празнините што ги оставаат овие податоци за да ја конструира целата слика.
Бидејќи NeRF може да генерира 3D сцена за неколку милисекунди по добивањето на соодветните влезови, тоа е најбрзиот NeRF пристап до сега.
NeRF работи толку брзо што е практично моментален, па оттука и неговото име. Ако стандардните 3Д претстави како полигоналните мрежи се векторски слики, NeRF се битмап слики: тие густо го доловуваат начинот на кој светлината произлегува од објект или внатре во сцена.
Инстант NeRF е од суштинско значење за 3D, бидејќи дигиталните фотоапарати и компресијата JPEG беа за 2D фотографијата, драматично зголемувајќи ја брзината, практичноста и досегот на 3D снимање и споделување.
Инстант NeRF може да се користи за производство на аватари или дури и цели предели за виртуелни светови.
За да им оддаде почит на раните денови на фотографиите од Polaroid, истражувачкиот тим на NVIDIA рекреираше позната снимка од Енди Ворхол како фотографира инстант и ја претвори во 3D сцена со помош на Instant NeRF.
Дали е навистина 1,000 пати побрзо?
3D сцена може да потрае неколку часа за да се создаде пред NeRF, во зависност од нејзината сложеност и квалитет.
Вештачката интелигенција значително го забрза процесот, но сепак може да потрае часови за правилно тренирање. Користејќи метод наречен хаш-кодирање со повеќе резолуција, пионер на NVIDIA, Instant NeRF го намалува времето на рендерирање за фактор од 1,000.
Пакетот Tiny CUDA Neural Networks и NVIDIA CUDA Toolkit беа користени за креирање на моделот. Според NVIDIA, бидејќи е лесна невронска мрежа, може да се тренира и користи на еден графички процесор на NVIDIA, со NVIDIA Tensor Core картички кои работат со најбрзи брзини.
Користете дело
Самоуправувачките автомобили се една од најзначајните примени на оваа технологија. Овие возила главно работат така што ја замислуваат својата околина додека одат.
Сепак, проблемот со денешната технологија е што е несмасна и трае малку предолго.
Меѓутоа, со користење на Instant NeRF, сè што е потребно за самоуправувачки автомобил да ја приближи/разбере големината и обликот на објектите од реалниот свет е да снима фотографии, да ги претвори во 3D и потоа да ги користи тие информации.
Сè уште може да има друга употреба во метаверс или видео игри производствени индустрии.
Бидејќи Instant NeRF ви овозможува брзо да изградите аватари или дури и цели виртуелни светови, ова е точно.
Речиси малку 3Д карактер ќе биде потребно моделирање бидејќи сè што треба да направите е да ја стартувате невронската мрежа и таа ќе генерира карактер за вас.
Покрај тоа, NVIDIA сè уште ја истражува примената на оваа технологија за дополнителни апликации поврзани со машинско учење.
На пример, може да се користи за преведување јазици попрецизно од претходно и за подобрување на општа намена длабоко учење алгоритми сега се користат за поширок опсег на задачи.
Заклучок
Многу графички проблеми се потпираат на структури на податоци специфични за задачата за да ја искористат мазноста или реткоста на проблемот.
Практичната алтернатива заснована на учење што ја нуди хаш-кодирањето со повеќе резолуција на NVIDIA автоматски се концентрира на релевантни детали, без оглед на обемот на работа.
За да дознаете повеќе за тоа како функционираат работите внатре, проверете го официјалното лице GitHub складиште.
Оставете Одговор