فهرست مندرجات[پنهان شدن][نمایش]
سلام، آیا میدانستید که با مدل رندر عصبی Instant NeRF NVIDIA در عرض چند ثانیه میتوان یک صحنه سهبعدی از ورودی دادههای دوبعدی ایجاد کرد و عکسهای آن صحنه را میتوان در میلیثانیه ارائه کرد؟
امکان تبدیل سریع مجموعه ای از عکس های ثابت به یک محیط دیجیتال سه بعدی با استفاده از تکنیکی به نام رندر معکوس وجود دارد که هوش مصنوعی را قادر می سازد نحوه عملکرد نور در دنیای واقعی را تقلید کند.
این یکی از اولین مدلهایی در نوع خود است که میتواند آموزش شبکه عصبی فوقالعاده سریع و رندر سریع را با هم ترکیب کند، این به لطف تکنیکی است که تیم تحقیقاتی NVIDIA ابداع کرده است که این عملیات را با سرعتی باورنکردنی – تقریباً آنی تکمیل میکند.
این مقاله به بررسی عمیق NeRF NVIDIA از جمله سرعت، موارد استفاده و سایر عوامل می پردازد.
پس چه؟ NeRF?
NeRF مخفف فیلدهای تابشی عصبی است که به تکنیکی برای ایجاد نماهای منحصر به فرد از صحنه های پیچیده با اصلاح تابع صحنه حجمی پیوسته زیرین با استفاده از تعداد کمی از نماهای ورودی اشاره دارد.
هنگامی که مجموعه ای از عکس های دو بعدی به عنوان ورودی داده می شود، NeRF های NVIDIA به کار می روند شبکه های عصبی برای نمایش و تولید صحنه های سه بعدی.
تعداد کمی عکس از زوایای مختلف در اطراف منطقه مورد نیاز است شبکه های عصبی، همراه با محل قرارگیری دوربین در هر فریم.
هرچه این عکس ها زودتر گرفته شوند، به خصوص در صحنه هایی که بازیگران یا اشیا متحرک هستند، بهتر است.
صحنه سه بعدی تولید شده توسط هوش مصنوعی در صورت وجود حرکت بیش از حد در طول فرآیند ثبت تصویر دو بعدی، لکه دار می شود.
NeRF با پیشبینی رنگ نوری که در هر جهت از هر مکانی در محیط سهبعدی ساطع میشود، شکافهای باقیمانده از این دادهها را برای ساخت کل تصویر پر میکند.
از آنجایی که NeRF می تواند یک صحنه سه بعدی را در چند میلی ثانیه پس از دریافت ورودی های مناسب ایجاد کند، این سریع ترین رویکرد NeRF تا به امروز است.
NeRF به قدری سریع کار می کند که عملاً آنی است، به همین دلیل نام آن است. اگر نمایشهای سهبعدی استاندارد مانند مشهای چند ضلعی، تصاویر برداری هستند، NeRFها تصاویر بیتمپ هستند: آنها بهطور متراکم نحوه تابش نور از یک شی یا داخل یک صحنه را ثبت میکنند.
NeRF فوری برای سه بعدی ضروری است زیرا دوربین های دیجیتال و فشرده سازی JPEG برای عکاسی دوبعدی بوده است و سرعت، راحتی و دسترسی عکاسی و اشتراک گذاری سه بعدی را به طرز چشمگیری افزایش می دهد.
Instant NeRF می تواند برای تولید آواتارها یا حتی مناظر کامل برای دنیای مجازی استفاده شود.
برای ادای احترام به روزهای اولیه عکسهای پولاروید، تیم تحقیقاتی NVIDIA یک عکس مشهور از اندی وارهول را بازسازی کرد و آن را با استفاده از Instant NeRF به یک صحنه سهبعدی تبدیل کرد.
آیا واقعا 1,000 برابر سریعتر است؟
یک صحنه سه بعدی بسته به پیچیدگی و کیفیت آن ممکن است ساعت ها طول بکشد تا قبل از NeRF ایجاد شود.
هوش مصنوعی این فرآیند را تا حد زیادی سرعت بخشید، اما هنوز هم ممکن است ساعت ها طول بکشد تا به درستی آموزش داده شود. Instant NeRF با استفاده از روشی به نام رمزگذاری هش چند رزولوشن، که توسط NVIDIA پیشگام شد، زمانهای رندر را ۱۰۰۰ ضریب کاهش میدهد.
پکیج Tiny CUDA Neural Networks و NVIDIA CUDA Toolkit برای ایجاد مدل استفاده شده است. به گفته انویدیا، از آنجایی که این یک شبکه عصبی سبک وزن است، میتوان آن را روی یک واحد پردازش گرافیکی NVIDIA آموزش داد و از آن استفاده کرد و کارتهای NVIDIA Tensor Core با سریعترین سرعت کار میکنند.
استفاده از مورد
خودروهای خودران یکی از مهمترین کاربردهای این فناوری است. این وسایل نقلیه عمدتاً با تصور محیط اطراف خود در حین حرکت عمل می کنند.
با این حال، مشکل تکنولوژی امروزی این است که دست و پا چلفتی است و کمی طول می کشد.
با این حال، با استفاده از Instant NeRF، تنها چیزی که برای یک خودروی خودران برای تقریب/درک اندازه و شکل اشیاء دنیای واقعی لازم است، گرفتن عکسهای ثابت، تبدیل آنها به سه بعدی و سپس استفاده از آن اطلاعات است.
هنوز هم می تواند استفاده دیگری در متاورس یا بازی های ویدئویی صنایع تولیدی
از آنجایی که Instant NeRF به شما امکان می دهد آواتارها یا حتی کل جهان های مجازی را به سرعت بسازید، این درست است.
تقریبا کمه شخصیت سه بعدی مدل سازی مورد نیاز است زیرا تنها کاری که باید انجام دهید اجرای شبکه عصبی است و یک کاراکتر برای شما ایجاد می کند.
علاوه بر این، NVIDIA هنوز در حال بررسی استفاده از این فناوری برای برنامههای کاربردی مرتبط با یادگیری ماشین است.
به عنوان مثال، ممکن است برای ترجمه زبانها با دقت بیشتری نسبت به قبل و بهبود هدف عمومی استفاده شود یادگیری عمیق الگوریتم هایی که اکنون برای طیف وسیع تری از وظایف استفاده می شوند.
نتیجه
بسیاری از مسائل گرافیکی برای استفاده از نرمی یا پراکندگی مشکل به ساختارهای داده خاص تکیه می کنند.
جایگزین عملی مبتنی بر یادگیری ارائه شده توسط رمزگذاری هش چند رزولوشن NVIDIA بدون توجه به حجم کار، به طور خودکار بر روی جزئیات مربوطه متمرکز می شود.
برای اطلاعات بیشتر در مورد نحوه عملکرد همه چیز در داخل، به رسمی مراجعه کنید GitHub مخزن
پاسخ دهید