کمپیوٹر وژن اور گرافکس میں اعلیٰ ترین صلاحیت کی تخلیقی پورٹریٹ فلمیں تیار کرنا ایک اہم اور مطلوبہ کام ہے۔
اگرچہ طاقتور StyleGAN کی بنیاد پر پورٹریٹ امیج ٹونیفکیشن کے لیے کئی موثر ماڈل تجویز کیے گئے ہیں، لیکن ان امیج پر مبنی تکنیکوں میں جب ویڈیوز کے ساتھ استعمال کیا جاتا ہے تو ان میں واضح خرابیاں ہوتی ہیں، جیسے کہ فکسڈ فریم سائز، چہرے کی سیدھ کی ضرورت، غیر چہرے کی تفصیلات کی عدم موجودگی۔ ، اور وقتی عدم مطابقت۔
ایک انقلابی VToonify فریم ورک کا استعمال مشکل کنٹرول شدہ ہائی ریزولوشن پورٹریٹ ویڈیو اسٹائل کی منتقلی سے نمٹنے کے لیے کیا جاتا ہے۔
ہم اس مضمون میں VToonify پر تازہ ترین مطالعہ کا جائزہ لیں گے، بشمول اس کی فعالیت، خرابیاں، اور دیگر عوامل۔
Vtoonify کیا ہے؟
VToonify فریم ورک حسب ضرورت ہائی ریزولوشن پورٹریٹ ویڈیو اسٹائل ٹرانسمیشن کی اجازت دیتا ہے۔
VToonify فریم کی تفصیلات کو برقرار رکھنے کے لیے ایک انکوڈر کے ذریعے حاصل کردہ کثیر پیمانے کے مواد کی خصوصیات پر مبنی اعلیٰ معیار کے فنکارانہ پورٹریٹ بنانے کے لیے StyleGAN کی درمیانی اور ہائی ریزولوشن لیئرز کا استعمال کرتا ہے۔
نتیجے کے طور پر مکمل طور پر تعمیراتی فن تعمیر متغیر سائز کی فلموں میں غیر منسلک چہروں کو ان پٹ کے طور پر لیتا ہے، جس کے نتیجے میں پورے چہرے والے علاقے آؤٹ پٹ میں حقیقت پسندانہ حرکت کرتے ہیں۔
یہ فریم ورک موجودہ StyleGAN پر مبنی امیج ٹونیفیکیشن ماڈلز کے ساتھ مطابقت رکھتا ہے، جس سے انہیں ویڈیو ٹونیفکیشن تک بڑھایا جا سکتا ہے، اور اس میں پرکشش خصوصیات ہیں جیسے کہ ایڈجسٹ رنگ اور شدت حسب ضرورت۔
یہ مطالعہ Toonify اور DualStyleGAN پر مبنی VToonify کے دو انسٹی ٹیوشنز کو بالترتیب کلیکشن بیسڈ اور مثالی پورٹریٹ ویڈیو اسٹائل ٹرانسفر کے لیے متعارف کرایا ہے۔
وسیع تجرباتی نتائج سے پتہ چلتا ہے کہ مجوزہ VToonify فریم ورک متغیر طرز کے پیرامیٹرز کے ساتھ اعلیٰ معیار کی، وقتی طور پر مربوط فنکارانہ پورٹریٹ فلمیں بنانے میں موجودہ طریقوں سے بہتر کارکردگی کا مظاہرہ کرتا ہے۔
محققین فراہم کرتے ہیں گوگل کولاب نوٹ بک، لہذا آپ اس پر اپنے ہاتھ گندے کر سکتے ہیں۔
یہ کس طرح کام کرتا ہے؟
ایڈجسٹ ہائی ریزولوشن پورٹریٹ ویڈیو اسٹائل ٹرانسفر کو پورا کرنے کے لیے، VToonify تصویری ترجمہ کے فریم ورک کے فوائد کو StyleGAN پر مبنی فریم ورک کے ساتھ جوڑتا ہے۔
مختلف ان پٹ سائز کو ایڈجسٹ کرنے کے لیے، تصویری ترجمے کا نظام مکمل طور پر کنولوشنل نیٹ ورکس کو استعمال کرتا ہے۔ دوسری طرف، شروع سے تربیت، ہائی ریزولوشن اور کنٹرولڈ اسٹائل ٹرانسمیشن کو ناممکن بناتی ہے۔
پہلے سے تربیت یافتہ StyleGAN ماڈل کو StyleGAN پر مبنی فریم ورک میں ہائی ریزولوشن اور کنٹرولڈ اسٹائل ٹرانسفر کے لیے استعمال کیا جاتا ہے، حالانکہ یہ تصویر کے فکسڈ سائز اور تفصیلی نقصانات تک محدود ہے۔
StyleGAN کو ہائبرڈ فریم ورک میں اس کی فکسڈ سائز ان پٹ فیچر اور کم ریزولیوشن لیئرز کو حذف کرکے تبدیل کیا گیا ہے، جس کے نتیجے میں تصویری ترجمے کے فریم ورک کی طرح ایک مکمل طور پر convolutional encoder-generator فن تعمیر ہوتا ہے۔
فریم کی تفصیلات کو برقرار رکھنے کے لیے، جنریٹر کے لیے اضافی مواد کی ضرورت کے طور پر ان پٹ فریم کی کثیر پیمانے کے مواد کی خصوصیات کو نکالنے کے لیے ایک انکوڈر کو تربیت دیں۔ Vtoonify کو جنریٹر میں ڈال کر اس کے ڈیٹا اور ماڈل دونوں کو ڈسٹل کرنے کے لیے StyleGAN ماڈل کی اسٹائل کنٹرول لچک ملتی ہے۔
StyleGAN اور مجوزہ Vtoonify کی حدود
آرٹسٹک پورٹریٹ ہماری روزمرہ کی زندگیوں کے ساتھ ساتھ تخلیقی کاروبار جیسے آرٹ، سوشل میڈیا اوتار، فلمیں، تفریحی اشتہارات وغیرہ۔
کی ترقی کے ساتھ گہری سیکھنے ٹیکنالوجی، اب خودکار پورٹریٹ اسٹائل ٹرانسفر کا استعمال کرتے ہوئے حقیقی زندگی کے چہرے کی تصاویر سے اعلیٰ معیار کے فنکارانہ پورٹریٹ بنانا ممکن ہے۔
تصویر پر مبنی انداز کی منتقلی کے لیے مختلف قسم کے کامیاب طریقے بنائے گئے ہیں، جن میں سے بہت سے موبائل ایپلیکیشنز کی شکل میں ابتدائی صارفین کے لیے آسانی سے قابل رسائی ہیں۔ گزشتہ کئی سالوں میں ویڈیو مواد تیزی سے ہمارے سوشل میڈیا فیڈز کا ایک اہم مرکز بن گیا ہے۔
سوشل میڈیا اور عارضی فلموں کے عروج نے کامیاب اور دلچسپ ویڈیوز بنانے کے لیے جدید ویڈیو ایڈیٹنگ، جیسے پورٹریٹ ویڈیو اسٹائل ٹرانسفر کی مانگ میں اضافہ کیا ہے۔
موجودہ تصویر پر مبنی تکنیکوں کو جب فلموں پر لاگو کیا جاتا ہے تو اس کے اہم نقصانات ہوتے ہیں، جو خودکار پورٹریٹ ویڈیو اسٹائلائزیشن میں ان کی افادیت کو محدود کرتے ہیں۔
اسٹائل گین پورٹریٹ پکچر اسٹائل ٹرانسفر ماڈل تیار کرنے کے لیے ایک عام ریڑھ کی ہڈی کی حیثیت رکھتا ہے جس کی وجہ ایڈجسٹ اسٹائل مینجمنٹ کے ساتھ اعلیٰ معیار کے چہرے بنانے کی صلاحیت ہے۔
اسٹائل گین پر مبنی نظام (جسے پکچر ٹونیفیکیشن بھی کہا جاتا ہے) ایک حقیقی چہرے کو StyleGAN لیٹنٹ اسپیس میں انکوڈ کرتا ہے اور پھر اسٹائلائزڈ ورژن بنانے کے لیے آرٹسٹک پورٹریٹ ڈیٹاسیٹ پر فائن ٹیون کیے گئے اسٹائل جیان کے نتیجے میں آنے والے اسٹائل کوڈ کو لاگو کرتا ہے۔
StyleGAN منسلک چہروں کے ساتھ اور ایک مقررہ سائز پر تصاویر بناتا ہے، جو حقیقی دنیا کی فوٹیج میں متحرک چہروں کے حق میں نہیں ہے۔ ویڈیو میں چہرے کی کٹائی اور صف بندی کے نتیجے میں بعض اوقات جزوی چہرہ اور عجیب و غریب اشارے ہوتے ہیں۔ محققین اس مسئلے کو StyleGAN کی 'فکسڈ فصل پابندی' کہتے ہیں۔
غیر منسلک چہروں کے لیے، StyleGAN3 تجویز کیا گیا ہے۔ تاہم، یہ صرف ایک سیٹ تصویر کے سائز کو سپورٹ کرتا ہے۔
مزید برآں، ایک حالیہ تحقیق میں دریافت کیا گیا ہے کہ غیر منسلک چہروں کو انکوڈنگ کرنا منسلک چہروں سے زیادہ مشکل ہے۔ چہرے کی غلط انکوڈنگ پورٹریٹ سٹائل کی منتقلی کے لیے نقصان دہ ہے، جس کے نتیجے میں از سر نو تعمیر شدہ اور اسٹائل شدہ فریموں میں شناخت میں تبدیلی اور اجزاء کی کمی جیسے مسائل پیدا ہوتے ہیں۔
جیسا کہ زیر بحث آیا، پورٹریٹ ویڈیو سٹائل کی منتقلی کے لیے ایک موثر تکنیک کو درج ذیل مسائل کو ہینڈل کرنا چاہیے:
- حقیقت پسندانہ حرکات کو محفوظ رکھنے کے لیے، نقطہ نظر کو غیر منسلک چہروں اور مختلف ویڈیو سائزز سے نمٹنے کے قابل ہونا چاہیے۔ ایک بڑا ویڈیو سائز، یا دیکھنے کا وسیع زاویہ، چہرے کو فریم سے باہر جانے سے روکتے ہوئے مزید معلومات حاصل کر سکتا ہے۔
- آج کے عام طور پر استعمال ہونے والے ایچ ڈی گیجٹس کا مقابلہ کرنے کے لیے، ہائی ریزولوشن ویڈیو ضروری ہے۔
- حقیقت پسندانہ صارف کے تعامل کا نظام تیار کرتے وقت صارفین کو اپنی پسند کو تبدیل کرنے اور چننے کے لیے لچکدار اسٹائل کنٹرول پیش کیا جانا چاہیے۔
اس مقصد کے لیے، محققین VToonify تجویز کرتے ہیں، جو ویڈیو ٹونیفیکیشن کے لیے ایک نیا ہائبرڈ فریم ورک ہے۔ فصل کی مقررہ رکاوٹ پر قابو پانے کے لیے، محققین پہلے اسٹائل جی اے این میں ترجمے کے مساوات کا مطالعہ کرتے ہیں۔
VToonify اسٹائل GAN پر مبنی فن تعمیر اور امیج ٹرانسلیشن فریم ورک کے فوائد کو یکجا کرتا ہے تاکہ ایڈجسٹ ہائی ریزولوشن پورٹریٹ ویڈیو اسٹائل ٹرانسفر حاصل کیا جاسکے۔
مندرجہ ذیل اہم شراکتیں ہیں:
- محققین StyleGAN کی فکسڈ کراپ کی رکاوٹ کی چھان بین کرتے ہیں اور ترجمے کی مساوات پر مبنی حل تجویز کرتے ہیں۔
- محققین کنٹرول شدہ ہائی ریزولوشن پورٹریٹ ویڈیو اسٹائل ٹرانسفر کے لیے ایک منفرد مکمل طور پر کنوولیشنل VToonify فریم ورک پیش کرتے ہیں جو غیر منسلک چہروں اور مختلف ویڈیو سائزز کو سپورٹ کرتا ہے۔
- محققین Toonify اور DualStyleGAN کی بیک بونز پر VToonify تعمیر کرتے ہیں اور ڈیٹا اور ماڈل دونوں کے لحاظ سے بیک بونز کو گاڑھا کرتے ہیں تاکہ کلیکشن پر مبنی اور مثال پر مبنی پورٹریٹ ویڈیو اسٹائل کی منتقلی کو ممکن بنایا جا سکے۔
Vtoonify کا دوسرے جدید ترین ماڈلز سے موازنہ کرنا
ٹونیفائی۔
یہ StyleGAN کا استعمال کرتے ہوئے منسلک چہروں پر مجموعہ پر مبنی انداز کی منتقلی کی بنیاد کے طور پر کام کرتا ہے۔ اسٹائل کوڈز کو بازیافت کرنے کے لیے، محققین کو PSP کے لیے چہروں کو سیدھ میں لانا اور 256256 تصاویر کو تراشنا چاہیے۔ Toonify کا استعمال 1024*1024 اسٹائل کوڈز کے ساتھ اسٹائلائزڈ نتیجہ پیدا کرنے کے لیے کیا جاتا ہے۔
آخر میں، وہ ویڈیو میں نتیجہ کو اس کے اصل مقام پر دوبارہ سیدھ میں کرتے ہیں۔ غیر طرز کے علاقے کو سیاہ پر سیٹ کر دیا گیا ہے۔
ڈوئل اسٹائل GAN
یہ StyleGAN کی بنیاد پر مثالی طرز کی منتقلی کے لیے ایک ریڑھ کی ہڈی ہے۔ وہ وہی ڈیٹا پری اور پوسٹ پروسیسنگ تکنیک استعمال کرتے ہیں جیسے Toonify۔
Pix2pixHD
یہ ایک تصویر سے تصویری ترجمہ ماڈل ہے جو عام طور پر ہائی ریزولوشن ایڈیٹنگ کے لیے پہلے سے تربیت یافتہ ماڈلز کو کم کرنے کے لیے استعمال کیا جاتا ہے۔ اسے جوڑا ڈیٹا استعمال کرکے تربیت دی جاتی ہے۔
محققین pix2pixHD کو اس کے اضافی مثال کے نقشے کے ان پٹس کے طور پر استعمال کرتے ہیں کیونکہ یہ ایکسٹریکٹڈ پارسنگ میپ استعمال کرتا ہے۔
پہلا آرڈر موشن
FOM ایک عام امیج اینیمیشن ماڈل ہے۔ اسے 256256 تصویروں پر تربیت دی گئی تھی اور یہ تصویر کے دوسرے سائز کے ساتھ خراب کارکردگی کا مظاہرہ کرتی ہے۔ نتیجے کے طور پر، محققین نے پہلے ویڈیو فریموں کو FOM کے لیے 256*256 تک حرکت پذیری کے لیے سکیل کیا اور پھر نتائج کو ان کے اصل سائز میں تبدیل کیا۔
منصفانہ موازنہ کے لیے، FOM اپنے نقطہ نظر کے پہلے اسٹائلائزڈ فریم کو اپنے حوالہ طرز کی تصویر کے طور پر استعمال کرتا ہے۔
داگان
یہ ایک 3D چہرہ اینیمیشن ماڈل ہے۔ وہ ڈیٹا کی تیاری اور پوسٹ پروسیسنگ کے وہی طریقے استعمال کرتے ہیں جیسے FOM۔
فوائد
- اسے آرٹس، سوشل میڈیا اوتار، فلموں، تفریحی اشتہارات وغیرہ میں استعمال کیا جا سکتا ہے۔
- Vtoonify کو میٹاورس میں بھی استعمال کیا جا سکتا ہے۔
حدود
- یہ طریقہ کار StyleGAN پر مبنی بیک بونز سے ڈیٹا اور ماڈل دونوں کو نکالتا ہے، جس کے نتیجے میں ڈیٹا اور ماڈل کا تعصب ہوتا ہے۔
- نمونے زیادہ تر اسٹائلائزڈ چہرے کے علاقے اور دوسرے حصوں کے درمیان سائز کے فرق کی وجہ سے ہوتے ہیں۔
- چہرے کے علاقے میں چیزوں سے نمٹنے کے دوران یہ حکمت عملی کم کامیاب ہوتی ہے۔
نتیجہ
آخر میں، VToonify اسٹائل کنٹرول ہائی ریزولوشن ویڈیو ٹونیفیکیشن کے لیے ایک فریم ورک ہے۔
یہ فریم ورک ویڈیوز کو ہینڈل کرنے میں بہترین کارکردگی حاصل کرتا ہے اور اسٹائل گین پر مبنی امیج ٹونیفیکیشن ماڈلز کو ان دونوں کے لحاظ سے کنڈینس کرکے ساختی انداز، رنگ کے انداز اور اسٹائل کی ڈگری پر وسیع کنٹرول کو قابل بناتا ہے۔ مصنوعی ڈیٹا اور نیٹ ورک ڈھانچے.
جواب دیجئے