अनुक्रमणिका[लपवा][दाखवा]
बनावट फोटो आणि व्हिडिओ असणे नवीन नाही. इंटरनेटचा व्यापक वापर झाल्यापासून, प्रतिमा आणि चित्रपट आल्यापासून लोक फसवणूक करण्यासाठी किंवा करमणूक करण्यासाठी बनावट गोष्टी तयार करत आहेत.
तथापि, एक नवीन प्रकारची मशीन-निर्मित बनावट आहे जी एखाद्या दिवशी आम्हाला काल्पनिक गोष्टींपासून वास्तविकता वेगळे करणे कठीण करेल.
हे बनावट फोटोशॉप किंवा भूतकाळातील चतुराईने हाताळलेल्या चित्रपटांसारख्या संपादन सॉफ्टवेअरद्वारे तयार केलेल्या साध्या चित्र हाताळणीपेक्षा वेगळे आहेत.
डीपफेक हे “सिंथेटिक मीडिया” चे सर्वात सुप्रसिद्ध उदाहरण आहेत—प्रतिमा, ध्वनी आणि व्हिडिओ जे पारंपारिक पद्धती वापरून तयार केलेले दिसतात परंतु ते खरोखरच अत्याधुनिक सॉफ्टवेअर वापरून बनवले गेले आहेत.
डीपफेक काही काळापासून आहेत, आणि त्यांचा सर्वात लोकप्रिय अॅप्लिकेशन हा पॉर्नोग्राफिक चित्रपटातील कलाकारांच्या शरीरावर प्रसिद्ध लोकांचे डोके ठेवत असताना, कोणीही, कुठेही काहीही करत असल्याचे खात्रीलायक फुटेज तयार करण्याची क्षमता त्यांच्याकडे आहे.
या पोस्टमध्ये, आम्ही Deepfakes पाहणार आहोत, ते कसे कार्य करते, तुम्ही ते स्वतः कसे तयार करू शकता आणि बरेच काही.
तर, डीपफेक म्हणजे काय?
डीपफेक - डीप लर्निंग आणि फेक या वाक्यांशांचे संयोजन - याचा एक तुकडा आहे कृत्रिम माध्यम ज्यामध्ये आधीपासून अस्तित्वात असलेल्या छायाचित्र किंवा व्हिडिओमध्ये एखाद्या व्यक्तीचे साम्य बदलण्यासाठी दुसऱ्या व्यक्तीचे साम्य वापरले जाते.
डीपफेक अत्याधुनिक मशीन लर्निंग आणि आर्टिफिशियल इंटेलिजन्स तंत्र वापरतात ज्यामध्ये फसवणूक होण्याची उच्च क्षमता असलेली व्हिज्युअल आणि ऑडिओ माहिती सुधारित आणि तयार केली जाते.
डीपफेक उत्पादन (GAN) साठी ऑटोएनकोडर आणि जनरेटिव्ह अॅडव्हर्सियल नेटवर्क्स सारख्या सखोल शिक्षण पद्धती ही प्राथमिक यंत्रणा आहे.
या मॉडेल्सचा वापर एखाद्या व्यक्तीच्या चेहऱ्यावरील भावना आणि हालचालींचे विश्लेषण करण्यासाठी आणि तुलनात्मक अभिव्यक्ती आणि हालचाली प्रदर्शित करणाऱ्या इतर लोकांच्या चेहऱ्यावरील चित्रांचे संश्लेषण करण्यासाठी केला जातो.
सेलिब्रिटी पोर्नोग्राफिक व्हिडिओ, बनावट बातम्या, फसवणूक आणि आर्थिक फसवणूक यांमध्ये डीपफेकच्या वापराने बरेच लक्ष वेधले आहे. उद्योग आणि सरकार या दोघांनीही त्यांना शोधण्याचा आणि त्यांचा वापर मर्यादित करण्याचा प्रयत्न करून प्रतिसाद दिला आहे.
प्रथम ऑर्डर मोशन मॉडेल
भूतकाळात सखोल बनावट विकसित करण्याचा प्रयत्न करताना, समस्या अशी होती की या पद्धती कार्य करण्यासाठी आम्हाला काही प्रकारचे अतिरिक्त ज्ञान, किंवा पूर्वाश्रमीची आवश्यकता आहे.
उदाहरण म्हणून, जर आपल्याला डोक्याची हालचाल शोधायची असेल तर चेहरा चिन्हक आवश्यक आहेत. जर आपल्याला संपूर्ण शरीराच्या हालचालींचा नकाशा बनवायचा असेल तर पोझ अंदाज आवश्यक होता.
गेल्या वर्षी न्यूरीआयपीएस परिषदेत जेव्हा टोरंटो विद्यापीठातील संशोधन पथकाने त्यांचे कार्य सादर केले तेव्हा ते बदलले, “इमेज अॅनिमेशनसाठी फर्स्ट ऑर्डर मोशन मॉडेल. "
या दृष्टिकोनासाठी अॅनिमेशनचे आणखी ज्ञान आवश्यक नाही. याशिवाय, हे मॉडेल प्रशिक्षित झाल्यानंतर, ते ट्रान्सफर लर्निंगसाठी वापरले जाऊ शकते आणि त्याच श्रेणीतील कोणत्याही आयटमवर लागू केले जाऊ शकते.
चला या पद्धतीचे ऑपरेशन थोडे पुढे पाहू. मोशन एक्स्ट्रॅक्शन आणि जनरेशन संपूर्ण प्रक्रियेचा पहिला भाग बनवतात. ड्रायव्हिंग व्हिडिओ आणि स्त्रोत चित्रे इनपुट म्हणून वापरली जातात.
फर्स्ट-ऑर्डर मोशन रिप्रेझेंटेशन काढण्यासाठी, ज्यामध्ये विरळ की पॉइंट्स आणि स्थानिक अफ़ाइन ट्रान्सफॉर्मेशन असतात, मोशन एक्स्ट्रॅक्टर मुख्य बिंदू ओळखण्यासाठी ऑटोएनकोडर वापरतो.
दाट मोशन नेटवर्कसह दाट ऑप्टिकल फ्लो आणि ऑक्लूजन नकाशा तयार करण्यासाठी, ते ड्रायव्हिंग व्हिडिओसह वापरले जातात. जनरेटर नंतर डेन्स मोशन नेटवर्क आणि सोर्स इमेजमधून आउटपुट वापरून लक्ष्य चित्र प्रस्तुत करतो.
संपूर्ण मंडळामध्ये, हे कार्य अत्याधुनिकतेपेक्षा चांगले कार्य करते. यात इतर मॉडेल्समध्ये नसलेली वैशिष्ट्ये देखील आहेत. हे अनेक चित्र प्रकारांवर कार्य करते, त्यामुळे तुम्ही ते चेहरा, शरीर, व्यंगचित्रे इत्यादींच्या प्रतिमांवर लागू करू शकता, जे अत्यंत उत्तम आहे.
यातून अनेक नवीन संधी निर्माण होत आहेत. आमच्या रणनीतीचा आणखी एक महत्त्वाचा पैलू असा आहे की ते आता तुम्हाला लक्ष्य ऑब्जेक्टची फक्त एक प्रतिमा वापरून उच्च-गुणवत्तेचे डीपफेक तयार करण्यास अनुमती देते, जसे की आम्ही कसे करतो. ऑब्जेक्टसाठी YOLO ओळख.
डीपफेक मॉडेल तयार करण्याची प्रक्रिया
डीपफेक निर्मितीसाठी तीन प्रक्रिया आवश्यक आहेत: निष्कर्षण, प्रशिक्षण आणि निर्मिती. या प्रत्येक टप्प्याचे मुख्य मुद्दे आणि ते एकूण प्रक्रियेशी कसे संबंधित आहेत हे या विभागात समाविष्ट केले जाईल.
निष्कर्षण
डीपफेक चेहेरे बदलण्यासाठी डीप न्यूरल नेटवर्क्स वापरतात आणि योग्य आणि खात्रीने काम करण्यासाठी भरपूर डेटा (चित्रे) आवश्यक असतात. एक्सट्रॅक्शन प्रक्रिया ही अशी अवस्था आहे ज्यामध्ये व्हिडिओ क्लिपमधील सर्व फ्रेम्स काढल्या जातात, चेहरे ओळखले जातात आणि नंतर कमाल कार्यक्षमता वाढवण्यासाठी चेहरे संरेखित केले जातात.
प्रशिक्षण
प्रशिक्षण टप्प्यात, द मज्जासंस्थेसंबंधीचा नेटवर्क एक चेहरा दुसर्यामध्ये बदलू शकतो. सराव सेट आणि प्रशिक्षण गॅझेटच्या आकारावर अवलंबून, प्रशिक्षणास कित्येक तास किंवा दिवस लागू शकतात.
इतर न्यूरल नेटवर्क प्रशिक्षणाप्रमाणेच प्रशिक्षण फक्त एकदाच संपले पाहिजे. प्रशिक्षणानंतर, मॉडेल व्यक्ती A पासून व्यक्ती B मध्ये चेहरा बदलण्यास सक्षम असेल.
निर्मिती
मॉडेलला प्रशिक्षण दिल्यानंतर, डीपफेक तयार केला जाऊ शकतो. फ्रेम व्हिडिओमधून घेतल्या जातात आणि नंतर सर्व चेहऱ्यांवर संरेखित केल्या जातात. प्रशिक्षित न्यूरल नेटवर्क नंतर प्रत्येक फ्रेम बदलण्यासाठी वापरले जाते.
शेवटची पायरी म्हणून रूपांतरित चेहरा मूळ फ्रेममध्ये विलीन करणे आवश्यक आहे.
डीपफेक शोध मॉडेल तयार करणे
GitHub रेपो माउंटिंग आणि क्लोनिंग
Colab मध्ये काम करत असताना Google चे GPU मोफत वापरणे फायद्याचे आहे खोल शिकणे. एक अतिरिक्त फायदा म्हणजे क्लाउड व्हर्च्युअल मशीन (VM) वर Google ड्राइव्ह माउंट करण्याची क्षमता.
त्याच्या सर्व सामग्रीमध्ये सहज प्रवेशासह, वापरकर्ता सक्षम आहे. क्लाउडमधील व्हर्च्युअल मशीनवर Google ड्राइव्ह माउंट करण्यासाठी आवश्यक असलेला प्रोग्राम या विभागात आढळेल.
मॉड्यूल्स आयात करत आहे
आता, आम्ही सर्व आवश्यक मॉड्यूल्स आयात करू.
मॉडेल अंमलात आणत आहे
आम्ही एक उदाहरण वापरू जे ओबामाच्या व्हिडिओसह पुतिनचा स्थिर फोटो (स्रोत चित्र) एकत्र करते. परिणाम म्हणजे ओबामा ड्रायव्हिंग करताना वापरत असलेल्या चेहऱ्यावरील हावभावांसह पुतिन बोलत आणि हावभाव करतानाचा व्हिडिओ.
मॉडेलचा निकाल प्रदर्शित करण्यापूर्वी, मीडिया लोड केला जाईल आणि कार्ये घोषित केली जातील. त्यानंतर चेकपॉइंट लोड केले जातील आणि मॉडेल तयार केले जाईल. खोल बनावट तयार केल्यानंतर, अॅनिमेशनच्या दोन भिन्न शैली प्रदर्शित केल्या जातील.
सापेक्ष कीपॉइंट विस्थापनाचा वापर करून ओबामाच्या हालचालींनी पुतिन अॅनिमेटेड आहेत. ओबामा यांच्या चेहऱ्यावरील भावना आणि देहबोली ज्या प्रकारे पुतिन यांच्यासाठी त्यांच्या व्हिडिओंमध्ये सुंदर आणि स्पष्टपणे चित्रित केल्या आहेत ते थक्क करणारे आहे.
काही सूक्ष्म चुका आहेत, विशेषतः जेव्हा ओबामा भुवया उंचावतात आणि डोळे मिचकावतात. हे अभिव्यक्ती पुतिनच्या फ्रेम्समध्ये तंतोतंत प्रतिरूपित नाहीत.
डीपफेक पार्श्वभूमीशिवाय, पुतिन चित्रपट टीव्हीवर पाहिल्यास तो बर्यापैकी विश्वासार्ह आणि अस्सल वाटेल. सामाजिक मीडिया.
मॉडेल निर्मिती
आता, आम्ही पूर्ण मॉडेल तयार करण्यासाठी पूर्व प्रशिक्षित चौक्यांचा वापर करणार आहोत.
डीपफेक ओळख
सापेक्ष कीपॉइंट विस्थापन खालील सेलमधील आयटम अॅनिमेट करण्यासाठी वापरले जाते. पुढील सेल त्याऐवजी परिपूर्ण निर्देशांक वापरतो, परंतु सर्व आयटमचे प्रमाण या पद्धतीने ड्रायव्हिंग व्हिडिओमधून घेतले जाईल.
परिपूर्ण निर्देशांक वापरून आउटपुट वाढवणे
तुम्ही या पद्धतीने डीपफेक डिटेक्शन विकसित करण्यात सक्षम व्हाल.
डीपफेक तंत्रज्ञानाचे धोके काय आहेत?
डीपफेक व्हिडिओ आता त्यांच्या नवीनतेमुळे आकर्षक आणि मनोरंजक आहेत. तथापि, या उशिर मजेदार तंत्रज्ञानाच्या पृष्ठभागाखाली नियंत्रणाबाहेर जाण्याचा धोका आहे.
बनावट आणि वास्तविक व्हिडिओंमध्ये फरक करणे नक्कीच आव्हानात्मक असेल डीपफेक तंत्रज्ञान पुढे जात आहे. विशेषत: प्रमुख व्यक्ती आणि ख्यातनाम व्यक्तींसाठी याचे गंभीर परिणाम होऊ शकतात. हेतुपुरस्सर द्वेषपूर्ण असलेल्या डीपफेकमध्ये करिअर आणि जीवन पूर्णपणे खराब करण्याची क्षमता असते.
इतरांसाठी पास करण्यासाठी आणि त्यांचे मित्र, नातेवाईक आणि सहकार्यांचा गैरफायदा घेण्यासाठी दुष्ट हेतू असलेल्या एखाद्याद्वारे याचा वापर केला जाऊ शकतो. ते परदेशी नेत्यांच्या बनावट चित्रपटांचा वापर करून जगभरातील वादविवाद आणि युद्धे देखील करण्यास सक्षम आहेत.
निष्कर्ष
सारांश, आम्ही एका विचित्र कालावधीत आणि असामान्य वातावरणात आहोत. खोट्या बातम्या आणि चित्रपट तयार करणे आणि त्यांचा प्रसार करणे हे नेहमीपेक्षा सोपे आहे. खरे काय आणि काय नाही हे समजणे दिवसेंदिवस आव्हानात्मक होत आहे.
आज, हे दिसून येते की आपण यापुढे आपल्या स्वतःच्या इंद्रियांवर अवलंबून राहू शकत नाही.
खोटे व्हिडिओ डिटेक्टर्स विकसित केले गेले असले तरीही, माहितीचे अंतर इतके अरुंद होण्याआधी केवळ काही काळाची बाब आहे की उत्कृष्ट बनावट शोधक देखील व्हिडिओ वास्तविक आहे की नाही हे ठरवू शकणार नाहीत.
प्रत्युत्तर द्या