විසරණ ආකෘති නිකුත් වීමත් සමඟ කුණාටුවකින් ලොව පුරා පැතිරී ඇත Dall-E 2, Google's Imagen, ස්ථායී විසරණය, සහ මැද ගමන, නවෝත්පාදනය අවුලුවාලීම සහ යන්ත්ර ඉගෙනීමේ සීමාවන් දිගු කිරීම.
මෙම ආකෘතීන්ට ෆොටෝරියලිස්ටික්, ඉන්ද්රජාලික, අනාගතවාදී, සහ ඇත්ත වශයෙන්ම, හුරුබුහුටි රූප ඇතුළුව, වචන විමසීම්වලින් පාහේ අසීමිත රූප සංඛ්යාවක් නිපදවිය හැක.
මෙම හැකියාවන් මිනිසුන්ට සිලිකන් සමඟ සම්බන්ධ වීම යන්නෙන් අදහස් කරන්නේ කුමක්ද යන්න නැවත සිතා බලයි, අපට සිතිය හැකි ඕනෑම පින්තූරයක් ප්රායෝගිකව සෑදීමේ හැකියාව අපට ලබා දෙයි.
මෙම ආකෘති වර්ධනය වන විට හෝ ඊළඟ උත්පාදන සුසමාදර්ශය අත්පත් කර ගන්නා විට, මිනිසුන්ට සිතුවිල්ලකින් පමණක් රූප, චිත්රපට සහ වෙනත් ගිලී යන අත්දැකීම් නිපදවීමට හැකි වනු ඇත.
මෙම ලිපියෙන් අපි සාකච්ඡා කරමු විසරණ ආකෘතිය, ස්ථායී විසරණය, එය ක්රියා කරන ආකාරය, සහ වෙනත් දේ අතර විසරණ මාදිලියේ පින්තාරු කිරීමේ නිබන්ධනය.
විසරණ ආකෘතිය යනු කුමක්ද?
පුහුණු දත්ත වලින් නව දත්ත නිර්මාණය කළ හැකි යන්ත්ර ඉගෙනුම් ආකෘති උත්පාදක ආකෘති ලෙස හැඳින්වේ. අනෙකුත් ජනක ආකෘති වලට ප්රවාහ-පාදක ආකෘති, විචල්ය ස්වයංක්රීය කේතක සහ උත්පාදක එදිරිවාදී ජාල (GANs) ඇතුළත් වේ.
සෑම කෙනෙකුටම විශිෂ්ට තත්ත්වයේ පින්තූර ජනනය කළ හැකිය. ශබ්ද එකතු කිරීමෙන් පුහුණු දත්ත වලට හානි කිරීමෙන් පසු මෙම ශබ්ද එකතු කිරීමේ ක්රියාවලිය ආපසු හරවා යැවීමෙන් දත්ත ප්රතිසාධනය කිරීමට විසරණ ආකෘති ඉගෙන ගනී. එය වෙනත් ආකාරයකින් පැවසුවහොත්, විසරණ ආකෘති ශබ්දයෙන් සමෝධානික පින්තූර නිර්මාණය කිරීමට සමත් වේ.
විසරණ ආකෘති පින්තූරවලට ශබ්දය හඳුන්වා දීමෙන් ඉගෙන ගන්නා අතර, පසුව ආකෘතිය ඉවත් කිරීම ප්රගුණ කරයි. යථාර්ථවාදී දෘශ්ය නිෂ්පාදනය කිරීම සඳහා, මෙම ආකෘතිය අහඹු බීජ සඳහා මෙම denoising තාක්ෂණය යොදයි.
පින්තූර නිෂ්පාදන ක්රියාවලිය සමීකරණය කිරීමෙන්, මෙම ආකෘති පෙළ සිට රූපය දක්වා මාර්ගෝපදේශය සමඟ සම්බන්ධව පෙළෙන් පමණක් අසීමිත රූප සංඛ්යාවක් ජනනය කළ හැකිය. ශක්තිමත් අකුරු-පින්තූර හැකියාවන් ලබා දීම සඳහා CLIP වැනි කාවැද්දීම් වලින් ලැබෙන යෙදවුම් මගින් බීජ යොමු කළ හැක.
විසරණ ආකෘතීන්ට රූප නිර්මාණය, ප්රතිබිම්බ ඉවත් කිරීම, පින්තාරු කිරීම, පිටත පින්තාරු කිරීම සහ බිටු විසරණය ඇතුළු විවිධ කාර්යයන් ඉටු කළ හැකිය.
දැන්, ස්ථාවර විසරණය යනු කුමක්ද?
ස්ථායී විසරණය යනු පෙළ මත පදනම් වූ පින්තූර නිර්මාණය සඳහා සපයන යන්ත්ර ඉගෙනුම් ආකෘතියකි ස්ථාවරත්වය.AI. එය පෙළ වලින් පින්තූර ජනනය කිරීමේ හැකියාව ඇත.
ස්ථායී විසරණයේ සංරචක
ස්ථායී විසරණය සංරචක සහ සංකල්ප කිහිපයකින් සමන්විත පද්ධතියකි. එය තනි ආකෘතියක් නොවේ. අපි තොප්පිය පිටුපස පරීක්ෂා කරන විට, අපට පෙනෙන පළමු දෙය නම්, පෙළ තොරතුරු සංඛ්යාත්මක නිරූපණයක් බවට පරිවර්තනය කරන පෙළ-අවබෝධ සංරචකයක් ඇති බවයි.
අපිට මේ text encoder එක Transformer කියලා කියන්න පුළුවන් භාෂා ආකෘතිය (තාක්ෂණිකව: CLIP ආකෘතියක පෙළ කේතකය). එය ආදාන පෙළ ගෙන පෙළෙහි එක් එක් වචනය/ටෝකනය සඳහා පූර්ණ සංඛ්යා ලැයිස්තුවක් (දෛශිකයක්) ජනනය කරයි. එම දත්ත පසුව සංරචක කිහිපයකින් සැදී ඇති Image Generator වෙත සපයනු ලැබේ.
රූප උත්පාදකයේ පියවර දෙකක් තිබේ:
1. රූප තොරතුරු නිර්මාතෘ
ස්ථායී විසරණයේ ප්රධාන අංගය වන්නේ මෙම මූලද්රව්යය වේ. පෙර අනුවාදවලට වඩා කාර්ය සාධනයේ වැඩි දියුණු කිරීම් සිදු කරනු ලබන්නේ එහිදීය.
පින්තූර දත්ත සැපයීම සඳහා මෙම සංරචකය අදියර කිහිපයක් හරහා ගමන් කරයි. පින්තූර තොරතුරු නිර්මාතෘ රූප තොරතුරු අවකාශය (හෝ ගුප්ත අවකාශය) තුළ පමණක් ක්රියා කරයි.
මෙම ලක්ෂණය නිසා පික්සල් අවකාශයේ ක්රියාත්මක වූ පෙර විසරණ මාදිලිවලට වඩා එය වේගවත් වේ. තාක්ෂණික වශයෙන්, මෙම සංරචකය කාලසටහන්ගත කිරීමේ ඇල්ගොරිතමයකින් සහ UNet එකකින් සමන්විත වේ. ස්නායු ජාලය.
මෙම සංරචකයේ සිදුවන ක්රියාවලිය "විසරණය" ලෙස හැඳින්වේ. උසස් තත්ත්වයේ රූපයක් අවසානයේ නිපදවනු ලබන්නේ තොරතුරු පියවරෙන් පියවර සැකසීමේ ප්රතිඵලයක් ලෙසය (ඊළඟ සංරචකය වන රූප විකේතනය මගින්).
2. රූප විකේතනය
තොරතුරු නිෂ්පාදකයාගෙන් ලැබුණු දත්ත භාවිතා කරමින්, රූප විකේතනය පින්තූරයක් නිර්මාණය කරයි. මෙහෙයුම අවසානයේ නිමි පික්සල් පින්තූරය සෑදීමට එය එක් වරක් ක්රියාත්මක වේ.
ස්ථාවර විසරණ Impainting නිබන්ධනය
ස්ථායී විසරණ පින්තුර පින්තාරු කිරීම යනු රූපයක නැතිවූ හෝ හානියට පත් ප්රදේශ පිරවීමේ තාක්ෂණයයි. පින්තූර පින්තාරු කිරීමේ අරමුණ වන්නේ රූපය ප්රතිසාධනය කර ඇති බව වසන් කිරීමයි.
රූපයකින් අනවශ්ය දේ ඉවත් කිරීමට හෝ ඓතිහාසික ඡායාරූපවල හානියට පත් ප්රදේශ ප්රතිෂ්ඨාපනය කිරීමට මෙම තාක්ෂණය නිතර භාවිතා වේ. ස්ථායී විසරණ තීන්ත ආලේප කිරීම යනු සාපේක්ෂ වශයෙන් මෑත කාලීන තීන්ත ආලේප කිරීමේ ක්රමයක් වන අතර එය හොඳ ප්රතිඵල ලබා දෙයි.
ඔබට ස්ථායී විසරණයකින් පින්තාරු කිරීමට උත්සාහ කිරීමට අවශ්ය නම් පහත උපදෙස් අනුගමනය කිරීමෙන් ඔබ තීන්ත ආලේප කිරීම ගවේෂණය කිරීම සහ පවතින ඡායාරූප වෙනස් කිරීම ආරම්භ කරනු ඇත:
- Huggingface වෙත යන්න ස්ථායී විසරණ Impainting
- ඔබේම පින්තූරයක් උඩුගත කරන්න
- ඔබේ රූපයේ ප්රතිස්ථාපනය කළ යුතු කොටස මකන්න.
- ඔබේ විමසුම මෙහි ඇතුළත් කරන්න (ඔබ ඉවත් කරන දේ වෙනුවට ඔබට එකතු කිරීමට අවශ්ය දේ)
- "ධාවනය" තෝරන්න
ඉහළ වීඩියෝවේ, අපි ලෙමන් ගෙඩි තුනක් සහිත පින්තූරයක් උඩුගත කර ඒවා ඇපල් සඳහා මාරු කරමු. ඔබගේම ඡායාරූප සහ විමසීම් සමඟ එය උත්සාහ කිරීමට මම පුද්ගලිකව නිර්දේශ කරමි.
නිගමනය
සාමාන්යයෙන්, ස්ථායී විසරණ පින්තාරු කිරීම අතිශයින්ම සැබෑ යැයි පෙනෙන ව්යාජ රූප හෝ වීඩියෝ නිෂ්පාදනය සඳහා විශිෂ්ට ක්රමයකි. අපි නව තාක්ෂණික දියුණුව කරා ගමන් කරන විට, තාක්ෂණයේ දියුණුවත් සමඟ අව්යාජ සහ වංචනික දේ අතර වෙනස හඳුනා ගැනීම වඩාත් දුෂ්කර වනු ඇත.
ස්වාහීර්
පළමු භාගය දෙවන භාගයට සම්පූර්ණයෙන්ම සම්බන්ධ නැත. කතුවරයා ඔහු කලින් පැහැදිලි කළ ආකෘතියේ රාමුව තුළ තීන්ත ක්රියා කරන ආකාරය පැහැදිලි කළේ නම් එය ඇත්තෙන්ම සිසිල් වනු ඇත. නමුත් නැහැ! අහඹු පෙළක් එකතු කර සැකසීමට වඩා සැබෑ අවබෝධයක් අවශ්ය වනු ඇත.