ແບບຈໍາລອງການແຜ່ກະຈາຍໄດ້ swept ໂລກໂດຍພະຍຸມີການປ່ອຍຂອງ Dallas-E 2, ຮູບພາບຂອງ Google, ການແຜ່ກະຈາຍຄົງທີ່, ແລະ ກາງແຈ້ງ, sparking ປະດິດສ້າງແລະ stretching ຂອບເຂດຂອງການຮຽນຮູ້ເຄື່ອງຈັກ.
ຮູບແບບເຫຼົ່ານີ້ສາມາດຜະລິດຮູບພາບເກືອບບໍ່ຈໍາກັດຈາກການກະຕຸ້ນຄໍາ, ລວມທັງຮູບພາບທີ່ແທ້ຈິງ, magical, futuristic, ແລະ, ແນ່ນອນ, ຮູບພາບທີ່ຫນ້າຮັກ.
ຄວາມສາມາດເຫຼົ່ານີ້ reimagine ວ່າມັນຫມາຍຄວາມວ່າແນວໃດສໍາລັບມະນຸດໃນການໂຕ້ຕອບກັບຊິລິໂຄນ, ໃຫ້ພວກເຮົາມີຄວາມສາມາດທີ່ຈະສ້າງຮູບພາບທີ່ພວກເຮົາສາມາດຈິນຕະນາການ.
ເມື່ອຕົວແບບເຫຼົ່ານີ້ພັດທະນາຂຶ້ນ ຫຼືຂະບວນວິວັດການຜະລິດຕໍ່ໄປຈະເກີດຂຶ້ນ, ມະນຸດຈະສາມາດຜະລິດຮູບພາບ, ຮູບເງົາ ແລະປະສົບການອັນເລິກເຊິ່ງອື່ນໆດ້ວຍຄວາມຄິດເທົ່ານັ້ນ.
ໃນບົດຂຽນນີ້, ພວກເຮົາຈະປຶກສາຫາລືກ່ຽວກັບ ຮູບແບບການແຜ່ກະຈາຍ, ການແຜ່ກະຈາຍທີ່ຫມັ້ນຄົງ, ເຮັດແນວໃດມັນເຮັດວຽກ, ແລະຮູບແບບການແຜ່ກະຈາຍ inpainting tutorial, ໃນບັນດາສິ່ງອື່ນໆ.
ຮູບແບບການແຜ່ກະຈາຍແມ່ນຫຍັງ?
ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ສາມາດສ້າງຂໍ້ມູນໃຫມ່ຈາກຂໍ້ມູນການຝຶກອົບຮົມແມ່ນເອີ້ນວ່າແບບຈໍາລອງການຜະລິດ. ຮູບແບບການຜະລິດອື່ນໆລວມມີແບບຈໍາລອງການໄຫຼເຂົ້າ, ຕົວແປງລະຫັດອັດຕະໂນມັດແບບປ່ຽນແປງ, ແລະເຄືອຂ່າຍຄູ່ຮ່ວມສ້າງ (GANs).
ແຕ່ລະຄົນສາມາດສ້າງຮູບພາບທີ່ມີຄຸນນະພາບດີເລີດ. ຮູບແບບການແຜ່ກະຈາຍຮຽນຮູ້ທີ່ຈະຟື້ນຕົວຂໍ້ມູນໂດຍການຫັນກັບຂະບວນການເພີ່ມສິ່ງລົບກວນນີ້ຫຼັງຈາກທໍາລາຍຂໍ້ມູນການຝຶກອົບຮົມໂດຍການເພີ່ມສິ່ງລົບກວນ. ເພື່ອເຮັດໃຫ້ມັນເປັນອີກທາງຫນຶ່ງ, ຮູບແບບການແຜ່ກະຈາຍສາມາດສ້າງຮູບພາບທີ່ສອດຄ່ອງກັນອອກຈາກສິ່ງລົບກວນ.
ແບບຈໍາລອງການແຜ່ກະຈາຍຮຽນຮູ້ໂດຍການນໍາສິ່ງລົບກວນກັບຮູບພາບ, ເຊິ່ງຕົວແບບຕໍ່ມາ masters ການໂຍກຍ້າຍຂອງ. ເພື່ອຜະລິດພາບທີ່ເປັນຈິງ, ຮູບແບບດັ່ງກ່າວໄດ້ນໍາໃຊ້ເຕັກນິກການ denoising ນີ້ກັບເມັດແບບສຸ່ມ.
ໂດຍການປັບປຸງຂະບວນການຜະລິດຮູບພາບ, ຮູບແບບເຫຼົ່ານີ້ສາມາດຖືກນໍາໃຊ້ຮ່ວມກັນກັບການຊີ້ນໍາຂໍ້ຄວາມເປັນຮູບພາບເພື່ອສ້າງຈໍານວນເກືອບບໍ່ຈໍາກັດຂອງຮູບພາບຈາກຂໍ້ຄວາມດຽວ. ແກ່ນສາມາດຖືກນໍາມາໂດຍວັດສະດຸປ້ອນຈາກການຝັງເຊັ່ນ CLIP ເພື່ອໃຫ້ຄວາມສາມາດຂອງຂໍ້ຄວາມເປັນຮູບພາບທີ່ເຂັ້ມແຂງ.
ຮູບແບບການແຜ່ກະຈາຍສາມາດປະຕິບັດວຽກງານທີ່ຫລາກຫລາຍ, ລວມທັງການສ້າງຮູບພາບ, ການແຍກຮູບພາບ, ການໃສ່ສີ, ການແຕ້ມຮູບ, ແລະການແຜ່ກະຈາຍເລັກນ້ອຍ.
ໃນປັດຈຸບັນ, ການແຜ່ກະຈາຍທີ່ຫມັ້ນຄົງແມ່ນຫຍັງ?
Stable Diffusion ແມ່ນຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກສໍາລັບການສ້າງຮູບພາບທີ່ອີງໃສ່ຂໍ້ຄວາມທີ່ສະຫນອງໃຫ້ໂດຍ ສະຖຽນລະພາບ.AI. ມັນມີຄວາມສາມາດສ້າງຮູບພາບຈາກຂໍ້ຄວາມ.
ອົງປະກອບຂອງການແຜ່ກະຈາຍທີ່ຫມັ້ນຄົງ
ການແຜ່ກະຈາຍຄົງທີ່ ແມ່ນລະບົບທີ່ປະກອບດ້ວຍຫຼາຍອົງປະກອບ ແລະແນວຄວາມຄິດ. ມັນບໍ່ແມ່ນຮູບແບບດຽວ. ເມື່ອພວກເຮົາກວດເບິ່ງທາງຫລັງຂອງ hood, ສິ່ງທໍາອິດທີ່ພວກເຮົາເຫັນແມ່ນວ່າມີອົງປະກອບຄວາມເຂົ້າໃຈຂອງຂໍ້ຄວາມທີ່ປ່ຽນຂໍ້ມູນຂໍ້ຄວາມເຂົ້າໄປໃນຕົວສະແດງຕົວເລກທີ່ເກັບກໍາແນວຄວາມຄິດຂອງຂໍ້ຄວາມ.
ພວກເຮົາສາມາດເອີ້ນຕົວເຂົ້າລະຫັດຂໍ້ຄວາມນີ້ວ່າ Transformer ຮູບແບບພາສາ (ທາງເທັກນິກ: ຕົວເຂົ້າລະຫັດຂໍ້ຄວາມຂອງຕົວແບບ CLIP). ມັນໃຊ້ເວລາການປ້ອນຂໍ້ຄວາມແລະສ້າງບັນຊີລາຍຊື່ຂອງຈໍານວນເຕັມ (ເປັນ vector) ສໍາລັບແຕ່ລະຄໍາ / token ໃນຂໍ້ຄວາມ. ຫຼັງຈາກນັ້ນ, ຂໍ້ມູນນັ້ນຈະຖືກສະໜອງໃຫ້ກັບຕົວສ້າງຮູບພາບ, ເຊິ່ງປະກອບດ້ວຍຫຼາຍອົງປະກອບ.
ມີສອງຂັ້ນຕອນໃນເຄື່ອງສ້າງຮູບພາບ:
1. ຜູ້ສ້າງຂໍ້ມູນຮູບພາບ
ອົງປະກອບທີ່ສໍາຄັນໃນການແຜ່ກະຈາຍຄົງທີ່ແມ່ນອົງປະກອບນີ້. ມັນແມ່ນບ່ອນທີ່ສ່ວນໃຫຍ່ຂອງການປັບປຸງການປະຕິບັດຫຼາຍກວ່າຮຸ່ນກ່ອນຫນ້ານີ້ແມ່ນເຮັດ.
ອົງປະກອບນີ້ຜ່ານຫຼາຍຂັ້ນຕອນເພື່ອໃຫ້ຂໍ້ມູນຮູບພາບ. ຜູ້ສ້າງຂໍ້ມູນຮູບພາບດໍາເນີນການພຽງແຕ່ພາຍໃນພື້ນທີ່ຂໍ້ມູນຮູບພາບ (ຫຼືພື້ນທີ່ latent).
ມັນໄວກວ່າຮູບແບບການແຜ່ກະຈາຍກ່ອນໜ້ານີ້ທີ່ເຮັດວຽກຢູ່ໃນພື້ນທີ່ pixel ເນື່ອງຈາກລັກສະນະນີ້. ເວົ້າທາງວິຊາການ, ອົງປະກອບນີ້ແມ່ນປະກອບດ້ວຍສູດການກໍານົດເວລາແລະ UNet ເຄືອຂ່າຍ neural.
ຂະບວນການທີ່ເກີດຂື້ນໃນອົງປະກອບນີ້ແມ່ນເອີ້ນວ່າ "ການແຜ່ກະຈາຍ". ຮູບພາບທີ່ມີຄຸນນະພາບສູງແມ່ນຜະລິດໃນທີ່ສຸດເນື່ອງຈາກຂໍ້ມູນທີ່ຖືກປຸງແຕ່ງເປັນຂັ້ນຕອນ (ໂດຍອົງປະກອບຕໍ່ໄປ, ຕົວຖອດລະຫັດຮູບພາບ).
2. ຕົວຖອດລະຫັດຮູບພາບ
ການນໍາໃຊ້ຂໍ້ມູນທີ່ມັນໄດ້ຮັບຈາກຜູ້ຜະລິດຂໍ້ມູນ, ຕົວຖອດລະຫັດຮູບພາບສ້າງຮູບພາບ. ມັນພຽງແຕ່ປະຕິບັດຫນຶ່ງຄັ້ງເພື່ອສ້າງຮູບ pixels ລວງສໍາເລັດຮູບໃນຕອນທ້າຍຂອງການດໍາເນີນງານ.
ການສອນການນຳໃຊ້ການແຜ່ກະຈາຍແບບຄົງທີ່
ການແຕ້ມຮູບການແຜ່ກະຈາຍທີ່ຄົງທີ່ແມ່ນເຕັກນິກການຕື່ມຂໍ້ມູນໃສ່ພື້ນທີ່ທີ່ຂາດຫາຍໄປຫຼືເສຍຫາຍຂອງຮູບພາບ. ຈຸດປະສົງຂອງການ inpainting ຮູບແມ່ນເພື່ອປົກປິດຄວາມຈິງທີ່ວ່າຮູບພາບໄດ້ຮັບການຟື້ນຟູ.
ເຕັກນິກນີ້ຖືກນໍາໃຊ້ເລື້ອຍໆເພື່ອກໍາຈັດສິ່ງທີ່ບໍ່ຕ້ອງການອອກຈາກຮູບພາບຫຼືຟື້ນຟູພື້ນທີ່ເສຍຫາຍຂອງຮູບຖ່າຍປະຫວັດສາດ. ການທາສີການແຜ່ກະຈາຍແບບຄົງທີ່ແມ່ນວິທີການທາສີທີ່ຂ້ອນຂ້າງບໍ່ດົນມານີ້ທີ່ໃຫ້ຜົນດີ.
ການປະຕິບັດຕາມຄໍາແນະນໍາຂ້າງລຸ່ມນີ້ຈະເຮັດໃຫ້ທ່ານເລີ່ມຕົ້ນການຂຸດຄົ້ນ inpainting ແລະດັດແກ້ຮູບພາບທີ່ມີຢູ່ແລ້ວຖ້າຫາກວ່າທ່ານຕ້ອງການທີ່ຈະພະຍາຍາມ inpainting ມີການແຜ່ກະຈາຍຄົງທີ່:
- ໄປທີ່ Huggingface ການແຜ່ກະຈາຍທີ່ໝັ້ນຄົງ
- ອັບໂຫຼດຮູບຂອງເຈົ້າເອງ
- ລຶບສ່ວນຂອງຮູບຂອງທ່ານທີ່ຕ້ອງການປ່ຽນແທນ.
- ກະລຸນາໃສ່ການເຕືອນຂອງທ່ານທີ່ນີ້ (ສິ່ງທີ່ທ່ານຕ້ອງການເພີ່ມແທນສິ່ງທີ່ທ່ານກໍາລັງເອົາອອກ)
- ເລືອກ "ແລ່ນ"
ໃນວິດີໂອເທິງສຸດ, ພວກເຮົາອັບໂຫລດຮູບທີ່ມີຫມາກນາວສາມຫນ່ວຍແລະແລກປ່ຽນໃຫ້ເຂົາເຈົ້າສໍາລັບຫມາກໂປມ. ຂ້ອຍຂໍແນະນຳໃຫ້ລອງໃຊ້ມັນດ້ວຍຮູບຂອງເຈົ້າເອງ ແລະແນະນຳໃຫ້ລອງເບິ່ງ.
ສະຫຼຸບ
ໂດຍທົ່ວໄປແລ້ວ, ການແຕ້ມຮູບການແຜ່ກະຈາຍຢ່າງສະໝໍ່າສະເໝີແມ່ນເປັນວິທີທີ່ດີເລີດໃນການຜະລິດຮູບພາບ ຫຼືວິດີໂອປອມທີ່ປະກົດວ່າເປັນຈິງທີ່ສຸດ. ເມື່ອພວກເຮົາກ້າວໄປສູ່ຄວາມກ້າວໜ້າທາງດ້ານເທັກໂນໂລຍີໃໝ່, ມັນຈະຍາກຂຶ້ນ ແລະຍາກຂຶ້ນໃນການຈຳແນກລະຫວ່າງຂອງແທ້ ແລະ ການສໍ້ໂກງ ເນື່ອງຈາກຄວາມກ້າວໜ້າຂອງເທັກໂນໂລຢີ.
Swahir
ເຄິ່ງທໍາອິດແມ່ນບໍ່ກ່ຽວຂ້ອງກັບເຄິ່ງທີ່ສອງຢ່າງສົມບູນ. ມັນຈະເປັນການດີແທ້ໆຖ້າຜູ້ຂຽນຈະອະທິບາຍວິທີການ inpaint ເຮັດວຽກຢູ່ໃນກອບຂອງຕົວແບບທີ່ລາວໄດ້ອະທິບາຍກ່ອນຫນ້ານີ້, ສາມາດໃຫ້ຄວາມເຂົ້າໃຈໄດ້. ແຕ່ບໍ່! ນັ້ນຈະຕ້ອງມີຄວາມເຂົ້າໃຈທີ່ແທ້ຈິງ, ແທນທີ່ຈະເກັບກໍາແລະປຸງແຕ່ງຂໍ້ຄວາມແບບສຸ່ມ.