Model penyebaran telah melanda dunia dengan ribut dengan keluaran Dall-E 2, Imej Google, Resapan Stabil, dan Pertengahan perjalanan, mencetuskan inovasi dan meluaskan had pembelajaran mesin.
Model ini boleh menghasilkan bilangan imej yang hampir tidak terhad daripada gesaan perkataan, termasuk imej fotorealistik, ajaib, futuristik dan, sudah tentu, imej comel.
Keupayaan ini membayangkan semula apa yang dimaksudkan bagi manusia untuk berhubung dengan silikon, memberikan kita keupayaan untuk membuat secara praktikal apa-apa gambar yang boleh kita bayangkan.
Apabila model ini berkembang atau paradigma generatif seterusnya mengambil alih, manusia akan dapat menghasilkan imej, filem dan pengalaman mengasyikkan lain dengan hanya pemikiran.
Dalam jawatan ini, kita akan membincangkan model penyebaran, resapan stabil, cara ia berfungsi, dan tutorial melukis model resapan, antara lain.
Apakah model Difusi?
Model pembelajaran mesin yang boleh mencipta data baharu daripada data latihan dirujuk sebagai model generatif. Model generatif lain termasuk model berasaskan aliran, pengekod auto variasi dan rangkaian lawan generatif (GAN).
Masing-masing boleh menghasilkan gambar dengan kualiti yang sangat baik. Model resapan belajar memulihkan data dengan membalikkan proses penambahan hingar ini selepas merosakkan data latihan dengan menambah hingar. Dengan kata lain, model resapan dapat mencipta gambar yang koheren daripada bunyi bising.
Model resapan belajar dengan memperkenalkan bunyi pada gambar, yang model itu kemudiannya menguasai penyingkiran. Untuk menghasilkan visual yang realistik, model kemudiannya menggunakan teknik denoising ini kepada benih rawak.
Dengan menyelaraskan proses penghasilan gambar, model ini boleh digunakan bersama dengan panduan teks ke imej untuk menghasilkan bilangan imej yang hampir tidak terhad daripada teks sahaja. Benih boleh diarahkan oleh input daripada benam seperti CLIP untuk memberikan keupayaan teks-ke-imej yang kukuh.
Model resapan boleh melakukan pelbagai tugas, termasuk penciptaan imej, denoising imej, inpainting, outpainting dan bit diffusion.
Sekarang, apakah resapan stabil?
Stable Diffusion ialah model pembelajaran mesin untuk penciptaan gambar berasaskan teks yang disediakan oleh Kestabilan.AI. Ia mampu menghasilkan imej daripada teks.
Komponen resapan yang stabil
Resapan Stabil adalah sistem yang terdiri daripada beberapa komponen dan konsep. Ia bukan satu model. Apabila kita menyemak di belakang hud, perkara pertama yang kita lihat ialah terdapat komponen pemahaman teks yang menukar maklumat teks kepada perwakilan berangka yang menangkap konsep teks.
Kita boleh memanggil pengekod teks ini sebagai Transformer model bahasa (secara teknikal: pengekod teks model CLIP). Ia mengambil teks input dan menjana senarai integer (vektor) untuk setiap perkataan/token dalam teks. Data itu kemudiannya dibekalkan kepada Penjana Imej, yang terdiri daripada beberapa komponen.
Terdapat dua langkah dalam penjana imej:
1. Pencipta Maklumat Imej
Komponen utama dalam Resapan Stabil ialah elemen ini. Di sinilah sebahagian besar peningkatan prestasi berbanding versi terdahulu dibuat.
Komponen ini melalui beberapa peringkat untuk menyediakan data gambar. Pencipta maklumat gambar hanya beroperasi dalam ruang maklumat imej (atau ruang terpendam).
Ia lebih cepat daripada model resapan terdahulu yang beroperasi dalam ruang piksel kerana ciri ini. Dari segi teknikal, komponen ini terdiri daripada algoritma penjadualan dan UNet rangkaian neural.
Proses yang berlaku dalam komponen ini dirujuk sebagai "penyebaran". Imej berkualiti tinggi akhirnya dihasilkan hasil daripada maklumat yang diproses secara berperingkat (oleh komponen seterusnya, penyahkod imej).
2. Penyahkod Imej
Menggunakan data yang diterima daripada pengeluar maklumat, penyahkod imej mencipta gambar. Ia hanya melaksanakan sekali untuk mencipta gambar piksel siap pada akhir operasi.
Tutorial Mengganggu Resapan Stabil
Pengecatan gambar Stable Diffusion ialah teknik mengisi kawasan yang hilang atau rosak pada sesuatu imej. Tujuan melukis gambar adalah untuk menyembunyikan fakta bahawa imej telah dipulihkan.
Teknik ini kerap digunakan untuk menghapuskan perkara yang tidak diingini daripada imej atau memulihkan kawasan foto sejarah yang rosak. Pengecatan Resapan Stabil ialah cara pengecatan yang agak baru-baru ini yang menghasilkan kesan yang menjanjikan.
Mengikuti arahan di bawah akan membolehkan anda mula meneroka mengecat dan mengubah suai foto sedia ada jika anda ingin mencuba mengecat dengan resapan yang stabil:
- Pergi ke Huggingface Gangguan Resapan Stabil
- Muat naik imej anda sendiri
- Padamkan bahagian imej anda yang perlu diganti.
- Masukkan gesaan anda di sini (apa yang anda mahu tambah sebagai ganti perkara yang anda alih keluar)
- Pilih "lari"
Dalam video di atas, kami memuat naik gambar dengan tiga biji limau dan menukarnya dengan epal. Saya secara peribadi mengesyorkan mencubanya dengan gambar dan gesaan anda sendiri.
Kesimpulan
Secara umum, pengecatan resapan mantap ialah kaedah terbaik untuk menghasilkan imej atau video palsu yang kelihatan sangat nyata. Apabila kita bergerak ke arah kemajuan teknologi baharu, semakin sukar untuk membezakan antara yang tulen dan penipuan seiring dengan kemajuan teknologi.
Swahir
Separuh masa pertama langsung tidak berkaitan dengan separuh masa kedua. Alangkah baiknya jika penulis menerangkan bagaimana inpaint berfungsi dalam rangka model yang dijelaskannya sebelum ini, boleh memberi gambaran. Tetapi tidak! Itu memerlukan pemahaman sebenar, bukannya mengumpul dan memproses teks rawak.