דיפפוסיאָן מאָדעלס האָבן סוועפּט די גלאָבוס דורך שטורעם מיט די מעלדונג פון דאַל-E 2, Google ס בילד, סטאַביל דיפיוזשאַן, און מידדזשאָורניי, אָנצינדן כידעש און סטרעטשינג די גווול פון מאַשין לערנען.
די מאָדעלס קענען פּראָדוצירן אַ כּמעט אַנלימאַטאַד נומער פון בילדער פֿון וואָרט פּראַמפּס, אַרייַנגערעכנט פאָטאָרעאַליסטיק, מאַדזשיקאַל, פיוטשעריסטיק און, פון קורס, קיוט בילדער.
די קייפּאַבילאַטיז ריימאַדזשאַן וואָס עס מיטל פֿאַר יומאַנז צו פאַרבינדן מיט סיליציום, געבן אונדז די פיייקייט צו מאַכן פּראַקטאַקלי קיין בילד וואָס מיר קענען ענוויזשאַן.
ווען די מאָדעלס אַנטוויקלען אָדער די ווייַטער דזשענעראַטיוו פּאַראַדיגם נעמט איבער, מענטשן קענען פּראָדוצירן בילדער, פילמס און אנדערע יממערסיווע יקספּיריאַנסיז מיט בלויז אַ געדאַנק.
אין דעם אַרטיקל, מיר וועלן רעדן וועגן דעם דיפיוזשאַן מאָדעל, סטאַביל דיפיוזשאַן, ווי עס אַרבעט, און אַ דיפיוזשאַן מאָדעל ינפּיינטינג טוטאָריאַל, צווישן אנדערע זאכן.
וואָס איז די דיפפוסיאָן מאָדעל?
מאַשין לערנען מאָדעלס וואָס קענען שאַפֿן נייַע דאַטן פֿון טריינינג דאַטן זענען גענעראַטיווע מאָדעלס. אנדערע גענעראַטיווע מאָדעלס אַרייַננעמען לויפן-באזירט מאָדעלס, ווערייישאַן אַוטאָענקאָדערס און גענעראַטיווע אַדווערסאַריאַל נעטוואָרקס (GANs).
יעדער קענען דזשענערייט בילדער פון ויסגעצייכנט קוואַליטעט. דיפפוסיאָן מאָדעלס לערנען צו צוריקקריגן די דאַטן דורך ריווערסינג דעם ראַש-אַדינג פּראָצעס נאָך דאַמידזשינג די טריינינג דאַטן דורך אַדינג ראַש. צו לייגן עס אן אנדער וועג, דיפיוזשאַן מאָדעלס זענען ביכולת צו שאַפֿן קאָוכיראַנט בילדער פֿון די ראַש.
דיפפוסיאָן מאָדעלס לערנען דורך ינטראָודוסינג ראַש צו בילדער, וואָס די מאָדעל שפּעטער מאַסטערד די באַזייַטיקונג פון. אין סדר צו פּראָדוצירן רעאַליסטיש וויזשוואַלז, דער מאָדעל אַפּלייז דעם דענאָייזינג טעכניק צו טראַפ - זאמען.
דורך קאַנדישאַנינג די בילד פּראָדוקציע פּראָצעס, די מאָדעלס קענען זיין געוויינט אין קאַנדזשאַנגקשאַן מיט טעקסט-צו-בילד גיידאַנס צו דזשענערייט אַ כּמעט לימאַטלאַס נומער פון בילדער פֿון טעקסט אַליין. די זאמען קענען זיין דירעקטעד דורך ינפּוץ פון עמבעדינגס ווי CLIP צו געבן שטאַרק טעקסט-צו-בילד קייפּאַבילאַטיז.
דיפפוסיאָן מאָדעלס קענען דורכפירן אַ פאַרשיידנקייַט פון טאַסקס, אַרייַנגערעכנט בילד שאַפונג, בילד דענאָיסינג, ינפּיינטינג, אַוטפּיינטינג און ביסל דיפיוזשאַן.
איצט, וואָס איז סטאַביל דיפיוזשאַן?
סטאַביל דיפפוסיאָן איז אַ מאַשין לערנען מאָדעל פֿאַר טעקסט-באזירט בילד שאַפונג צוגעשטעלט דורך סטאַביליטי.אַי. עס איז ביכולת צו דזשענערייט בילדער פֿון טעקסט.
קאַמפּאָונאַנץ פון סטאַביל דיפיוזשאַן
סטאַביל דיפיוזשאַן איז אַ סיסטעם וואָס באשטייט פון עטלעכע קאַמפּאָונאַנץ און קאַנסעפּס. עס איז נישט אַ איין מאָדעל. ווען מיר קאָנטראָלירן הינטער די קאַפּטער, דער ערשטער זאַך מיר זען איז אַז עס איז אַ טעקסט-פארשטאנד קאָמפּאָנענט וואָס קאַנווערץ טעקסט אינפֿאָרמאַציע אין אַ נומעריק פאַרטרעטונג וואָס קאַפּטשערז די קאַנסעפּס פון טעקסט.
מיר קענען רופן דעם טעקסט ענקאָדער אַ טראַנספאָרמער שפּראַך מאָדעל (טעקניקלי: די טעקסט ענקאָדער פון אַ CLIP מאָדעל). עס נעמט די אַרייַנשרייַב טעקסט און דזשענערייץ אַ רשימה פון ינטאַדזשערז (אַ וועקטאָר) פֿאַר יעדער וואָרט / סימען אין דעם טעקסט. די דאַטן זענען דערנאָך סאַפּלייד צו די בילד גענעראַטאָר, וואָס איז קאַמפּרייזד פון עטלעכע קאַמפּאָונאַנץ.
עס זענען צוויי סטעפּס אין די בילד גענעראַטאָר:
1. בילד אינפֿאָרמאַציע באשעפער
דער הויפּט קאָמפּאָנענט אין סטאַביל דיפפוסיאָן איז דעם עלעמענט. דאָס איז ווו די מערהייט פון די פֿאַרבעסערונג אין פאָרשטעלונג איבער פריער ווערסיעס איז געמאכט.
דער קאָמפּאָנענט פּאַסיז דורך עטלעכע סטאַגעס צו צושטעלן בילד דאַטן. דער באשעפער פון בילד אינפֿאָרמאַציע אַפּערייץ בלויז אין די בילד אינפֿאָרמאַציע פּלאַץ (אָדער לייטאַנט פּלאַץ).
עס איז קוויקער ווי פריער דיפיוזשאַן מאָדעלס וואָס אַפּערייטאַד אין פּיקסעל פּלאַץ ווייַל פון דעם כאַראַקטעריסטיש. טעקניקלי גערעדט, דער קאָמפּאָנענט איז קאַמפּאָוזד פון אַ סקעדזשולינג אַלגערידאַם און אַ UNet. נעוראַל נעץ.
דער פּראָצעס וואָס נעמט אָרט אין דעם קאָמפּאָנענט איז ריפערד צו ווי "דיפיוזשאַן". א הויך-קוואַליטעט בילד איז לעסאָף געשאפן ווי אַ רעזולטאַט פון די אינפֿאָרמאַציע פּראַסעסט אין סטעפּס (דורך דער ווייַטער קאָמפּאָנענט, די בילד דעקאָדער).
2. בילד דעקאָדער
ניצן די דאַטן עס באקומען פון די אינפֿאָרמאַציע פּראָדוצירער, די בילד דעקאָדער קריייץ אַ בילד. עס נאָר עקסאַקיוץ אַמאָל צו שאַפֿן די פאַרטיק פּיקסעל בילד אין די מסקנא פון די אָפּעראַציע.
סטאַביל דיפיוזשאַן ימפּאַינטינג טוטאָריאַל
סטאַביל דיפיוזשאַן בילד ינפּיינטינג איז די טעכניק פון פילונג אין פעלנדיק אָדער דאַמידזשד געביטן פון אַ בילד. דער ציל פון בילד ינפּיינטינג איז צו באַהאַלטן די פאַקט אַז די בילד איז געזונט.
די טעכניק איז אָפט געניצט צו עלימינירן ונדעסירעד טינגז פון אַ בילד אָדער צו ומקערן דאַמידזשד געביטן פון היסטארישע פאָוטאַגראַפס. סטאַביל דיפיוזשאַן ינפּיינטינג איז אַ לעפיערעך פריש וועג פון ינפּיינטינג וואָס גיט פּראַמאַסינג יפעקץ.
לויט די אינסטרוקציעס אונטן, איר וועט אָנהייבן צו ויספאָרשן ינפּיינטינג און מאָדיפיצירן יגזיסטינג פאָטאָס אויב איר ווילן צו פּרובירן ינפּיינטינג מיט סטאַביל דיפיוזשאַן:
- גיין צו Huggingface סטאַביל דיפיוזשאַן ימפּאַינטינג
- צופֿעליקער דיין אייגענע בילד
- מעקן די חלק פון דיין בילד וואָס דאַרף זיין ריפּלייסט.
- אַרייַן דיין פּינטלעך דאָ (וואָס איר ווילן צו לייגן אין פּלאַץ פון וואָס איר רימוווינג)
- אויסקלייַבן "לויפן"
אין די ווידעא אויבן, מיר צופֿעליקער אַ בילד מיט דריי לעמאַנז און ויסבייַטן זיי פֿאַר apples. איך פּערסנאַלי רעקאָמענדירן צו פּרובירן עס מיט דיין אייגענע פאָוטאַגראַפס און פּראַמפּס.
סאָף
אין אַלגעמיין, פעסט דיפיוזשאַן פּיינטינג איז אַ ויסגעצייכנט אופֿן פֿאַר פּראַדוסינג שווינדל בילדער אָדער ווידיאס וואָס ויסקומען צו זיין גאָר פאַקטיש. ווען מיר מאַך צו נייַע טעק אנטוויקלונג, עס וועט ווערן האַרדער און האַרדער צו ויסטיילן צווישן עכט און פראָדזשאַלאַנט ווי טעכנאָלאָגיע אַדוואַנסיז.
סוואַהיר
דער ערשטער העלפט איז גאָר ניט שייך צו דער צווייטער העלפט. עס וואָלט געווען טאַקע קיל אויב דער מחבר וואָלט האָבן דערקלערט ווי ינפּיינט אַרבעט אין די פריימווערק פון די מאָדעל וואָס ער דערקלערט פריער, קען האָבן געגעבן ינסייץ. אבער ניין! דאָס וואָלט האָבן פארלאנגט אַ פאַקטיש פארשטאנד, אלא ווי קאַלעקטינג און פּראַסעסינג אַ טראַפ - טעקסט.