במשך שנים, למידה עמוקה עולה לכותרות בטכנולוגיה. וקל להבין למה.
ענף זה של בינה מלאכותית משנה סקטורים החל משירותי בריאות ועד בנקאות לתחבורה, ומאפשר התקדמות בלתי נתפסת בעבר.
למידה עמוקה בנויה על קבוצה של אלגוריתמים מתוחכמים שלומדים לחלץ ולחזות דפוסים מסובכים מכמויות אדירות של נתונים.
נסתכל על 15 האלגוריתמים הטובים ביותר של למידה עמוקה בפוסט הזה, מרשתות עצביות קונבולוציוניות לרשתות יריבות יצירתיות ועד לרשתות זיכרון לטווח ארוך.
פוסט זה ייתן תובנות חיוניות לגבי האם אתה א מתחיל או מומחה בלמידה עמוקה.
1. רשתות שנאי
רשתות שנאים השתנו ראיית מחשב ויישומי עיבוד שפה טבעית (NLP). הם מנתחים נתונים נכנסים ומשתמשים בתהליכי קשב כדי ללכוד מערכות יחסים ארוכות טווח. זה הופך אותם למהירים יותר ממודלים רגילים של רצף לרצף.
רשתות שנאים תוארו לראשונה בפרסום "Attention Is All You Need" מאת Vaswani et al.
הם מורכבים מקודד ומפענח (2017). דגם השנאי הוכיח ביצועים במגוון יישומי NLP, כולל ניתוח הסנטימנט, סיווג טקסט ותרגום מכונה.
ניתן להשתמש במודלים מבוססי שנאי גם בראייה ממוחשבת עבור יישומים. הם יכולים לבצע זיהוי אובייקטים וכיתוב תמונה.
2. רשתות זיכרון לטווח קצר ארוך (LSTMs)
רשתות זיכרון לטווח קצר (LSTM) הן סוג של רשת עצבית בנוי במיוחד לטיפול בקלט רציף. הם מכונים "לטווח קצר" מכיוון שהם יכולים להיזכר בידע מלפני זמן רב תוך כדי שוכח מידע מיותר.
LSTMs פועלים דרך כמה "שערים" השולטים בזרימת המידע בתוך הרשת. תלוי אם המידע נחשב משמעותי או לא, שערים אלה יכולים להכניס אותו או למנוע אותו.
טכניקה זו מאפשרת ל-LSTMs לזכור או לשכוח מידע משלבי זמן קודמים, דבר שהוא קריטי למשימות כמו זיהוי דיבור, עיבוד שפה טבעית וחיזוי סדרות זמן.
LSTMs מועילים ביותר בכל מקרה שבו יש לך נתונים עוקבים שיש להעריך או לחזות. הם משמשים לעתים קרובות בתוכנת זיהוי קול כדי להמיר מילים מדוברות לטקסט, או ב שוק המניות ניתוח כדי לחזות מחירים עתידיים על סמך נתונים קודמים.
3. מפות ארגון עצמי (SOMs)
SOMs הם סוג של מלאכותי רשת עצבית שיכולה ללמוד ומייצגים נתונים מסובכים בסביבה בעלת מימד נמוך. השיטה פועלת על ידי הפיכת נתוני קלט בעלי מימד גבוה לרשת דו מימדית, כאשר כל יחידה או נוירון מייצגים חלק אחר של מרחב הקלט.
הנוירונים מקושרים יחד ויוצרים מבנה טופולוגי, המאפשר להם ללמוד ולהסתגל לנתוני הקלט. אז, SOM מבוסס על למידה ללא פיקוח.
האלגוריתם לא צריך נתונים מסומנים ללמוד ממנו. במקום זאת, הוא משתמש בתכונות הסטטיסטיות של נתוני הקלט כדי לגלות דפוסים ומתאמים בין המשתנים.
במהלך שלב האימון, נוירונים מתחרים כדי להיות האינדיקציה הטובה ביותר לנתוני הקלט. וכן, הם מתארגנים בעצמם למבנה משמעותי. ל-SOM יש מגוון רחב של יישומים, כולל זיהוי תמונות ודיבור, כריית נתונים וזיהוי תבניות.
הם שימושיים עבור הדמיית נתונים מסובכים, קיבוץ נקודות נתונים קשורות ואיתור חריגות או חריגים.
4. למידת חיזוק עמוק
עָמוֹק לימוד עם חיזוקים הוא מעין למידת מכונה שבה סוכן מאומן לקבל החלטות על סמך מערכת תגמול. היא פועלת בכך שהיא מאפשרת לסוכן לקיים אינטראקציה עם סביבתו וללמוד באמצעות ניסוי וטעייה.
הסוכן מתוגמל על כל פעולה שהוא עושה, ומטרתו היא ללמוד כיצד לייעל את היתרונות שלו לאורך זמן. זה עשוי לשמש כדי ללמד סוכנים לשחק משחקים, לנהוג במכוניות ואפילו לנהל רובוטים.
Q-Learning היא שיטת Deep Reinforcement Learning ידועה. היא פועלת על ידי הערכת הערך של ביצוע פעולה מסוימת במצב מסוים ועדכון הערכה זו כאשר הסוכן מקיים אינטראקציה עם הסביבה.
לאחר מכן, הסוכן מנצל את ההערכות הללו כדי לקבוע איזו פעולה צפויה להוביל לתגמול הגדול ביותר. נעשה שימוש ב-Q-Learning כדי לחנך סוכנים לשחק במשחקי Atari, כמו גם לשיפור השימוש באנרגיה במרכזי נתונים.
Deep Q-Networks היא שיטת למידה עמוקה מפורסמת נוספת (DQN). DQNs דומים ל-Q-Learning בכך שהם מעריכים ערכי פעולה באמצעות רשת עצבית עמוקה ולא בטבלה.
זה מאפשר להם להתמודד עם הגדרות ענקיות ומסובכות עם פעולות אלטרנטיביות רבות. DQNs שימשו להכשרת סוכנים לשחק במשחקים כמו Go ו-Dota 2, כמו גם ליצירת רובוטים שיכולים ללמוד ללכת.
5. רשתות עצביות חוזרות (RNN)
RNNs הם מעין רשת עצבית שיכולה לעבד נתונים רציפים תוך שמירה על מצב פנימי. ראה זאת בדומה לאדם שקורא ספר, כאשר כל מילה מתעכלת ביחס לאלו שבאו לפניה.
לכן RNNs אידיאליים למשימות כמו זיהוי דיבור, תרגום שפה ואפילו חיזוי המילה הבאה בביטוי.
RNNs פועלים באמצעות לולאות משוב כדי לחבר את הפלט של כל צעד זמן אחורה לקלט של שלב הזמן הבא. זה מאפשר לרשת להשתמש במידע של צעדי זמן קודמים כדי ליידע את התחזיות שלה לגבי צעדי זמן עתידיים. לרוע המזל, זה גם אומר ש-RNNs פגיעים לנושא ההדרגתיות הנעלם, שבו ההדרגות המשמשות לאימון הופכות לקטנות מאוד והרשת מתקשה ללמוד מערכות יחסים ארוכות טווח.
למרות אילוץ ברור זה, RNNs מצאו שימוש במגוון רחב של יישומים. יישומים אלה כוללים עיבוד שפה טבעית, זיהוי דיבור ואפילו הפקת מוזיקה.
גוגל תרגום, למשל, משתמשת במערכת מבוססת RNN כדי לתרגם בין שפות, בעוד ש-Siri, העוזרת הוירטואלית, משתמשת במערכת מבוססת RNN כדי לזהות קול. RNNs שימשו גם כדי לחזות את מחירי המניות וליצור טקסט וגרפיקה מציאותיים.
6. Capsule Networks
Capsule Networks הוא סוג חדש של עיצוב רשת עצבית שיכול לזהות דפוסים ומתאמים בנתונים בצורה יעילה יותר. הם מארגנים נוירונים ל"קפסולות" המקודדות היבטים מסוימים של קלט.
כך הם יכולים לבצע תחזיות מדויקות יותר. רשתות קפסולות מחלצות מאפיינים מסובכים בהדרגה מנתוני קלט על ידי שימוש בשכבות רבות של קפסולות.
הטכניקה של Capsule Networks מאפשרת להם ללמוד ייצוגים היררכיים של הקלט הנתון. הם יכולים לקודד כראוי קשרים מרחביים בין פריטים בתוך תמונה על ידי תקשורת בין קפסולות.
זיהוי אובייקט, פילוח תמונות ועיבוד שפה טבעית הם כולם יישומים של Capsule Networks.
לרשתות קפסולה יש פוטנציאל להיות מועסקים בהן נהיגה אוטונומית טכנולוגיות. הם מסייעים למערכת בזיהוי והבחנה בין פריטים כגון מכוניות, אנשים ותמרורים. מערכות אלו יכולות למנוע התנגשויות על ידי ביצוע תחזיות מדויקות יותר לגבי התנהגותם של עצמים בסביבתם.
7. מקודדים אוטומטיים וריאציוניים (VAE)
VAEs הם סוג של כלי למידה עמוקה המשמש ללמידה ללא פיקוח. על ידי קידוד נתונים למרחב בעל מימד נמוך ואז פענוחם בחזרה לפורמט המקורי, הם עשויים ללמוד לזהות דפוסים בנתונים.
הם כמו קוסם שיכול להפוך ארנב לכובע ואז לחזור לארנב! VAEs מועילים ליצירת ויזואליות או מוזיקה מציאותית. בנוסף, ניתן להשתמש בהם כדי לייצר נתונים חדשים הניתנים להשוואה לנתונים המקוריים.
VAEs דומים לשובר קוד סודי. הם יכולים לגלות את הבסיס מבנה נתונים על ידי פירוקו לחלקים פשוטים יותר, בדומה לאופן שבו חידה מתפרקת. הם עשויים לנצל את המידע הזה כדי לבנות נתונים חדשים שנראים כמו המקור לאחר שהם מיינו את החלקים.
זה יכול להיות שימושי עבור דחיסת קבצים עצומים או הפקת גרפיקה או מוזיקה טריים בסגנון מסוים. VAEs יכולים גם לייצר תוכן טרי, כגון כתבות חדשותיות או מילים מוזיקליות.
8. רשתות יריבות יצירתיות (GANs)
GANs (Generative Adversarial Networks) הם סוג של מערכת למידה עמוקה המייצרת נתונים חדשים הדומים למקור. הם פועלים על ידי הכשרת שתי רשתות: מחולל ורשת מפלה.
המחולל מייצר נתונים חדשים הניתנים להשוואה למקור.
וכן, המאבחן מנסה להבחין בין הנתונים המקוריים לנתונים שנוצרו. שתי הרשתות מאומנות במקביל, כאשר המחולל מנסה לרמות את המפלה והמפלה מנסה לזהות נכון את הנתונים המקוריים.
ראה GANs להיות הכלאה בין זייפן לבלש. המחולל מתפקד בדומה לזייפן, ומייצר יצירות אמנות חדשות המזכירות את המקור.
המאבחן פועל כבלש, המנסה להבחין בין יצירות אמנות אמיתיות לזיוף. שתי הרשתות עוברות הכשרה במקביל, כאשר המחולל משתפר בביצוע זיופים סבירים והמאבחן משתפר בזיהוים.
ל-GAN יש מספר שימושים, החל מהפקת תמונות ריאליסטיות של בני אדם או בעלי חיים ועד ליצירת מוזיקה או כתיבה חדשה. הם עשויים לשמש גם להגדלת נתונים, הכוללת שילוב של נתונים שהופקו עם נתונים אמיתיים כדי לבנות מערך נתונים גדול יותר לאימון מודלים של למידת מכונה.
9. רשתות Q עמוקות (DQNs)
Deep Q-Networks (DQNs) הן מעין אלגוריתם למידה לחיזוק קבלת החלטות. הם פועלים על ידי לימוד פונקציית Q המנבאת את התגמול הצפוי עבור ביצוע פעולה מסוימת במצב מסוים.
פונקציית Q נלמדת על ידי ניסוי וטעייה, כאשר האלגוריתם מנסה פעולות שונות ולומד מהתוצאות.
ראה את זה כמו א משחק וידאו דמות מתנסה בפעולות שונות ומגלה אילו מובילות להצלחה! DQNs מאמנים את פונקציית Q באמצעות רשת עצבית עמוקה, מה שהופך אותם לכלים יעילים למשימות קבלת החלטות קשות.
הם אפילו ניצחו אלופים אנושיים במשחקים כמו Go ושחמט, כמו גם ברובוטיקה ובמכוניות נהיגה עצמית. אז, בסך הכל, DQNs פועלים על ידי למידה מניסיון כדי לשפר את כישורי קבלת ההחלטות שלהם לאורך זמן.
10. רשתות תפקוד בסיס רדיאלי (RBFN)
רשתות תפקוד בסיס רדיאלי (RBFNs) הן מעין רשת עצבית המשמשת לקירוב פונקציות ולביצוע משימות סיווג. הם פועלים על ידי הפיכת נתוני הקלט למרחב בעל ממדים גבוהים יותר באמצעות אוסף של פונקציות בסיס רדיאלי.
הפלט של הרשת הוא שילוב ליניארי של פונקציות הבסיס, וכל פונקציית בסיס רדיאלית מייצגת נקודת מרכז במרחב הקלט.
RBFNs יעילים במיוחד למצבים עם אינטראקציות קלט-פלט מסובכות, וניתן ללמד אותם באמצעות מגוון רחב של טכניקות, כולל למידה מפוקחת ובלתי מפוקחת. הם שימשו לכל דבר, החל תחזיות פיננסיות לזיהוי תמונות ודיבור ועד לאבחון רפואי.
ראה RBFNs כמערכת GPS המשתמשת בסדרה של נקודות עיגון כדי למצוא את דרכה על פני שטח מאתגר. הפלט של הרשת הוא שילוב של נקודות העיגון, המייצגות את פונקציות הבסיס הרדיאלי.
אנו יכולים לדפדף במידע מסובך וליצור תחזיות מדויקות לגבי איך תרחיש יתפתח על ידי שימוש ב-RBFNs.
11. Perceptrons Multi-Layer (MLPs)
צורה טיפוסית של רשת עצבית הנקראת פרצפטרון רב שכבתי (MLP) משמשת למשימות למידה מפוקחות כמו סיווג ורגרסיה. הם פועלים על ידי ערימת מספר שכבות של צמתים מקושרים, או נוירונים, כאשר כל שכבה משנה באופן לא ליניארי את הנתונים הנכנסים.
ב-MLP, כל נוירון מקבל קלט מהנוירונים בשכבה שמתחת ושולח אות לנוירונים בשכבה שמעל. הפלט של כל נוירון נקבע באמצעות פונקציית הפעלה, המעניקה לרשת אי-לינאריות.
הם מסוגלים ללמוד ייצוגים מתוחכמים של נתוני הקלט מכיוון שהם יכולים להיות בעלי מספר רבדים נסתרים.
MLPs יושמו על מגוון משימות, כגון ניתוח סנטימנטים, זיהוי הונאה וזיהוי קול ותמונה. ניתן להשוות את ה-MLP לקבוצת חוקרים שפועלת יחד לפיצוח מקרה קשה.
יחד, הם יכולים לחבר את העובדות ולפתור את הפשע למרות העובדה שלכל אחד יש תחום התמחות מסוים.
12. רשתות עצביות קונבולוציונליות (CNN)
תמונות וסרטונים מעובדים באמצעות רשתות עצביות קונבולוציוניות (CNNs), סוג של רשת עצבית. הם פועלים על ידי שימוש בקבוצה של מסננים ניתנים ללמידה, או גרעינים, כדי לחלץ מאפיינים משמעותיים מנתוני הקלט.
המסננים גולשים על תמונת הקלט, ומבצעים פיתולים לבניית מפת תכונה הלוכדת היבטים חיוניים של התמונה.
מכיוון ש-CNN מסוגלים ללמוד ייצוגים היררכיים של מאפייני התמונה, הם מועילים במיוחד למצבים הכוללים נפחים אדירים של נתונים חזותיים. מספר יישומים עשו בהם שימוש, כגון זיהוי אובייקטים, סיווג תמונות וזיהוי פנים.
ראה CNN כצייר שמשתמש במספר מברשות כדי ליצור יצירת מופת. כל מברשת היא גרעין, והאמן עשוי לבנות תמונה מורכבת ומציאותית על ידי ערבוב גרעינים רבים. אנו יכולים לחלץ מאפיינים משמעותיים מתמונות ולנצל אותם כדי לחזות במדויק את תוכן התמונה על ידי שימוש ב-CNN.
13. רשתות אמונה עמוקות (DBNs)
DBNs הם סוג של רשת עצבית המשמשת למשימות למידה ללא פיקוח כגון הפחתת מימד ולמידת תכונות. הם פועלים על ידי ערימת מספר שכבות של מכונות בולצמן מוגבלות (RBMs), שהן רשתות עצביות דו-שכבתיות המסוגלות ללמוד לבנות מחדש נתוני קלט.
DBNs מועילים מאוד לבעיות נתונים בממדים גבוהים מכיוון שהם יכולים ללמוד ייצוג קומפקטי ויעיל של הקלט. הם נוצלו לכל דבר, החל מזיהוי קולי ועד סיווג תמונות ועד גילוי סמים.
לדוגמה, חוקרים השתמשו ב-DBN כדי להעריך את זיקת הקישור של מועמדים לתרופות לקולטן לאסטרוגן. ה-DBN הוכשר על אוסף של מאפיינים כימיים וזיקות קשירה, והוא היה מסוגל לחזות במדויק את זיקת הקישור של מועמדים לתרופות חדשות.
זה מדגיש את השימוש ב-DBNs בפיתוח תרופות ויישומי נתונים במימד גבוה אחרים.
14. מקודדים אוטומטיים
מקודדים אוטומטיים הם רשתות עצביות המשמשות למשימות למידה ללא פיקוח. הם נועדו לשחזר את נתוני הקלט, מה שמרמז שהם ילמדו לקודד את המידע לייצוג קומפקטי ואז לפענח אותו בחזרה לקלט המקורי.
מקודדים אוטומטיים יעילים מאוד לדחיסת נתונים, הסרת רעשים וזיהוי חריגות. ניתן להשתמש בהם גם ללמידת תכונות, כאשר הייצוג הקומפקטי של המקודד האוטומטי מוזן למשימת למידה מפוקחת.
שקול שמקודדים אוטומטיים הם תלמידים הרושמים הערות בכיתה. התלמיד מקשיב להרצאה ורושם את הנקודות הרלוונטיות ביותר בצורה תמציתית ויעילה.
מאוחר יותר, התלמיד עשוי ללמוד ולזכור את השיעור באמצעות ההערות שלו. מקודד אוטומטי, לעומת זאת, מקודד את נתוני הקלט לייצוג קומפקטי שעשוי לשמש לאחר מכן למטרות שונות כגון זיהוי חריגות או דחיסת נתונים.
15. מכונות בולצמן מוגבלות (RBMs)
RBMs (Restricted Boltzmann Machines) הם מעין רשת עצבית מחוללת המשמשת למשימות למידה ללא פיקוח. הם מורכבים משכבה גלויה ושכבה נסתרת, עם נוירונים בכל שכבה, מקושרים אך לא בתוך אותה שכבה.
RBMs מאומנים באמצעות טכניקה המכונה סטייה ניגודית, הכרוכה בשינוי המשקולות בין השכבות הגלויות והנסתרות על מנת לייעל את ההסתברות של נתוני האימון. RBMs עשויים ליצור נתונים חדשים לאחר הכשרה על ידי דגימה מההפצה הנלמדת.
זיהוי תמונה ודיבור, סינון שיתופי וזיהוי חריגות הם כולם יישומים שהשתמשו ב-RBM. הם נוצלו גם במערכות המלצות ליצירת המלצות מותאמות על ידי לימוד דפוסים מהתנהגות המשתמש.
RBMs שימשו גם בלימוד תכונות כדי ליצור ייצוג קומפקטי ויעיל של נתונים במימד גבוה.
סיכום והתפתחויות מבטיחות באופק
שיטות למידה עמוקה, כגון Convolutional Neural Networks (CNNs) ו-Recurrent Neural Networks (RNNs), הן בין הגישות המתקדמות ביותר של בינה מלאכותית. CNNs שינו את זיהוי התמונה והשמע, בעוד ש-RNN התקדמו באופן משמעותי בעיבוד שפה טבעית וניתוח נתונים רציף.
השלב הבא באבולוציה של גישות אלו עשוי להתמקד בשיפור היעילות והמדרוג שלהן, לאפשר להם לנתח מערכי נתונים גדולים ומסובכים יותר, כמו גם לשפר את הפרשנות שלהם ואת היכולת ללמוד מנתונים פחות מתויגים.
ללמידה עמוקה יש אפשרות לאפשר פריצות דרך בתחומים כמו בריאות, פיננסים ומערכות אוטונומיות ככל שהיא מתקדמת.
השאירו תגובה