הרצאה 11 - CNN

(Classical) Gradient Descent

צעד העדכון ב gradient descent נתון על ידי:

1. ב ERM:

   $$\underset{\boldsymbol{\theta}}{\arg\min} \underbrace{\frac{1}{N}\sum_{i=1}^N l(h(\boldsymbol{x^{(i)}};\boldsymbol{\theta}),y^{(i)})}_{g(\boldsymbol{\theta};\mathcal{D})}$$

2. MLE:

   $$\underset{\boldsymbol{\theta}}{\arg\min} \underbrace{-\sum_{i=1}^N \log(p_{\text{y}|\mathbf{x}}(y^{(i)}|\boldsymbol{x}^{(i)};\boldsymbol{\theta})}_{g(\boldsymbol{\theta};\mathcal{D})}$$

(Classical) Gradient Descent

ב ERM:

ב MLE:

• הגרדיאנט מכיל סכום על כל המדגם אשר יכול להיות בעייתי כאשר המדגם גדול.
• נרצה להשתמש בחישוב אשר משתמש בכל צעד רק בחלק מן המדגם.

Stochastic Gradient Descent

• מחשב בכל פעם את הנגזרת על פי דגימה בודדת מתוך המדגם, כאשר בכל צעד נשתמש בדגימה אחרת.

• שתי אופציות לבחירה של הדגימה בכל צעד הינן:

  1. להגריל דגימה אקראית אחרת בכל צעד.
  2. לעבור על הדגימות במדגם בצורה סידרתית.
• כל אחת מהדגימות תצביע לכיוון שונה מהנגזרת של הסכום אבל בממוצע הכיוון הכללי יהיה זהה לכיוון של הסכום.
• החישוב הוא מאד מהיר אבל הגרדיאנט מאד "רועש".

Stochastic Gradient Descent

יתרונות:

1. מחיר איטרציה לא תלוי במדגם
2. חיסכון בזיכרון

From https://www.stat.cmu.edu/~ryantibs/convexopt/lectures/stochastic-gd.pdf

Mini-Batch Gradient Descent

• פתרון ביניים.
• בשיטה זו נשתמש בקבוצת דגימות מתוך המדגם המכונה mini-batch. בכל צעד אנו נחליף את ה mini-batch.
• השיטה הנפוצה ביותר לאימון של רשתות נוירונים.
• גדלים אופיינים של ה mini-batch הינם 32-256 דגימות.

שמות

• Epoch: מעבר שלם על המדגם.
• מתייחסים ל mini-batch בשם batch.
• בחבילות רבות האלגוריתם gradient descent מופיע תחת השם stochastic gradient descent.

עצירה מוקדמת של gradient descent

• דרך מוצלחת נוספת למנוע התאמת-יתר הינה לעצור את אלגוריתם הגרדיאנט לפני שהוא מתכנס.
• זה נעשה על ידי חישוב ה objective על ה validataion set ובחירת הפרמטרים שממזערים את ה objective.

Convolutional Neural Networks (CNN)

• ב MLP ניתן להגדיל את יכולת הייצוג על ידי הגדלת הרשת (מספר השכבות והרוחב שלהם).
• כפי שקורה בכל מודל פרמטרי, הגדלה של יכולת הייצוג תגדיל גם את ה overfitting.
• רשת בעלת ארכיטקטורה טובה היא דווקא רשת בעלת יכולת ייצוג נמוכה אשר עדיין מסוגלת לקרב בצורה טובה את הפונקציה שאותה היא מנסה למדל.

• במקרים מסויימים ארכיטקטורה בשם convolutional nerual network (CNN) עונה בדיוק על דרישות אלו. המוטיבציה המקורית שלה הגיע מהתחום של עיבוד תמונה.

Convolutional Neural Networks (CNN)

עד עכשיו הנחנו שהמאפיינים נתונים לנו. מה קורה כאשר הקלט הוא אות טבעי - תמונה, אודיו וכו'?

Convolutional Neural Networks (CNN)

מוטיבציה להכנסת מבנה לרשתות עצביות העוסקות בתמונות

• בתמונות טבעיות יש קורלציה גבוהה בין פיקסלים קרובים שדועכת עם המרחק
• לתמונות יש מבנה היררכי של מאפיינים מקומיים (קצוות, צורות, אוביקטים)
• זיהוי אוביקטים אינווריאנטי למיקום
• אוביקטים מובחנים בתמונה ע"י קווים בכיוונים שונים
• שינויי הארה קטנים ורעש לא אמורים להשפיע על זיהוי

שאלה: האם ניתן להטמיע אלמנטים אלה ברשת עצבית?

שכבת קונבולוציה

נדגים זאת עבור קלט חד-ממדי

1. כל נוירון בשכבה זו מוזן רק מכמות מוגבלת של ערכים הנמצאים בסביבתו הקרובה.
2. כל הנוירונים בשכבה מסויימת זהים (weight sharing).

שכבת קונבולוציה

ניתן להסתכל על הפעולה של שכבת הקונבולוציה באופן הבא:

שכבת קונבולוציה

מתמטית השיכבה מבצעת את שלוש הפעולות הבאות:

1. פעולת קרוס-קורלציה (ולא קונבולוציה) בין וקטור הכניסה $\boldsymbol{x}$ ווקטור משקולות $\boldsymbol{w}$ באורך $K$.
2. הוספת הסט $b$ (אופציונלי).
3. הפעלה של פונקציית הפעלה על וקטור המוצא איבר איבר.

שכבת קונבולוציה

פעולת הקרוס-קורלציה מוגדרת באופן הבא:

וקטור המשקולות של שכבת הקונבולציה $\boldsymbol{w}$ נקרא גרעין הקונבולוציה (convolution kernel).

שכבת קונבולוציה

• גודל המוצא של שכבת הקונבולוציה הוא קטן יותר מהכניסה והוא נתון על ידי $D_{\text{out}}=D_{\text{in}}-K+1$.
• בשכבת FC קיימות $D_{\text{in}}\times D_{\text{out}}$ משקולות ועוד $D_{\text{out}}$ איברי היסט.
• בשכבת קונבולציה יש $K$ משקולות ואיבר היסט בודד.

שכבת קונבולוציה

קלט רב-ערוצי

במקרים רבים נרצה ששכבת הקונבולציה תקבל קלט רב ממדי, לדוגמא, תמונה בעלת שלושה ערוצי צבע או קלט שמע ממספר ערוצי הקלטה.

פלט רב-ערוצי

נרצה לרוב להשתמש ביותר מגרעין קונבולוציה אחד, במקרים אלו נייצר מספר ערוצים ביציאה עבור כל אחד מגרעיני הקונבולוציה.

אין שיתוף של משקולות בין ערוצי הפלט השונים.

פלט רב-ערוצי

• $C_\text{in}$ - מספר ערוצי קלט.
• $C_\text{out}$ - מספר ערוצי פלט.
• $K$ - גודל הגרעין.

מספר הפרמטרים בשכבה: $\underbrace{C_\text{in}\times C_\text{out}\times K}_\text{the weights}+\underbrace{C_\text{out}}_\text{the bias}$.

Padding - ריפוד

במידה ונרצה לשמור על גודל הוקטור במוצא של שכבת הקונבולוציה, ניתן לרפד את וקטור הכניסה באפסים. לדוגמא:

מאפשר הזזה של הגרעין לאורך התמונה.

Stride - גודל צעד

לעיתים נרצה דווקא להקטין את גודל הוקטור במוצא בפקטור מסויים. דרך אחת לעשות זאת היא על ידי דילול המוצא. בפועל אין צורך לחשב את הערכים במוצא שנזרקים ולכן למעשה ניתן לחשב את הקונבולוציה בקפיצות מסויימות המכונות stride.

מצמצם עלות חישובית ע"י ביצוע downsampling.

Dilation - התרחבות

במקרים אחרים נרצה להגדיל את האיזור שממנו אוסף נוירון מסויים את הקלט שלו מבלי להגדיל את מספר הפרמטרים ואת הסיבוכיות החישובית. לשם כך ניתן לדלל את הדרך בה נדגם הקלט על מנת להרחיב את איזור הקלט. אלא אם רשום אחרת, ה dilation של שכבה (הצפיפות בה הכניסה נדגמת) הוא 1.

Max / Average Pooling

מוטיבציה: הקטנת הרזולוציה המרחבית, לצורך זיהוי אובייקטים למשל.

שכבות נוספות אשר מופיעות במקרים רבים ברשתות CNN הם שכבות מסוג pooling. שתי שכבות pooling נפוצות הן max pooling ו average pooling, שכבה זו לוקחת את הממוצע או המקסימום של ערכי הכניסה.

דוגמא זו מציגה max pooling בגודל 2 עם גודל צעד (stride) גם כן של 2:

בשכבה זאת אין פרמטרים נלמדים.

2D Convolutional Layer

kernel size=3 padding=0 stride=1 dilation=1	kernel size=4 padding=2 stride=1 dilation=1	kernel size=3 padding=1 stride=1 dilation=1 (Half padding)	kernel size=3 padding=2 stride=1 dilation=1 (Full padding)
kernel size=3 padding=0 stride=2 dilation=1	kernel size=3 padding=1 stride=2 dilation=1	kernel size=3 padding=1 stride=2 dilation=1	kernel size=3 padding=0 stride=1 dilation=2

• [1] Vincent Dumoulin, Francesco Visin - A guide to convolution arithmetic for deep learning(BibTeX)

מבנה רשת CNN

מבנה רשת CNN הראשונה שהוצגה בשנת 1989.

From https://d2l.ai/chapter_convolutional-neural-networks/lenet.html

מבנה רשת CNN

CNN

למה CNN כל כך טובים לבעיות מסויימות?

• CNNs מאד טובים בסיווג של תמונות לפי התוכן שלהם.
• הסיבה שבגללה CNNs מתאימים לפתרון של בעיה זו היא בין היתר בגלל ששתי התכונות, שמבדילות שכבת קונבולוציה משכבות FC, מתאימות לייצוג של הפתרון.
• נתייחס לכל אחת משתי התכונות בנפרד.

תלות של כל נוירון רק בסביבה המיידית שלו

כל נוירון רואה רק את הסביבה המיידית שלו ולכן על הרשת יהיה לנסות לנתח את התמונה בצורה היררכית:

Receptive Field

• הגודל של האיזור שממנו מושפע נוירון בשכבה מסויימת נקרא ה receptive field שלו.
• לדוגמא, ה receptive field של נוירון בשכבה השלישית הוא 7.
• בנוסף, יש גם את שכבות ה pooling אשר מקטינות את המימדים ובכך מגדילות את ה receptive filed.

חילוץ מאפיינים מהתמונה

נדגים את הפעולה שמבצעת השכבה הראשונה ברשת אשר מנסה לזהות האם בתמונה מסויימת מופיע פרצוף.

גרעיני הקונבולוציה של השכבות הראשונות יעברו על התמונה ויחפשו תופעות בסיסיות כמו פסים אנכיים, פסים אופקיים, פינות, נקודות קטנות וכו'.

חילוץ מאפיינים מהתמונה

כל גרעין ייצר ערוץ אשר מתאים לתופעה שאותה הוא מחפש:

• השכבות הבאות ברשת יחפשו אובייקטים אשר מורכבים מהתופעות שמצאו השכבות הראשונות.
• לדוגמא נחפש איזורים שמכילים הרבה פסים אנכיים בכדי לזהות שיער, או שני פסים אופקיים סמוכים שעשויים להכיל שפתיים. סוג זה של עיבוד מידע דומה למה שמבצעים במערכת הראייה של יונקים.

Weight sharing

התכונה הנוספת של שכבת הקונבולוציה הינה שהמשקולות של כל הנוירונים משותפים בין כל הנוירונים באותה השכבה + ערוץ.

למה זה לא מגביל את הרשת:

1. הסיווג של התמונה לא אמור להיות מושפע אם מזיזים את האובייקט בתמונה מעט לצדדים.
2. הפעולות שהשכבות הראשונות מבצעות, כגון חיפוש קווים אופקיים ואנכיים משותף לכל האיזורים בתמונה.

סיכום - יתרונות גישת ה CNN

• עובד ישירות על הקלט המקורי - תמונה
• היסטורית - הצלחה משמעותית ראשונה בשיפור ביצועים משמעותי (2012)
• מאפיינים מקומיים תופסים היטב תכונות של תמונות ובשילובם מאפשרים שילוב היררכי
• מאפיינים רלבנטיים נלמדים אוטומטית (באופן היררכי) – רזולוציה משתנה
• אינוריאנטיות להזזות וחסינות בפני שינויים בנתונים
• שיתוף פרמטרים – הקטנה משמעותית ומניעת התאמת יתר, חיסכון בחישוב וזיכרון
• התאמות והרחבות ליישומים אחרים (אודיו, ווידאו)
• שילוב מושכל ויעיל בין ידע מוקדם (מבנה הרשת) לנתונים מהעולם

• אחת הבעיות בעבודה עם רשתות עמוקות הינה מצב שבו הערכים במוצאים של השכבות הם מסדר גודל שונה.
• הדבר משפיע על הגרדיאנטים ומקשה על הבחירה של גודל הצעד.
• דרך אחת לנסות ולהבטיח כי המוצאים יהיו בערך מאותו סדר גודל הינה על ידי הוספה של שכבה בשם batch normalization.

Batch Normalization (לא למבחן)

• מנסה לנרמל את הערכים אשר עוברים דרכה (מביאה את התוחלת של הערכים ל 0 ואת הסטיית תקן ל 1).
• עושה זאת על ידי חישוב התוחלת וסטיית התקן האמפירית של הערכים על פני ה batch.

Batch Normalization (לא למבחן)

המוצא של השכבה יהיה:

Batch Normalization (לא למבחן)

לרוב השכבה תכיל גם טרנספורמציה לינארית נלמדת עם פרמטרים $\gamma$ ו $\beta$:

כאשר $\gamma$ ו $\beta$ הוא וקטורים באורך של $\boldsymbol{z}$ והמכפלה עם $\gamma$ היא איבר איבר.

אחרי שלב האימון

במהלך הלימוד מחזיקים ממוצע נע (exponantial moving average) של הערכים $\mu$ ו $\sigma$ ובסוף שלב הלימוד מקבעים את הערכים שלהם ואלו הערכים שבהם הרשת תשתמש לאחר שלב האימון.