הרצאה 12 - PCA and K-Means

PDF

מה נלמד היום

למידה לא מודרכת (Unsupervised Learning)

  • שם כולל למגוון של בעיות בהם אנו מנסים בהינתן מדגם, ללמוד את התכונות של הדגימות או של המדגם כולו.
  • המדגם יכיל אוסף של דגימות (x\boldsymbol{x}), ללא תווית (yy).

  • דוגמאות:

    • אשכול (חלוקה לקבוצות).
    • מציאת ייצוג "נוח" יותר של הדגימות.
    • דחיסה.
    • זיהוי אנומליות.
    • למידת הפילוג של הדגימות.

מערכת Encoder-Decoder


דוגמאות לשימושים במערכת encoder-decoder הינם:

  • דחיסה: נרצה ש z\boldsymbol{z} יהיה קטן ככל האפשר.
  • תקשורת: נרצה ש z\boldsymbol{z} יהיה כמה שפחות רגיש לרעשים.
  • הצפנה: נרצה שפעולת השחזור של x\boldsymbol{x} תהיה כמה שיותר קשה ללא ה decoder המתאים.

x~\tilde{\boldsymbol{x}} נקרא השחזור של x\boldsymbol{x}. בחלק מהמערכות ניתן להגיע לשיחזור מושלם, x~=x\tilde{\boldsymbol{x}}=\boldsymbol{x}, ובחלק מהמערכות לא.

Principle Component Analysis (PCA)

ב PCA ננסה לבנות מערכת encoder-decoder שבה:

  1. אנו מגבילים את האורך של הוקטור z\boldsymbol{z}.
  2. אנו דורשים שה encoder וה decoder יהיו פונקציות אפיניות (affine = linear + offset).
  3. התוחלת של שגיאת השחזור הריבועית E[∥x~−x∥22]\mathbb{E}\left[\lVert\tilde{\mathbf{x}}-\mathbf{x}\rVert_2^2\right] היא מינימאלית.

נחליף את התוחלת בתוחלת אמפירית על מדגם.

Principle Component Analysis (PCA)

DD האורך של x\boldsymbol{x} ו KK האורך של הוקטור z\boldsymbol{z} כאשר מתקיים כי K≤DK \le D.

נרצה למצוא encoder:

z=T1x+b1\boldsymbol{z}=T_1\boldsymbol{x}+\boldsymbol{b}_1

ו decoder מהצורה של:

x~=T2z+b2\tilde{\boldsymbol{x}}=T_2\boldsymbol{z}+\boldsymbol{b}_2

אשר ממזערים את התוחלת האמפירית של שגיאת השחזור הריבועית:

arg⁡min⁡T1,T2,b1,b21N∑i=1N∥x~(i)−x(i)∥22\underset{T_1,T_2,\boldsymbol{b}_1,\boldsymbol{b}_2}{\arg\min} \frac{1}{N}\sum_{i=1}^N\lVert\tilde{\boldsymbol{x}}^{(i)}-\boldsymbol{x}^{(i)}\rVert_2^2

שימושים

דוגמאות למקרים שבהם נרצה לבצע הורדת מימד (dimensionality reduction):

  1. בחירת מאפיינים לבעיות supervised learning
  2. ויזואליזציה
  3. דחיסה

הפתרון לבעיית האופטימיזציה

מסתבר שיש מספר רב של פתרונות. ניתן לבחור את הפרמטרים כך שיקיימו את האילוצים:

b1=−T1μb2=μT1=T2⊤=T⊤T⊤T=I\begin{aligned} \boldsymbol{b}_1&=-T_1\boldsymbol{\mu}\\ \boldsymbol{b}_2&=\boldsymbol{\mu}\\ T_1&=T_2^{\top}=T^{\top}\\ T^{\top}T&=I \end{aligned}

כאשר μ=1N∑i=1Nx(i)\boldsymbol{\mu}=\frac{1}{N}\sum_{i=1}^N\boldsymbol{x}^{(i)}.

הערה: שימו לב ש-T∈RD×KT\in\mathbb{R}^{D\times K} כך שמתקיים כי T⊤T∈RK×K=IKT^\top T \in \mathbb{R}^{K\times K}=I_K כאשר IKI_K היא מטריצת היחידה. בנוסף, מתקיים TT⊤∈RD×DT T^\top \in \mathbb{R}^{D\times D} והיא לא שווה בהכרח ל-IDI_D.

הפתרון לבעיית האופטימיזציה

לדוגמה, עבור המיפוי הבא

z=T1x+b1x~=T2z+b2T1∈RK×D, T2∈RD×K\boldsymbol{z}=T_{1}\boldsymbol{x}+\boldsymbol{b}_{1}\quad\tilde{\boldsymbol{x}}=T_{2}z+\boldsymbol{b}_{2}\quad T_{1}\in\mathbb{R}^{K\times D},\,T_{2}\in\mathbb{R}^{D\times K}

איברי ההטיה b1\boldsymbol{b}_1 ו-b2\boldsymbol{b}_2 יכולים להיקבע ע"י הדרישות

E[z]=0⇒b1=−T1μE[\boldsymbol{z}]=0\quad\Rightarrow\quad b_{1}=-T_{1}\boldsymbol{\mu}

ו-

E[x~]=E[x]⇒b2=E[x]=μE\left[\tilde{\boldsymbol{x}}\right]=E\left[\boldsymbol{x}\right]\quad\Rightarrow\quad b_{2}=E\left[x\right]=\boldsymbol{\mu}

הפתרון לבעיית האופטימיזציה

הטרנספורמציות במקרה זה הופכות להיות:

z=T⊤(x−μ)x~=Tz+μ\begin{aligned} \boldsymbol{z}&=T^{\top}(\boldsymbol{x}-\boldsymbol{\mu})\\ \tilde{\boldsymbol{x}}&=T\boldsymbol{z}+\boldsymbol{\mu} \end{aligned}

ובעיית האופטימיזציה הינה:

T∗=arg⁡min⁡T1N∑i=1N∥x~(i)−x(i)∥22s.t.T⊤T=IT∗=arg⁡min⁡T1N∑i=1N∥(TT⊤−I)(x(i)−μ)∥22s.t.T⊤T=I\begin{aligned} T^*=\underset{T}{\arg\min}\quad&\frac{1}{N}\sum_{i=1}^N\lVert\tilde{\boldsymbol{x}}^{(i)}-\boldsymbol{x}^{(i)}\rVert_2^2\\ \text{s.t.}\quad& T^{\top}T=I\\ T^*=\underset{T}{\arg\min}\quad&\frac{1}{N}\sum_{i=1}^N\lVert(TT^{\top}-I)(\boldsymbol{x}^{(i)}-\boldsymbol{\mu})\rVert_2^2\\ \text{s.t.}\quad& T^{\top}T=I \end{aligned}

פרשנות גיאומטרית

  • ה encoder מחסר את הממוצע של x\boldsymbol{x} וה decoder מוסיף אותו בחזרה.
  • נניח מעתה שהנתונים ממורכזים סביב האפס.

הפתרון לבעיית האופטימיזציה

הטרנספורמציות המתקבלות הינן:

z=T⊤xx~=Tz=TT⊤x\begin{aligned} \boldsymbol{z}&=T^{\top}\boldsymbol{x}\\ \tilde{\boldsymbol{x}}&=T\boldsymbol{z}=TT^{\top}\boldsymbol{x} \end{aligned}

נתייחס כעת לאילוץ של T⊤T=IT^{\top}T=I. אילוץ זה אומר שהעמודות של TT צריכות להיות אורתו-נורמאליות.


נסמן את העמודות של TT ב uj\boldsymbol{u}_j:

T=(∣∣∣u1u2…uK∣∣∣)T=\begin{pmatrix} | & | & & | \\ \boldsymbol{u}_1 & \boldsymbol{u}_2 & \dots & \boldsymbol{u}_K \\ | & | & & | \end{pmatrix}

פרשנות גיאומטרית

הפעולה של x~=TT⊤x\tilde{\boldsymbol{x}}=TT^{\top}\boldsymbol{x} מטילה את הוקטור x\boldsymbol{x} על תת-המרחב הלינארי הנפרס על ידי הוקטורים uj\boldsymbol{u}_j.


פרשנות גיאומטרית

הפעולה של z=T⊤x\boldsymbol{z}=T^{\top}\boldsymbol{x} גם מטילה את x\boldsymbol{x} על אותו תת-מרחב, היא רק משאירה אותו במערכת הצירים של uj\boldsymbol{u}_j:


פרשנות גיאומטרית

נסתכל כעת על המשמעות הגיאומטרית של שגיאת השחזור

∥x~−x∥22\lVert\tilde{\boldsymbol{x}}-\boldsymbol{x}\rVert_2^2

בעיית האופטימיזציה היא הבעיה של מציאת תת-המרחב ממימד KK אשר ההטלה של נקודות המדגם עליו הם הקרובות ביותר לנקודות המקוריות.

הבעיה השקולה

מתוך העובדה ש T⊤T=IT^{\top}T=I ניתן להראות ש:

∥x~−x∥22=∥x∥22−∥x~∥22=∥x∥22−∥z∥22\lVert\tilde{\boldsymbol{x}}-\boldsymbol{x}\rVert_2^2 =\lVert\boldsymbol{x}\rVert_2^2-\lVert\tilde{\boldsymbol{x}}\rVert_2^2 =\lVert\boldsymbol{x}\rVert_2^2-\lVert\boldsymbol{z}\rVert_2^2

שכן, עבור T⊤T=IT^{\top}T=I מתקיים כי (I−TT⊤)2=(I−TT⊤)\left(I-TT^{\top}\right)^{2}=\left(I-TT^{\top}\right) לכן,

∥x−x~∥22=∥x−TT⊤x∥22=∥(I−TT⊤)x∥22=x⊤(I−TT⊤)x=∥x∥22−∥z∥22\begin{aligned} \left\Vert \boldsymbol{x}-\tilde{\boldsymbol{x}}\right\Vert _{2}^{2} & =\left\Vert \boldsymbol{x}-TT^{\top}x\right\Vert _{2}^{2}\\ & =\left\Vert \left(I-TT^{\top}\right)x\right\Vert _{2}^{2}\\ & =\boldsymbol{x}^{\top}\left(I-TT^{\top}\right)\boldsymbol{x}\\ & =\left\Vert \boldsymbol{x}\right\Vert _{2}^{2}-\left\Vert \boldsymbol{z}\right\Vert _{2}^{2} \end{aligned}

ובנוסף

∥x~∥22=∥Tz∥22=z⊤T⊤Tz=∥z∥22\left\Vert \tilde{\boldsymbol{x}}\right\Vert _{2}^{2}=\left\Vert T\boldsymbol{z}\right\Vert _{2}^{2}=\boldsymbol{z}^{\top}T^{\top}T\boldsymbol{z}=\left\Vert \boldsymbol{z}\right\Vert _{2}^{2}

הבעיה השקולה

מכאן שנוכל לרשום את בעיית האופטימיזציה באופן הבא:

T∗=arg⁡min⁡T1N∑i=1N(∥x(i)∥22−∥z(i)∥22)s.t.T⊤T=I\begin{aligned} T^*=\underset{T}{\arg\min}\quad&\frac{1}{N}\sum_{i=1}^N\left( \lVert\boldsymbol{x}^{(i)}\rVert_2^2 -\lVert\boldsymbol{z}^{(i)}\rVert_2^2 \right)\\ \text{s.t.}\quad& T^{\top}T=I \end{aligned}

נזכור ש ∥x∥22\lVert\boldsymbol{x}\rVert_2^2 והוא תכונה של הוקטורים במדגם והם אינם תלויים ב TT ולכן:

T∗=arg⁡min⁡T−1N∑i=1N∥z(i)∥22s.t.T⊤T=I\begin{aligned} T^*=\underset{T}{\arg\min}\quad&-\frac{1}{N}\sum_{i=1}^N\lVert\boldsymbol{z}^{(i)}\rVert_2^2\\ \text{s.t.}\quad& T^{\top}T=I \end{aligned}

הבעיה השקולה

T∗=arg⁡min⁡T−1N∑i=1N∥z(i)∥22s.t.T⊤T=I\begin{aligned} T^*=\underset{T}{\arg\min}\quad&-\frac{1}{N}\sum_{i=1}^N\lVert\boldsymbol{z}^{(i)}\rVert_2^2\\ \text{s.t.}\quad& T^{\top}T=I \end{aligned}

הבעיה של מזעור שגיאת השחזור הריבועית שקולה לבעיה של מקסום הגודל ∑i=1N∥z(i)∥22\sum_{i=1}^N\lVert\boldsymbol{z}^{(i)}\rVert_2^2.


גדול זה מכונה ה variance של אוסף הוקטורים {z(i)}i=1N\{\boldsymbol{z}^{(i)}\}_{i=1}^N.

הפתרון

נגדיר:

X=(−x′(1)−−x′(2)−⋮−x′(N)−)=(−(x(1)−μ)⊤−−(x(2)−μ)⊤−⋮−(x(N)−μ)⊤−)X =\begin{pmatrix} - & \boldsymbol{x}'^{(1)} & -\\ - & \boldsymbol{x}'^{(2)} & -\\ & \vdots & \\ - & \boldsymbol{x}'^{(N)} & -\\ \end{pmatrix} =\begin{pmatrix} - & (\boldsymbol{x}^{(1)}-\boldsymbol{\mu})^{\top} & -\\ - & (\boldsymbol{x}^{(2)}-\boldsymbol{\mu})^{\top} & -\\ & \vdots & \\ - & (\boldsymbol{x}^{(N)}-\boldsymbol{\mu})^{\top} & -\\ \end{pmatrix}

ומטריצת ה covariance האמפירית של x\mathbf{x} תהיה:

P=X⊤XP=X^{\top}X

הפתרון

P=X⊤XP=X^{\top}X

PP ממשית וסימטרית ולכן מובטח כי ניתן לפרק אותה באופן הבא:

P=UΛU⊤P=U\Lambda U^{\top}

כאשר UU היא מטריצה הוקטורים עצמיים:

U=(∣∣∣u1u2…uD∣∣∣)U=\begin{pmatrix} | & | & & | \\ \boldsymbol{u}_1 & \boldsymbol{u}_2 & \dots & \boldsymbol{u}_D \\ | & | & & | \end{pmatrix}

ו Λ\Lambda היא מטריצה הערכים העצמיים:

Λ=(λ10…00λ20⋮⋱⋮00…λD)\Lambda=\begin{pmatrix} \lambda_1 & 0 & \dots & 0 \\ 0 & \lambda_2 & & 0 \\ \vdots & & \ddots & \vdots \\ 0 & 0 & \dots & \lambda_D \\ \end{pmatrix}

הפתרון

TT תהיה מטריצה אשר העמודות שלה הם KK העמודות הראשונות במטריצה UU:

T=(∣∣∣u1u2…uK∣∣∣)T=\begin{pmatrix} | & | & & | \\ \boldsymbol{u}_1 & \boldsymbol{u}_2 & \dots & \boldsymbol{u}_K \\ | & | & & | \end{pmatrix}
  • הכיוונים u(j)\boldsymbol{u}^{(j)} מכונים הכיוונים העיקריים
  • הרכיבים של הוקטור z\boldsymbol{z} מכונים הרכיבים העיקריים (principal components).

דוגמא

פירוק תמונות של פנים לכיוונים העיקריים:


דוגמא

תמונה המשוחזרת עבור ערכים שונים של KK:


הרחבות לא לינאריות

קיימות הרחבות לא לינאריות רבות ל-PCA. נידונות בקורס עיבוד וניתוח מידע (ענ"ם).

הפעלת אלגוריתם tSNE על MNIST.

אשכול

באלגוריתמי אשכול ננסה לחלק אוסף של פרטים לקבוצות המכונים אשכולות (clusters), כאשר לכל קבוצה איזשהן תכונות דומות. כמובן, בממדים גבוהים לא רואים זאת בעין.


⇦

אשכול

2 דוגמאות למקרים שבהם נרצה לאשכל:

  1. על מנת לבצע הנחות על אחד מהפרטים באשכול על סמך פרטים אחרים באשכול.
    לדוגמא: להציע ללקוח מסויים בחנות אינטרנט מוצרים על סמך מוצרים שקנו לקוחות אחרים באשכול שלו.
  2. לתת טיפול שונה לכל אשכול.
    לדוגמא: משרד ממשלתי שרוצה להפנות קבוצות שונות באוכלוסיה לערוצי מתן שירות שונים: אפליקציה, אתר אינטרנט, נציג טלפוני או הפניה פיסית למוקד שירות.

K-Means

K-Means הוא אלגוריתם אשכול אשר מנסה לחלק את הדגימות במדגם ל KK קבוצות על סמך המרחק בין הדגימות.

סימונים

  • KK - מספר האשכולות (גודל אשר נקבע מראש).
  • Ik\mathcal{I}_k - אוסף האינדקסים של האשכול ה-kk.
    לדוגמא: I5={3,6,9,13}\mathcal{I}_5=\left\lbrace3, 6, 9, 13\right\rbrace
  • ∣Ik∣|\mathcal{I}_k| - גודל האשכול ה-kk (מספר הפרטים בקבוצה)
  • {Ik}k=1K\{\mathcal{I}_k\}_{k=1}^K - חלוקה מסוימת לאשכולות

בעיית האופטימיזציה

K-Means מנסה למצוא את החלוקה לאשכולות אשר תמזער את המרחק הריבועי הממוצע בין כל דגימה לכל שאר הדגימות שאיתו באותו האשכול:

arg⁡min⁡{Ij}k=1K1N∑k=1K12∣Ik∣∑i,j∈Ik∥x(j)−x(i)∥22\underset{\{\mathcal{I}_j\}_{k=1}^K}{\arg\min}\frac{1}{N}\sum_{k=1}^K\frac{1}{2|\mathcal{I}_k|}\sum_{i,j\in\mathcal{I}_k}\lVert\boldsymbol{x}^{(j)}-\boldsymbol{x}^{(i)}\rVert_2^2

שאלה: האם פונקציית מרחק ריבועית תמיד מתאימה?

הבעיה השקולה

נגדיר את מרכז המסה:

μk=1∣Ik∣∑i∈Ikx(i)\boldsymbol{\mu}_k=\frac{1}{|\mathcal{I}_k|}\sum_{i\in\mathcal{I}_k}\boldsymbol{x}^{(i)}

ניתן להראות כי בעיית האופטימיזציה המקורית, שקולה לבעיה של מיזעור המרחק הממוצע של הדגימות ממרכז המסה של האשכול:

arg⁡min⁡{Ij}k=1K1N∑k=1K∑i∈Ik∥x(i)−μk∥22\underset{\{\mathcal{I}_j\}_{k=1}^K}{\arg\min}\frac{1}{N}\sum_{k=1}^K\sum_{i\in\mathcal{I}_k}\lVert\boldsymbol{x}^{(i)}-\boldsymbol{\mu}_k\rVert_2^2

הבעיה השקולה

∑i,j∈IkK∥x(i)−x(j)∥22=∑i,j∈Ik∥x(i)−μk+μk−x(j)∥22=∑i,j∈Ik∥x(i)−μk∥22+∑i,j∈Ik∥x(j)−μk∥22−2∑i,j∈Ik(x(i)−μk)⊤(x(j)−μk)=2∣Ik∣∑i∈Ik∥x(i)−μk∥22−2∑i∈Ik(x(i)−μk)⊤∑j∈Ik(x(j)−μk)=2∣Ik∣∑i∈Ik∥x(i)−μk∥22\begin{aligned} \sum_{i,j\in\mathcal{I}_{k}}^{K} & \left\Vert \boldsymbol{x}^{(i)}-\boldsymbol{x}^{(j)}\right\Vert _{2}^{2}=\sum_{i,j\in\mathcal{I}_{k}}\left\Vert \boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}+\boldsymbol{\mu}_{k}-\boldsymbol{x}^{(j)}\right\Vert _{2}^{2}\\ = & \sum_{i,j\in\mathcal{I}_{k}}\left\Vert \boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right\Vert _{2}^{2}+\sum_{i,j\in\mathcal{I}_{k}}\left\Vert \boldsymbol{x}^{(j)}-\boldsymbol{\mu}_{k}\right\Vert _{2}^{2}-2\sum_{i,j\in\mathcal{I}_{k}}\left(\boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right)^{\top}\left(\boldsymbol{x}^{(j)}-\boldsymbol{\mu}_{k}\right)\\ = & 2\left|\mathcal{I}_{k}\right|\sum_{i\in\mathcal{I}_{k}}\left\Vert \boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right\Vert _{2}^{2}-2\sum_{i\in\mathcal{I}_{k}}\left(\boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right)^{\top}\sum_{j\in\mathcal{I}_{k}}\left(\boldsymbol{x}^{(j)}-\boldsymbol{\mu}_{k}\right)\\ = & 2\left|\mathcal{I}_{k}\right|\sum_{i\in I_{k}}\left\Vert \boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right\Vert _{2}^{2} \end{aligned}

שכן:

∑i∈Ik(x(i)−μk)=∣Ik∣⋅1∣Ik∣∑i∈Ikx(i)−∣Ik∣μk=0\sum_{i\in I_{k}}\left( \boldsymbol{x}^{(i)}-\boldsymbol{\mu}_{k}\right) = \left|\mathcal{I}_{k}\right| \cdot \frac{1}{\left|\mathcal{I}_{k}\right|}\sum_{i\in I_{k}}\boldsymbol{x}^{(i)}-\left|\mathcal{I}_{k}\right|\boldsymbol{\mu}_{k} = 0

האלגוריתם

  • אלגוריתם חמדן.
  • מאותחל ב t=0t=0 על ידי בחירה אקראית של {μk}k=1K\{\mu_k\}_{k=1}^K.

בכל צעד tt מבצעים את שתי הפעולות הבאות:

  1. עדכון מחדש של החלוקה לאשכולות {Ik}k=1K\{\mathcal{I}_k\}_{k=1}^K. כל דגימה משוייכת למרכז המסה הקרוב עליה.

  2. עדכון של מרכזי המסה המסה על פי:

    μk=1∣Ik∣∑i∈Ikx(i)\boldsymbol{\mu}_k=\frac{1}{|\mathcal{I}_k|}\sum_{i\in\mathcal{I}_k}\boldsymbol{x}^{(i)}

תנאי העצירה הינו כשהאשכולות מפסיקות להשתנות.

תכונות

  • מובטח כי פונקציית המטרה תקטן בכל צעד.
  • מובטח כי האלגוריתם יעצר לאחר מספר סופי של צעדים.
  • לא מובטח כי האלגוריתם יתכנס לפתרון האופטימאלי. בפועל במרבית מתכנס לפתרון קרוב מאד לאופטימאלי.
  • אתחולים שונים יכולים להוביל לתוצאות שונות.

דוגמא

אתחול (וחלוקה ראשונית לאשכולות):

דוגמא

עדכון המרכזים:

דוגמא

עדכון האשכולות:

דוגמא

עדכון המרכזים:

דוגמא

וחוזר חלילה (הסדר הוא מימין לשמאל):

אלגוריתמי אשכול שונים

לרוב לא נוכל לצייר את האשכולות בשני ממדים.