כימות אי-ודאות ויסודות תורת ההסתברות
מדוע סוכן תבוני בעולם האמיתי אינו יכול להסתפק בלוגיקה קלאסית? כיצד מודדים "מידת אמונה" (Degree of Belief)? אקסיומות קולמוגורוב, הוכחות פורמליות מלאות, וכללי ההסתברות המותנית.
להבין את האינטואיציה שמאחורי הקלעים: מדוע סוכן בינה מלאכותית חייב לכמת אי-ודאות?
שלום לומדים! עד כה, סוכני ה-AI שלנו בעולמות הלוגיים (פרקים 6 ו-7) פעלו מתוך הנחה שהעולם הוא בינארי ודטרמיניסטי: כל טענה היא אמת מוחלטת או שקר מוחלט. אך בעולם האמיתי – מרובוטים הפועלים בסביבות דינמיות ועד מערכות אבחון רפואי – המידע שמגיע מהחיישנים הוא תמיד חלקי, רועש ובלתי מושלם. איננו יכולים לדעת בוודאות אם למטופל יש שפעת רק על סמך חום גוף, ואנו מחויבים לחשב "מידת אמונה" (Degree of Belief). תורת ההסתברות של קולמוגורוב אינה סתם מניפולציה אלגברית של שברים ואחוזים, אלא המערכת האקסיומטית היחידה שמבטיחה שסוכן יקבל החלטות באופן רציונלי ועקבי, מבלי להפסיד בכל הימור שהוא לוקח (משפט הדלת ההולנדית - Dutch Book Theorem). ביחידה זו נפרק את מרחב המדגם, המאורעות האטומיים ואקסיומות היסוד לגורמים כדי להבין כיצד סוכן מכמת אי-ודאות בדיוק מתמטי מופתי.
💡 אינטואיציה בגובה העיניים: עוגת ההסתברויות, משפט הדלת ההולנדית והימורים עקביים
תארו לעצמכם עוגת יום הולדת שלמה המייצגת 100% מכל התוצאות האפשריות של היקום ($\Omega$). כל חתיכה מהעוגה מייצגת עולם אפשרי אחד (Atomic Event). אקסיומות קולמוגורוב אינן אלא כללים הוגנים לחלוקת העוגה: (1) שום חתיכה לא יכולה להיות בעלת גודל שלילי ($P(e) \ge 0$), (2) סך כל העוגה הוא בדיוק 1 ($P(\Omega) = 1$), ו- (3) אם תיקחו שתי פרוסות שאינן חופפות (מאורעות זרים), שטחן המשותף הוא בדיוק סכום שטחיהן ($P(A \lor B) = P(A) + P(B)$). מדוע זה קריטי? פילוסופים ומתמטיקאים הוכיחו שאם סוכן AI יקבע הסתברויות הסותרות אקסיומות אלו (למשל, יאמין שההסתברות שיירד גשם היא 0.7 ושההסתברות שלא יירד גשם היא 0.5), סוכן יריב יוכל להציע לו סדרת הימורים (Dutch Book) שבה הסוכן יפסיד כסף בוודאות מלאה בכל מזג אוויר אפשרי! תורת ההסתברות היא חומת המגן של הרציונליות.
🧠 מדוע לוגיקה דדוקטיבית קורסת בעולם האמיתי?
בפרקים 6 ו-7 למדנו על סוכנים לוגיים הפועלים בעזרת לוגיקה פסוקית ולוגיקת סדר ראשון (FOL). בעולמות סגורים ודטרמיניסטיים (כמו עולם השחמט או עולם הוומפוס המופשט), כללים לוגיים הם כלי אידיאלי: עובדה היא בהכרח אמת או שקר.
אולם כאשר מנסים ליישם לוגיקה דדוקטיבית במערכות מעשיות — כגון אבחון רפואי, נהיגה אוטונומית או חיזוי פיננסי — מתגלה מחסום אי-הוודאות. ג'וזפה ראסל ונורוויג ממפים שלושה גורמי מפתח לקריסה זו:
כתיבת כל הכללים הדרושים לפסוק לוגי דורשת מאמץ עצום ואינסופי. כדי לטעון "כאב שיניים גורר חור בשן", עלינו לחרוג ולפרט עשרות תנאי מנע: סדק בשן, בעיית חניכיים, מכה חיצונית וכו'.
המדע האנושי עצמו אינו מחזיק בתאוריה מלאה ומושלמת עבור כל תחום. ברפואה, למשל, מנגנוני מחלות רבות אינם מפוענחים עד הסוף, ולכן לא קיים כלל דטרמיניסטי מדויק.
אפילו אם קיימים כללים מדויקים, אין בידינו את כל המדידות והבדיקות בזמן אמת לגבי החולה או המכונית ברגע קבלת ההחלטה (ראייה חלקית של העולם).
בתורת ההחלטות והבינה המלאכותית, הסתברות אינה בהכרח תדירות יחסית של מאורעות בעולם הפיזיקלי (תפיסה תדירותית - Frequentist), אלא מצב הידיעה והאמונה של הסוכן (Bayesian / Subjectivist view) בהינתן המידע והראיות שנאספו עד כה.
📐 מרחב המדגם ושלוש אקסיומות קולמוגורוב (Kolmogorov Axioms)
המתמטיקאי הרוסי אנדריי קולמוגורוב הגדיר בשנת 1933 את המסגרת הפורמלית הקפדנית שעל בסיסה בנויה כל תורת ההסתברות המודרנית.
מרחב המדגם $\Omega$ מכיל את כל העולמות האפשריים (Atomic Events / Worlds). כל עולם אפשרי $\omega \in \Omega$ מוגדר באופן מלא, והעולמות זרים זה לזה ומשלימים למרחב כולו.
מאורע הוא תת-קבוצה של מרחב המדגם, $A \subseteq \Omega$. ההסתברות למאורע $A$ שווה לסכום ההסתברויות של כל העולמות האפשריים המרכיבים אותו: $P(A) = \sum_{\omega \in A} P(\omega)$.
הסתברות של כל מאורע לעולם אינה שלילית.
המאורע הוודאי (עולם כלשהו בהכרח יתרחש) שווה ל-1.
$P(A \cup B) = P(A) + P(B)$
חיבור פשוט של הסתברויות למאורעות שאינם חותכים.
מבנה מרחב המדגם: כדי לא לספור פעמיים את אזור החיתוך $A \cap B$, מחסירים אותו פעם אחת בחוק החיבור הכללי.
המאורע הוודאי $\Omega$ והמאורע הריק $\emptyset$ זרים זה לזה: $\Omega \cap \emptyset = \emptyset$.
כמו כן, איחודם שווה למרחב כולו: $\Omega \cup \emptyset = \Omega$.
לפי אקסיומה 3 (אדיטיביות): $P(\Omega \cup \emptyset) = P(\Omega) + P(\emptyset)$.
מכאן: $P(\Omega) = P(\Omega) + P(\emptyset)$. נחסר $P(\Omega)$ משני האגפים ונקבל: $P(\emptyset) = 0$. $\blacksquare$
המאורע $A$ והמשלים שלו $\neg A$ זרים זה לזה ($A \cap \neg A = \emptyset$) ואיחודם מהווה את כל מרחב המדגם ($A \cup \neg A = \Omega$).
לפי אקסיומה 3: $P(A \cup \neg A) = P(A) + P(\neg A)$.
לפי אקסיומה 2: $P(\Omega) = 1$. לכן $1 = P(A) + P(\neg A) \implies P(\neg A) = 1 - P(A)$. $\blacksquare$
נפרק את האיחוד $A \cup B$ לשלושה מאורעות זרים בזוגות:
$A \cup B = (A \setminus B) \cup (A \cap B) \cup (B \setminus A)$.
לפי אקסיומה 3: $P(A \cup B) = P(A \setminus B) + P(A \cap B) + P(B \setminus A)$.
מצד שני, $A = (A \setminus B) \cup (A \cap B)$, ומכיוון שהם זרים: $P(A) = P(A \setminus B) + P(A \cap B) \implies P(A \setminus B) = P(A) - P(A \cap B)$.
באופן זהה: $P(B \setminus A) = P(B) - P(A \cap B)$.
נציב במשוואת האיחוד:
$P(A \cup B) = [P(A) - P(A \cap B)] + P(A \cap B) + [P(B) - P(A \cap B)] = P(A) + P(B) - P(A \cap B)$. $\blacksquare$
⚖️ הסתברות מותנית (Conditional Probability) וכלל השרשרת
כאשר סוכן לומד ראיה חדשה $B$ (למשל: למטופל יש חום, או חיישן הרובוט זיהה מכשול), מרחב המדגם מצטמצם מ-$\Omega$ לעולם שבו $B$ מתקיים בוודאות. כל העולמות שבהם $B$ אינו מתקיים מקבלים הסתברות 0, וההסתברויות של העולמות הנותרים מנורמלות כך שסכומן ישוב להיות 1.
החלק היחסי מתוך שטח $B$ שבו מתקיים גם המאורע $A$.
מאפשר להרכיב את ההסתברות לחיתוך מתוך הסתברות מותנית והסתברות התנאי.
על ידי הפעלה רקורסיבית של כלל המכפלה, ניתן לפרק כל התפלגות משותפת של $n$ משתנים לשרשרת של הסתברויות מותניות, בכל סדר שנבחר:
כלל זה מתקיים תמיד ללא כל תלות או הנחה מוקדמת! בפרק 8.3 נראה כיצד רשתות בייסיאניות משתמשות באי-תלויות מותניות כדי לקצר שרשרת זו באופן דרמטי.
בלוגיקה, הפסוק $B \implies A$ שקול ל-$\neg B \lor A$, ולכן אם ידוע ש-$B$ שקרי ($P(B)=0$), הפסוק הלוגי הוא אמת טריוויאלית (Vacuously True). לעומת זאת, בהסתברות, כאשר $P(B)=0$, הביטוי $P(A \mid B)$ כלל אינו מוגדר (חלוקה באפס)! אסור לבלבל בין הסתברות מותנית להסתברות של גרירה לוגית.
מכונת חיתוך ונרמול מרחב המדגם (Dentist World 8-Cell)
הסימולציה שלהלן מאפשרת לכם לשנות את ערכי ההסתברויות, לבצע התניות על מאורעות שונים, ולראות בעיניים כיצד מתבצע חיתוך מרחב המדגם וכיצד קבוע הנרמול $\alpha$ מחזיר את סכום ההסתברויות ל-1.
הסקה במנייה, עולם רופא השיניים וחוק בייס
כיצד בונים טבלת התפלגות משותפת מלאה? מהן פעולות השוליות (Marginalization) וההתניה? חוק בייס כגשר המופתי בין ידע סיבתי יציב להסקה אבחנתית, ומסווג Naive Bayes.
להבין את האינטואיציה שמאחורי הקלעים: מעבר מטבלאות ענק אקספוננציאליות לעדכון אמונות חכם
ברוכים הבאים לעולם רופא השיניים המפורסם של ראסל ונורוויג. כשיש לנו 3 משתנים בוליאניים בלבד (חור בשן, כאב שיניים, ותפיסה במכשיר הבדיקה של הרופא), אנו זקוקים ל-8 תאים בטבלת ההתפלגות המשותפת. אך מה קורה כשיש לנו מערכת מעשית עם 100 משתנים רפואיים? הטבלה המלאה תדרוש $2^{100} \approx 10^{30}$ תאים – יותר ממספר גרגירי החול על פני כדור הארץ! אי אפשר לאחסן זאת באף מחשב, ולא ניתן להעריך ערכים אלו מנתונים. הפתרון המהפכני של תורת ההסתברות טמון בשלושה מנגנונים: חיתוך פרוסת הראיה (Evidence Slice), נרמול מהיר באמצעות קבוע $\alpha$ (שחוסך חישוב של המכנה), ושימוש בחוק בייס כדי להמיר הסתברויות סיבתיות ישירות להסתברויות דיאגנוסטיות.
💡 אינטואיציה בגובה העיניים: פרדוקס הבדיקה הרפואית הנדירה (Base-Rate Fallacy)
נניח שקיימת מחלה נדירה הפוגעת ב-1 מכל 1,000 אנשים באוכלוסייה ($P(\text{Disease}) = 0.001$). חברת תרופות פיתחה בדיקת מעבדה בדיוק מדהים של 99%: אם אדם חולה, הבדיקה תמיד חיובית ב-99%; ואם אדם בריא, הבדיקה שלילית ב-99% (רק 1% חיובי כוזב). עשיתם בדיקה שגרתית והתוצאה חזרה חיובית! אינטואיטיבית, כמעט כל אדם נתקף חרדה ומשוכנע שהוא חולה בהסתברות של 99%. אך חוק בייס מגלה תוצאה מדהימה: מתוך 100,000 אנשים, רק 100 חולים (וכ-99 מהם יקבלו תוצאה חיובית). לעומת זאת, מתוך 99,900 הבריאים, 1% יקבלו חיובי כוזב – כלומר 999 אנשים בריאים יקבלו תוצאה חיובית! סך הכל קיבלנו כ-1,098 תוצאות חיוביות, אך רק 99 מתוכן הן של חולים אמיתיים. ההסתברות האמיתית שאתם חולים היא $99 / 1098 \approx 9\%$ בלבד! חוק בייס מחייב אותנו להתחשב בשכיחות הרקע (Base Rate) ומונע טעויות קריטיות בקבלת החלטות.
📊 טבלת ההתפלגות המשותפת המלאה (Full Joint Distribution)
טבלת ההתפלגות המשותפת המלאה מפרטת את ההסתברות של כל הצבה אפשרית של ערכים לכלל המשתנים המקריים במערכת. מודל זה מהווה בסיס ידע הסתברותי שלם: מתוך טבלה זו ניתן לחשב את ההסתברות המדויקת של כל שאילתה וכל מאורע בעולם.
| חור בשן ($Cavity$) | חור קיים ($cavity = \text{true}$) | אין חור ($\neg cavity = \text{false}$) | ||
|---|---|---|---|---|
| מכשיר נתפס ($Catch$) | $catch$ | $\neg catch$ | $catch$ | $\neg catch$ |
| כאב שיניים ($toothache$) | 0.108 | 0.012 | 0.016 | 0.064 |
| אין כאב ($\neg toothache$) | 0.072 | 0.008 | 0.144 | 0.576 |
$\sum_{i=1}^8 P(\omega_i) = 0.108 + 0.012 + 0.072 + 0.008 + 0.016 + 0.064 + 0.144 + 0.576 = 1.000$
כדי לחשב את ההסתברות של תת-קבוצת משתנים $Y$, סוכמים על כל הערכים האפשריים של המשתנים הלא-רלוונטיים $Z$:
דוגמה מספרית: מה הסיכוי שלמטופל אקראי יש כאב שיניים?
$P(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = \mathbf{0.20}$ ($20\%$).
כשידועה ראיה $e$ (למשל: $toothache$), נבודד רק את השורות התואמות לראיה. היחס בין החלופות של משתנה השאילתה נשמר, וקבוע $\alpha = \frac{1}{P(e)}$ מנרמל את הסכום ל-1:
דוגמה מספרית: אם המטופל מתלונן על כאב, מה הסיכוי שיש לו חור?
$P(cavity, toothache) = 0.108 + 0.012 = 0.120$
$P(\neg cavity, toothache) = 0.016 + 0.064 = 0.080$
$\alpha = \frac{1}{0.120 + 0.080} = \frac{1}{0.20} = 5 \implies P(cavity \mid toothache) = 5 \times 0.120 = \mathbf{0.60}$ ($60\%$).
💡 אי-תלות מותנית (Conditional Independence) וגזירת חוק בייס
הידיעה על $B$ אינה משנה כהוא-זה את האמונה ב-$A$. בעולם האמיתי, אי-תלות מוחלטת היא נדירה ביותר.
בהינתן הגורם המשותף $Z$, $X$ ו-$Y$ אינם מספקים מידע חדש זה על זה. בעולם רופא השיניים: אם ידוע שיש חור ($Cavity$), בדיקת המכשיר ($Catch$) וכאב השיניים ($Toothache$) הם בלתי תלויים מותנית!
שכיחות המחלה/הגורם באוכלוסייה הכללית (Base Rate).
הסיכוי שחולה יפתח תסמין זה (ידע סיבתי יציב).
מקדם נרמול: $\sum_c P(Effect \mid c)P(c)$.
דלקת קרום המוח ($M$) גורמת לצוואר תפוס ($S$) ב-70% מהמקרים ($P(S \mid M) = 0.7$). המחלה נדירה: 1 מכל 50,000 איש חולה בה ($P(M) = 0.00002$). לעומת זאת, צוואר תפוס הוא תופעה שכיחה: 1 מכל 100 איש סובל ממנה ($P(S) = 0.01$).
תובנה מהדהדת: למרות שצוואר תפוס הוא תסמין כבד המופיע אצל 70% מהחולים, הסיכוי שאדם אקראי עם צוואר תפוס באמת חולה בדלקת קרום המוח הוא רק 1 ל-700! התעלמות משיעור הבסיס ($P(M)$) היא אחת הטעויות הנפוצות והמסוכנות ביותר באבחון אנושי ומוחי.
כאשר יש סיבה אחת $Y$ ועשרות תסמינים $X_1, \dots, X_n$, מניחים שכל התסמינים בלתי תלויים מותנית בהינתן הסיבה. הנחה זו מורידה את כמות הפרמטרים מ-$2^n$ אקספוננציאלי ל-$O(n)$ ליניארי בלבד:
החלקת לפלס (Laplace Smoothing): אם מילה או תסמין לא הופיעו מעולם בנתוני האימון עבור מחלקה מסוימת, ההסתברות תהיה 0, ותאפס את כל המכפלה! כדי למנוע זאת, מוסיפים מונה דמה $\alpha=1$: $\hat{P}(x_i \mid y) = \frac{\text{count}(x_i, y) + 1}{\text{count}(y) + |V|}$.
מעבדת אבחון בייס ומסווג Naive Bayes רב-סימפטומטי
חקרו את השפעת שיעור הבסיס (Base Rate), הוסיפו תסמינים עצמאיים מותנית, ובחנו כיצד החלקת לפלס מונעת קריסת מכפלות של אפסים במסווג בייסיאני.
רשתות בייסיאניות: מבנה, דחיסות ורשת האזעקה של פרל
כיצד מייצגים תלויות סיבתיות בגרף מכוון ללא מעגלים (DAG)? מדוע רשת בייסיאנית מכווצת מיליארד ערכים לכמה מאות בלבד? רשת האזעקה של פרל, משפט הפקטוריזציה ושריון מרקוב (Markov Blanket).
להבין את האינטואיציה שמאחורי הקלעים: איך גרף סיבתי פשוט מנצח את ההתפוצצות הקומבינטורית?
רשתות בייסיאניות (Bayesian Networks), שפותחו בידי חתן פרס טיורינג יהודה פרל, מהוות את עמוד השדרה של חשיבה הסתברותית מודרנית בבינה מלאכותית. הרעיון האלגנטי הוא להשתמש בגרף מכוון ללא מעגלים (DAG) כדי לתרגם את מבנה התלות והסיבתיות בעולם. במקום לשמור טבלה משותפת ענקית, כל צומת ברשת דורש רק טבלת הסתברות מותנית מקומית (CPT) התלויה בהוריו הישירים בלבד! ברשת האזעקה המפורסמת של פרל, טבלה משותפת של 5 משתנים בוליאניים דורשת $2^5 - 1 = 31$ ערכים עצמאיים. הרשת הבייסיאנית דורשת 10 פרמטרים בלבד! כלל הפירוק למכפלה (Chain Rule Factorization) מאפשר לשחזר את ההסתברות של כל קונפיגורציה עולמית במהירות עצומה.
💡 אינטואיציה בגובה העיניים: רשת האזעקה הביתית – פריצה, רעידת אדמה ושכנים מתקשרים
דמיינו שהתקנתם אזעקה נגד פריצה בביתכם בפרברי קליפורניה. האזעקה מעולה בזיהוי פריצות, אך לעיתים רעידת אדמה קלה עלולה להפעיל אותה. יש לכם שני שכנים: ג'ון ומרי. אם האזעקה מצפצפת, הם מתקשרים להודיע לכם לעבודה, אך לכל שכן הרגלים משלו: ג'ון לעיתים מאזין למוזיקה רועשת ומפספס, ומרי לעיתים מתבלבלת עם צופר אמבולנס. הקשרים ברשת מייצגים סיבתיות ישירה: פריצה ורעידת אדמה גורמות לאזעקה ($B \to A, E \to A$), והאזעקה גורמת לשיחות השכנים ($A \to J, A \to M$). כעת חשבו על תופעת ההסברה שמבטלת חשד (Explaining Away): אם ג'ון מתקשר ואתם חוששים מפריצה, אך ברדיו מודיעים שהייתה רעידת אדמה בדיוק ברגע הצלצול – ההסתברות לפריצה צונחת מיד! רעידת האדמה "מסבירה" את האזעקה ומבטלת את הצורך להניח פריצה.
🕸️ מהי רשת בייסיאנית? (Bayesian Network Definition)
רשת בייסיאנית (נקראת גם Belief Network או Causal Network) היא גרף מכוון חסר מעגלים (Directed Acyclic Graph - DAG) המצומד למערכת טבלאות הסתברות מותנית (CPTs). היא מספקת ייצוג דחוס ואינטואיטיבי של התפלגות משותפת מלאה.
- צמתים (Nodes): מייצגים משתנים מקריים (בדידים או רציפים).
- קשתות מכוונות (Directed Edges): קשת $X \to Y$ מעידה על השפעה סיבתית ישירה של $X$ על $Y$ ($X$ הוא הורה של $Y$).
- ללא מעגלים (Acyclic): אירוע אינו יכול להוות סיבה של עצמו.
לכל צומת $X_i$ קיימת טבלת הסתברות מותנית $P(X_i \mid Parents(X_i))$ המפרטת את ההתפלגות של $X_i$ לכל צירוף ערכים אפשרי של הוריו הישירים. צמתים ללא הורים (צמתי שורש) מכילים הסתברות א-פריורית $P(X_i)$.
בעולם עם $n$ משתנים בוליאניים:
עבור $n=30$: מעל 1,073,741,823 מספרים! בלתי ניתן לאחסון או לחישוב.
עבור $n=30, k=4$: רק $30 \times 16 = \mathbf{480}$ מספרים! מערכת קלת משקל ורצה מיידית.
כל הסתברות משותפת היא פשוט מכפלת ערכי ה-CPT המתאימים של כל צומת בהינתן הוריו. משפט זה נובע ישירות מכך שרשת בייסיאנית מקודדת את ההנחה שכל צומת בלתי-תלוי מותנית בלא-צאצאיו בהינתן הוריו הישירים.
🚨 רשת הפריצה והאזעקה הקלאסית של ג'ודיה פרל (Pearl's Alarm Network)
במודל זה (ראסל ונורוויג, איור 14.2), מותקנת אזעקה ($Alarm$) בבית בלוס אנג'לס לגילוי פריצות ($Burglary$). האזעקה עשויה להגיב גם לרעידות אדמה קלות ($Earthquake$). שני השכנים, ג'ון ($John$) ומרי ($Mary$), הבטיחו להתקשר אליכם לעבודה אם ישמעו את האזעקה פועלת.
מהי ההסתברות שגם ג'ון וגם מרי יתקשרו, האזעקה אכן פעלה, אך לא הייתה פריצה ולא הייתה רעידת אדמה ($j \land m \land a \land \neg b \land \neg e$)?
נניח ששני השכנים התקשרו להודיע שהאזעקה פעלה ($j = \text{true}, m = \text{true}$). אנו רוצים לדעת מהי ההסתברות המדויקת שאכן התרחשה פריצה בבית ($B = \text{true}$)? משתני השאילתה: $B$. משתני הראיה: $j, m$. המשתנים החבויים (Hidden Variables): רעידת אדמה ($E$) והאזעקה ($A$).
- $e, a: 0.002 \times 0.95 \times 0.9 \times 0.7 = 0.001197$
- $e, \neg a: 0.002 \times 0.05 \times 0.05 \times 0.01 \approx 0$
- $\neg e, a: 0.998 \times 0.94 \times 0.9 \times 0.7 = 0.590915$
- $\neg e, \neg a: 0.998 \times 0.06 \times 0.05 \times 0.01 \approx 0.00003$
- $e, a: 0.002 \times 0.29 \times 0.9 \times 0.7 = 0.0003654$
- $e, \neg a: 0.002 \times 0.71 \times 0.05 \times 0.01 \approx 0$
- $\neg e, a: 0.998 \times 0.001 \times 0.9 \times 0.7 = 0.0006287$
- $\neg e, \neg a: 0.998 \times 0.999 \times 0.05 \times 0.01 \approx 0.000498$
💡 תובנת עומק קריטית: הסתברות הבסיס לפריצה היא רק $0.001$ ($0.1\%$). שיחת שני השכנים הזניקה את ההסתברות פי 284 ל-28.4%! עם זאת, עדיין סביר יותר (71.6%) שלא הייתה פריצה, משום שאזעקת שווא ללא פריצה מתרחשת לעיתים תכופות יותר מאשר אירוע פריצה נדיר.
הגדרה: שריון מרקוב של משתנה $X$ מורכב מ-3 קבוצות:
- הוריו הישירים של $X$ ($Parents(X)$).
- ילדיו הישירים של $X$ ($Children(X)$).
- ההורים האחרים של ילדיו של $X$ ($Parents(Children(X)) \setminus \{X\}$).
הסבר אינטואיטיבי קריטי: מדוע לא די בילדים עצמם? מכיוון שידיעת ערכו של הילד (התניה עליו) פותחת מבנה Collider (קוליידר) בין שני הוריו! אם למשל ידוע שהאזעקה $A$ פעלה (הילד ידוע), אז ידיעה על רעידת אדמה $E$ (ההורה הנוסף) משפיעה ישירות על הסיכוי לפריצה $B$ (Explaining Away). לכן, כדי לבודד את $B$ הרמטית, חייבים לדעת גם את $E$!
מאזני ההסבר החלופי ורשת הפריצה של פרל
בצעו התניות שונות ברשת האזעקה, צפו בזרימת הסתברויות בצינורות המונפשים, ובחנו כיצד עדות על רעידת אדמה "מסבירה ומבטלת" (Explaining Away) את החשד לפריצה.
אלגוריתם d-separation וקביעת אי-תלות מותנית
כיצד קובעים אם שני משתנים בלתי תלויים מותנית ישירות מתוך מבנה הגרף ללא חישוב מספרי? שלושת המבנים הקנוניים, תופעת ההסבר החלופי (Explaining Away), כללי אלגוריתם כדורי בייס (Bayes-Ball) ו-7 תרגילים מודרכים.
להבין את האינטואיציה שמאחורי הקלעים: קריאת אי-תלויות ישירות מטופולוגיית הגרף
האם עדות חדשה על משתנה $X$ משנה את מידת האמונה שלנו לגבי משתנה $Y$, כאשר כבר ידוע לנו משתנה $Z$? באופן מסורתי, כדי לענות על כך היינו צריכים לבצע חישובים ארוכים על טבלאות ההסתברות. אלגוריתם ה-d-separation (הפרדה כיוונית / Directional Separation) מאפשר לענות על שאלות אלו במבט ויזואלי מהיר על מבנה הגרף, ללא צורך בחישוב אף מספר! נלמד לזהות את שלושת המבנים היסודיים של זרימת מידע בגרף: שרשרת סיבתית (Chain), סיבה משותפת (Fork), והמבנה הייחודי והמרתק מכולם – קוליידר (Collider או V-structure), שבו חוקי זרימת המידע מתהפכים ב-180 מעלות.
💡 אינטואיציה בגובה העיניים: שסתומי מים בצנרת והשסתום ההפוך של הקוליידר
דמיינו נתיב בגרף כצינור מים שדרכו "זורם" מידע בין שני משתנים: (1) בשרשרת סיבתית ($X \to Z \to Y$) או בסיבה משותפת ($X \leftarrow Z \to Y$), הצינור פתוח לרווחה – ידיעה על $X$ משפיעה על $Y$. אך אם משתנה האמצע $Z$ ידוע ומותנה, הדבר שקול לסגירת ברז באמצע הצינור: הזרימה נחסמת לחלוטין ו-$X, Y$ הופכים לבלתי-תלויים מותנית! (2) בקוליידר ($X \to Z \leftarrow Y$, שני חצים הנפגשים באותו צומת $Z$): כאן קיים שסתום חד-כיווני הפוך – כברירת מחדל הברז סגור והמידע אינו זורם (ההורים בלתי-תלויים). אך ברגע שאנו צופים ב-$Z$ או באחד מצאצאיו (מתנים עליו), השסתום "נפתח" באורח פלא, והמידע בין שתי הסיבות מתחיל לזרום!
🔀 שלושת המבנים הקנוניים (The Three Canonical Triplets)
כל מסלול ארוך ברשת בייסיאנית מורכב מחיבור של שלשות צמתים עוקבות. התנהגות זרימת המידע במסלול נקבעת לחלוטין על פי שלוש תצורות יסוד אלו:
- ללא התניה ($Y \notin E$): מסלול פעיל (Active). מידע זורם בין $X$ ל-$Z$.
- בהינתן $Y$ ($Y \in E$): מסלול חסום (Blocked). ידיעת המתווך חוסמת את הקשר!
- ללא התניה ($Y \notin E$): מסלול פעיל (Active). קורלציה נובעת מסיבה משותפת.
- בהינתן $Y$ ($Y \in E$): מסלול חסום (Blocked). ידיעת הסיבה מנטרלת את הקשר.
- ללא התניה ($Y \notin E$ וצאצאיו $\notin E$): מסלול חסום (Blocked)! סיבות בלתי תלויות.
- בהינתן $Y$ (או צאצא של $Y$): מסלול פעיל (Active)! (הסבר חלופי).
⚽ אלגוריתם כדור בייס (The Bayes-Ball Algorithm) והגדרה כללית
במסלול כללי שאינו מוגבל ל-3 צמתים, כדי לקבוע האם שני צמתים $X$ ו-$Y$ מופרדים בייסיאנית ($d\text{-separated}$) בהינתן קבוצת ראיות $E$, בוחנים האם קיים מסלול פעיל כלשהו ביניהם:
מסלול בלתי-מכוון $p$ בין $X$ ל-$Y$ נקרא פעיל בהינתן $E$ אם ורק אם:
- לכל צומת $V$ במסלול שהוא אינו קוליידר (שרשרת או מזלג) מתקיים: $V \notin E$ (אינו ידוע).
- לכל צומת $V$ במסלול שהוא קוליידר ($A \to V \leftarrow B$) מתקיים: $V \in E$ או קיים צאצא של $V$ שנמצא ב-$E$.
מסקנה: אם כל המסלולים בין $X$ ל-$Y$ חסומים בהינתן $E$, אזי מובטח כי $X \perp Y \mid E$.
המסלול היחיד הוא $B \to A \leftarrow E$. צומת $A$ הוא קוליידר ואינו מותנה, ולכן המסלול חסום טבעית.
התניה על הקוליידר $A$ פותחת את המסלול בין $B$ ל-$E$ (הסבר חלופי: רעידת אדמה מסבירה את האזעקה).
המסלול $J \leftarrow A \to M$ הוא מזלג. בהינתן $A$, המסלול נחסם לחלוטין.
המסלול $B \to A \to M$ הוא שרשרת סיבתית. בהינתן $A$, השרשרת נחסמת.
3. אלגוריתם 4 השלבים לבדיקת d-separation בגרף מוסרי (השיטה הגרפית השיטתית)
במקום להסתבך עם עשרות מסלולים פוטנציאליים ובדיקת קוליידרים ידנית, מומלץ ליישם את השיטה הגרפית של הגרף המוסרי (Moralized Ancestral Graph). שיטה זו הופכת כל שאלת d-separation לבדיקת קשירות פשוטה בגרף לא-מכוון ב-4 שלבים מהירים:
מסמנים את צמתי השאילתה ($X, Y$) והראיות ($Z$), ומוסיפים את כל אבותיהם הקדמונים בלבד. מוחקים מהגרף כל צומת שאינו אב של אף אחד מהם!
עבור כל זוג הורים שיש להם ילד משותף בגרף האבות (מבנה קוליידר $\to C \leftarrow$), מותחים קשת ישירה ביניהם ("חיתון ההורים").
מוחקים את כל ראשי החצים והופכים את כל הקשתות בגרף לקשתות לא-מכוונות רגילות (Undirected Graph).
מוחקים פיזית מהגרף את כל הצמתים הנתונים בהתניה ($Z$) יחד עם כל הקשתות המחוברות אליהם.
• אם אין מסלול (נותקו לחלוטין): $X$ ו-$Y$ מופרדים בייסיאנית $\implies \mathbf{X \perp Y \mid Z}$ (מתקיימת אי-תלות מותנית!).
• אם קיים מסלול כלשהו: $X$ ו-$Y$ אינם מופרדים מותנית $\implies \mathbf{X \not\perp Y \mid Z}$ (תלויים מותנית).
📝 שני תרגילי מבחן שלמים בשיטת הגרף המוסרי (רשת 7 הצמתים: A, B, C, D, E, F, G)
נתונה רשת בייסיאנית בעלת הקשתות: $A \to C, \; B \to C, \; C \to D \to E \to G, \; C \to F \to G$.
מעבדת d-Separation וזרימת כדורי Bayes-Ball
בחרו מתוך 7 תרחישי רשת מורכבים, הצלילו צמתים (הוסיפו ראיות), ושגרו כדורי בייס כדי לבחון בזמן אמת האם הם מצליחים לעבור או נחסמים בקוליידרים ושרשראות.
אלגוריתמי הסקה מדויקת ומקורבת (Exact & Approximate Inference)
כיצד עונים על שאילתות הסתברותיות בפועל? אלגוריתם העלמת משתנים (Variable Elimination), פעולות על פקטורים, עצי קליקות, ושיטות דגימה סטוכסטיות: שקלול נראות (Likelihood Weighting) ודגימת גיבס (MCMC).
להבין את האינטואיציה שמאחורי הקלעים: בין דיוק מתמטי מושלם להדמיות מונטה-קרלו מהירות
לאחר שבנינו רשת בייסיאנית, אנו רוצים להציג לה שאילתות הסקה מעשיות: מה ההסתברות למחלה מסוימת בהינתן בדיקות דם חיוביות? חישוב מדויק על ידי סכימה ישירה על פני כל המשתנים החבויים הוא בלתי מעשי (בעיה שהוכחה כ-NP-hard). אלגוריתם העלמת משתנים (Variable Elimination) מייעל את החישוב דרך ניהול פקטורים חכם. אולם ברשתות צפופות עם מאות או אלפי צמתים, אפילו VE אינו מסוגל לעמוד בעומס. כאן נכנסות לתמונה שיטות ההסקה המקורבת: דגימה ישירה, Rejection Sampling, Likelihood Weighting, ודגימת גיבס (MCMC). נלמד כיצד מחשב מגיע לקירוב פנטסטי באמצעות "הטלת קוביות" סטוכסטית מבוקרת.
💡 אינטואיציה בגובה העיניים: הוצאת גורם משותף מול סקר טלפוני והטלת מטבעות
כדי לחשב את הביטוי האלגברי $a \cdot b + a \cdot c$, אפשר לבצע שני כפלים וחיבור אחד, או להוציא גורם משותף: $a \cdot (b + c)$ – חיבור אחד וכפל אחד בלבד! אלגוריתם העלמת משתנים (VE) עושה בדיוק את זה: הוא "דוחף" את סימני הסכימה פנימה לתוך המכפלה, ומסכם משתנים מקומיים לפני שהם מתנפחים בטבלה הגלובלית. ומנגד, שיטות דגימה (מונטה-קרלו) דומות לסקר בחירות ארצי: במקום לשאול את כל 9 מיליון האזרחים כדי לדעת מי ינצח (חישוב שלם ויקר), דוגמים 1,000 איש באקראי. בשיטת דגימת משקל נראות (Likelihood Weighting), אנו "מאלצים" את המשתנים שנצפו בעדות לקבל את ערכם, ומעניקים לכל דגימה "משקל" לפי מידת ההתאמה שלה. התוצאה המנורמלת מתכנסת להסתברות האמיתית בדיוק מרשים ובמהירות שיא.
⚙️ אלגוריתם העלמת משתנים (Variable Elimination - VE)
בשאילתת הסקה טיפוסית אנו מבקשים לחשב את ההתפלגות $P(X \mid E=e)$, כאשר $X$ הוא משתנה השאילתה, $E$ קבוצת הראיות שנצפו, ו-$Y$ הם שאר המשתנים הנסתרים ברשת. הסקה במנייה ישירה מחשבת שוב ושוב את אותן מכפלות, בסיבוכיות זמן מעריכית $O(n \cdot 2^n)$.
אלגוריתם Variable Elimination משתמש בתכנות דינמי (Dynamic Programming): הוא מאחסן תוצאות ביניים במבני נתונים הנקראים פקטורים (Factors), ומסכם משתנים בזה אחר זה מימין לשמאל תוך הוצאת גורמים קבועים מחוץ לסוגריים (חוק הפילוג).
שילוב שני פקטורים לפי איחוד המשתנים שלהם:
לכל שורה, הערך הוא מכפלת הערכים המתאימים להצבת המשתנה המשותף $Y$.
העלמת משתנה $Y$ על ידי סכימת ערכיו:
המשתנה $Y$ נעלם מהפקטור ואינו תופס עוד זיכרון.
הסיבוכיות של אלגוריתם VE נקבעת לפי גודל הפקטור הגדול ביותר שנוצר במהלך החישוב. בחירת סדר העלמה גרוע עלולה לייצר פקטור הכולל עשרות משתנים במקביל ולהפיל את המערכת. מציאת סדר ההעלמה האופטימלי היא בעיה NP-קשה, התלויה ברוחב העץ של הגרף המוסרי (Moral Graph). לכן ברשתות ענק משתמשים בהיוריסטיקות כמו Min-Degree או Min-Fill.
🎲 הסקה מקורבת בשיטות דגימה (Approximate Inference by Sampling)
כאשר הרשת צפופה או גדולה מדי להסקה מדויקת, משתמשים באלגוריתמי מונטה קרלו (Monte Carlo) הדוגמים מצבים ומעריכים את ההסתברויות לפי תדירות הדגימות.
מייצרים דגימות מלאות לפי סדר טופולוגי, וזורקים כל דגימה שאינה תואמת לראיות $E=e$.
חסרון קטלני: אם הראיה נדירה ($P(e)=10^{-5}$), נזרוק 99.999% מהדגימות לפח!
כופים על משתני הראיה את ערכם הנצפה. הדגימה לעולם אינה נזרקת! כל דגימה מקבלת משקל:
שומרת על מצב עולמי מלא. בכל שלב בוחרת משתנה חופשי $X_i$ ודוגמת לו ערך חדש מותנה בשריון מרקוב שלו:
מנועי הסקה: העלמת משתנים מול דגימה סטוכסטית
הריצו את מנוע ה-Variable Elimination צעד-אחר-צעד, צפו בטבלאות הפקטורים הנוצרות בזיכרון, והשוו את מהירות ההתכנסות מול אלגוריתמי דגימת שקלול נראות וגיבס.
רשתות דינמיות (DBNs), למידת מבנה וסולם הסיבתיות של פרל
כיצד מודלים בייסיאניים מתמודדים עם שינוי לאורך ציר הזמן? פריסת 2-TBN, למידת פרמטרים ומבנה מנתונים, ושלושת שלבי סולם הסיבתיות (The Ladder of Causation) של חתן פרס טיורינג ג'ודיה פרל.
להבין את האינטואיציה שמאחורי הקלעים: זמן, סיבתיות וסולם היכולות של בינה מלאכותית אמיתית
העולם שבו סוכן פועל אינו תמונה סטטית; הוא משתנה ברציפות על פני ציר הזמן. רשתות בייסיאניות דינמיות (DBNs) מניחות את הנחת מרקוב מדרגה ראשונה ($X_t$ תלוי רק ב-$X_{t-1}$) כדי לאפשר סינון (Filtering), חיזוי (Prediction) והחלקה לאחור (Smoothing). אך ההבנה המרגשת ביותר של תחום ה-AI בעשור האחרון מגיעה מתורת הסיבתיות של יהודה פרל. מודלי למידת מכונה רגילים תקועים כולם בשלב 1 בסולם (קורלציות סטטיסטיות). סוכן אינטליגנטי אמיתי חייב לדעת לבצע התערבות פעילה ($do(X)$) ואף לדמיין עולמות מקבילים (Counterfactuals).
💡 אינטואיציה בגובה העיניים: תרנגול שקורא בזריחה מול תרופה שמצילה חיים
תרנגול קורא בכל בוקר, ורגע לאחר מכן השמש זורחת. מבחינה סטטיסטית טהורה (שלב 1 בסולם פרל: Association), הקורלציה בין קריאת התרנגול לזריחה היא 1.0! מודל AI רגיל יסווג את קריאת התרנגול כ"אינדיקטור מושלם". אך כיצד נבדיל בין קורלציה לסיבתיות אמיתית? נבצע התערבות יזומה (שלב 2 בסולם פרל: Intervention / אופרטור $do$): נחזיק את מקור התרנגול סגור בבוקר ($do(\text{No Crow})$). מה יקרה? השמש עדיין תזרח בדיוק בזמן! מכאן שקריאת התרנגול אינה הסיבה לזריחה. היכולת להבדיל בין התבוננות סבילה לבין פעולה בעולם ולהבין "מה היה קורה אילו" (שלב 3: Counterfactuals) היא ההבדל בין חיזוי נתונים עיוור לתבונה אמיתית.
⏳ רשתות בייסיאניות דינמיות (Dynamic Bayesian Networks)
בעולם האמיתי מצבי הסביבה משתנים בזמן (למשל: מיקום מטוס, מדדי חולה בטיפול נמרץ, מחיר מניה). DBNs מייצגות תהליך זמני על ידי שכפול משתני המצב לאורך פרוסות זמן בדידות ($t=0, 1, 2, \dots$).
העתיד בלתי תלוי בעבר בהינתן ההווה. המצב הנוכחי מכיל את כל המידע ההיסטורי הדרוש.
התצפית הנוכחית $E_t$ תלויה אך ורק במצב האמיתי הנוכחי $X_t$.
🪜 סולם הסיבתיות של פרל (The Ladder of Causation)
ג'ודיה פרל (חתן פרס טיורינג על פיתוח רשתות בייסיאניות) הוכיח כי קיימת היררכיה חמורה של שאלות מדעיות, שאינן ניתנות למענה באותה רמת מודל:
כאשר אנו כופים פעולה $do(X=x)$ (למשל: כפיית מתן תרופה בניסוי קליני), אנו גוזרים ומוחקים את כל הקשתות הנכנסות ל-$X$ בגרף! מדוע? מכיוון שההחלטה ליטול את התרופה אינה תלויה עוד בגורמים טבעיים (כמו מצב כלכלי או גיל), אלא בהתערבות החיצונית של הניסוי. כך מנוטרלים כל המשתנים המבלבלים (Confounders).
- חוק החיבור: $P(A \lor B) = P(A) + P(B) - P(A \land B)$
- חוק בייס: $P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)}$
- פקטוריזציית BN: $P(X_1,\dots,X_n) = \prod P(X_i \mid Parents(X_i))$
- שריון מרקוב: $Parents(X) \cup Children(X) \cup OtherParents(Children(X))$
- משקל LW: $w = \prod_{z \in E} P(z \mid Parents(z))$
- מלכודת הקוליידר: $X \to Y \leftarrow Z$ חסום טבעית, אך נפתח ברגע שמתנים על $Y$ או על אחד מצאצאיו!
- מלכודת השרשרת: $X \to Y \to Z$ פעיל טבעית, אך נחסם בהתניה על $Y$.
- כשל שיעור הבסיס: לא לשכוח לכפול בהסתברות הא-פריורית $P(Cause)$!
- חוק המכפלה בדגימת דחייה: שיעור הדחייה נוסק ככל שראיות נדירות יותר.
צ'יט-שיט מאסטר בהסתברות, 10 מלכודות בחינה וגשר ללמידת מכונה
מטריצת השוואה מקיפה בין מנועי הסקה הסתברותית, עשר המלכודות הנפוצות ביותר בבחינות ברשתות בייסיאניות ו-d-separation, מילון מונחים מקצועי עברי-אנגלי, והכנה פדגוגית לקראת פרק 9: למידת מכונה וקבלת החלטות.
1. מטריצת השוואה כוללת בין מנועי הסקה בהסתברות (Inference Engines Matrix)
| אלגוריתם / גישה | סוג הסקה | סיבוכיות זמן ומקום | יתרונות מרכזיים | מגבלות ומתי להשתמש במבחן |
|---|---|---|---|---|
| מנייה ישירה (Enumeration) | מדויקת | $O(d^n)$ זמן, $O(n)$ מקום | פשוט ואינטואיטיבי, מחשב סכום ישיר של מכפלות על פי כלל השרשרת. | סובל מחישובים חוזרים ונשנים. לא מעשי לרשתות מעל 20 משתנים. מופיע במבחן כבסיס השוואה. |
| העלמת משתנים (Variable Elimination) | מדויקת | $O(n \cdot d^k)$ זמן ומקום ($k$ = רוחב העץ) | דוחף סכימות פנימה, ממחזר פקטורים חלקיים ומונע כפילות חישובים לחלוטין. | NP-hard במקרה הגרוע (רשתות צפופות). ביצועיו תלויים קריטית בסדר העלמת המשתנים. האלגוריתם המרכזי במבחן! |
| דגימת דחייה (Rejection Sampling) | מקורבת | $O(N \cdot n)$ זמן, $O(n)$ זיכרון זעיר | דוגמת עולמות מלאים לפי סדר טופולוגי, אינה דורשת מניפולציות אלגבריות על פקטורים. | דוחה וזורקת לפח את כל הדגימות שאינן תואמות את הראיה $e$. קורסת כש-$P(e)$ קטן מאוד. |
| משקל נראות (Likelihood Weighting) | מקורבת | $O(N \cdot n)$ – אף דגימה לא נזרקת! | מקבעת משתני ראיה ומשקללת כל דגימה במכפלת ההסתברויות $w = \prod P(e_i | parents)$. | המשקלים עלולים לדעוך לאפס אם הראיות מרובות ונמצאות במורד הגרף (Leaves). יעילה במיוחד כשהראיות קרובות לשורש. |
| דגימת גיבס (Gibbs Sampling / MCMC) | מקורבת (MCMC) | $O(N \cdot k)$ זמן, $O(n)$ מקום מינימלי | דוגמת משתנה אחד בכל צעד בהינתן שריון מרקוב שלו (הורים, ילדים והורי הילדים). | דגימות עוקבות הן מתואמות (לא בלתי-תלויות). דורשת תקופת "שריפה" (Burn-in) עד להגעה להתפלגות סטציונרית. |
| העברת הודעות (Belief Propagation) | מדויקת לפוליתר | $O(n \cdot d^2)$ ליניארי לעצים! | אלגוריתם מקומי מבוזר של פרל: הודעות $\pi$ (מלמעלה למטה) והודעות $\lambda$ (מלמטה למעלה). | מדויק אך ורק בגרפים ללא מעגלים לא-מכוונים (Polytrees). ברשתות כלליות מצריך עץ צמתים (Junction Tree). |
2. עשר מלכודות הבחינה הנפוצות ביותר בפרק 8 (רשתות בייסיאניות והסתברות)
$P(A, B) = P(A)P(B)$ אינו גורר $P(A, B | C) = P(A | C)P(B | C)$, ולהפך! הדוגמה הקלאסית היא קוליידר: שתי קוביות נפרדות הן בלתי-תלויות, אך בהינתן סכומן ($C = A + B$), הן תלויות לחלוטין!
בקוליידר ($X \to Z \leftarrow Y$), הנתיב נפתח לא רק אם מתנים על $Z$ עצמו, אלא גם אם מתנים על כל צאצא של $Z$! אם $Z \to W$ ומתנים על $W$, הנתיב בין $X$ ל-$Y$ נפתח לזרימת מידע.
סטודנטים רבים זוכרים ששריון מרקוב כולל הורים וילדים, אך שוכחים את הורי הילדים האחרים (Spouses). מדוע הם נחוצים? כי הילד המשותף מהווה קוליידר ביניהם, ולכן התניה על הילד פותחת תלות מולם!
בעת חישוב התפלגות מותנית $P(Q | e)$, התוצאות היחסיות שמקבלים אינן מסתכמות ל-1! חובה תמיד לחשב את קבוע הנרמול $\alpha = \frac{1}{\sum \text{values}}$ ולכפול בו כדי לקבל הסתברויות תקניות.
עבור צומת בוליאני עם $k$ הורים בוליאניים, הטבלה מכילה $2^k$ שורות, ובכל שורה נדרש רק פרמטר חופשי אחד (כי $P(\neg X) = 1 - P(X)$). סך הפרמטרים ברשת: $\sum_{i} 2^{|Parents(X_i)|}$.
במבחנים נפוצה השאלה על בדיקה עם דיוק של 99%. כשהמחלה נדירה ($P(D) = 0.001$), ההסתברות להיות חולה בהינתן תוצאה חיובית נמוכה מ-10%! אסור לבלבל בין $P(\text{Pos} | \text{Disease})$ לבין $P(\text{Disease} | \text{Pos})$.
כל סדר העלמה תקף ומחזיר את אותה התוצאה המדויקת, אך סדר גרוע יכול ליצור פקטור ענק בגודל $O(d^n)$, בעוד שסדר חכם ישמור על פקטורים קטנים בגודל $O(d^3)$. מציאת הסדר האופטימלי היא עצמה NP-hard!
בדגימת LW, המשקל $w$ מוכפל בהסתברות אך ורק כאשר מגיעים לצומת שנצפה בעדות ($X \in E$). צמתים שאינם בעדות נדגמים רגיל לפי ה-CPT שלהם ואינם משפיעים ישירות על $w$!
רשת DBN מניחה ש-$P(X_t | X_{0:t-1}) = P(X_t | X_{t-1})$. אם העולם תלוי בשני צעדי זמן אחורה, חובה להרחיב את וקטור המצב כך שיכיל $(X_t, X_{t-1})$ כדי לשמר את תכונת מרקוב.
$P(Y | X)$ הוא הסתברות מותנית בהתבוננות סבילה. $P(Y | do(X))$ הוא הסתברות בעת התערבות פעילה שמנתקת (חותכת) את כל החצים הנכנסים ל-$X$ בגרף! אסור לבלבל ביניהם בניתוח סיבתי.
3. מילון מונחים מקצועי עברי-אנגלי מקיף (Glossary)
4. הגשר הפדגוגי: מאיפה מגיעות ההסתברויות? זינוק לפרק 9 (למידת מכונה)
בפרק 8 פיתחנו ארגז כלים שלם להסקה הסתברותית: למדנו כיצד לחשב הסתברויות של מחלות בהינתן תסמינים, כיצד לעדכן אמונות בעזרת חוק בייס, וכיצד רשתות בייסיאניות מייצגות קשרי תלות מורכבים בצורה חסכונית.
אולם בכל הדוגמאות הללו הנחנו הנחה סמויה מכרעת: שטבלאות ההסתברות (CPT) וצורת הגרף כבר ניתנו לנו מראש בידי מומחה אנושי!
מה קורה בעולם האמיתי, כשאין בנמצא רופא או מהנדס שיגדיר לנו כל מספר ומספר? כאן בדיוק נולדת למידת המכונה (Machine Learning), נושא הלימוד המרכזי של פרק 9! בפרק הבא נגלה כיצד סוכן תבוני יכול ללמוד את טבלאות ההסתברות ישירות מתוך מאגרי נתונים גולמיים (ספירת שכיחויות, Maximum Likelihood Estimation, אלגוריתם EM לנתונים חלקיים), וכיצד מודלים הסתברותיים מובילים לקבלת החלטות תחת תועלת (Utility Theory ומודלי MDP).