פרק 166: לבנות AI או להשתמש ב-AI? פרופ' נדב כהן על רשתות עמוקות, מפעלים ומודלי עולם

אפשר לשלוח כמעט כל דבר לקלוד ולקוות לטוב, חוץ ממפעל. בפרק הזה של Explainable מתארח פרופ' נדב כהן, מי שהנחה באוניברסיטת תל אביב את המפגש עם סם אלטמן ואיליה סוצקבר מול אולם עם כשלושת אלפים איש, ואנחנו הולכים איתו הרבה יותר עמוק: מהמתמטיקה שמסבירה למה עומק ברשתות נוירונים בכלל עובד, ועד לשאלה מה קורה כשמודל שולט על תשתית קריטית והתולרנטיות לטעויות היא אפס.מה בפרק• איך הגיע מקורס טייס ליחידה טכנולוגית, ומשם לאלגוריתמים על מערכות פיזיות• ההרצאה של אמנון שעשוע שאחריה שלח מייל ועבר לאוניברסיטה העברית• המאמר מ-2016: למה עומק נותן יתרון אקספוננציאלי, ומה זה אומר בפועל• למה ההשפעה של תיאוריה על התעשייה עוברת הרבה פעמים דרך אינרציה• ההבדל בין לבנות AI לבין להשתמש ב-AI וכמה הוא גדול• למה מספר הנרשמים למדעי המחשב יורד, ואיך המחלקות מגיבות• פרודוקטיביות: איפה זה 1000X ואיפה זה כמעט לא נמדד• אימיוביט: טייס אוטומטי למפעלים של ייצור רציף נפט, מלט, כימיקלים, מזון ופרמה• דטרמיניזם ואקספלנביליות, וארכיטקטורות שבנויות להיות אקספלנביליות מראש• מה זה מודל עולם, ובמה הוא שונה ממודל שפה• למה הניסיון להעביר ידע ממפעל למפעל נכשל שוב ושוב• אקדמיה מול תעשייה שלוש שנים אחרי הבמה עם אלטמן וסוצקבר• ולסיום: מה הוא ממליץ לבני 16-17 שרוצים קריירה מרשימהפרקים0:00 פרופסור וגם סלב: מי זה נדב כהן2:23 מקורס טייס ליחידה טכנולוגית5:49 ההרצאה של אמנון שעשוע ששינתה כיוון10:17 למה עומק נותן יתרון אקספוננציאלי14:55 כדאי עוד ללמוד מדעי המחשב?16:37 לבנות AI מול להשתמש ב-AI24:19 אימיוביט: טייס אוטומטי למפעל27:06 פיזיקל AI: כשהמחיר של טעות גבוה29:43 מה זה בעצם מודל עולם35:30 למה הטרנספר בין מפעלים נכשל37:38 אקדמיה מול תעשייה, שלוש שנים אחרי41:52 עצה לבני 16 ומסיבת קלודעל האורחפרופ' נדב כהן התגייס לקורס טייס, ואחרי שנתיים חתם ויתור ועבר ליחידה הטכנולוגית מצו״ב, שם התחיל לעסוק באלגוריתמים מתמטיים על מערכות פיזיות. אחרי השחרור הקים יחד עם אחיו גוף ייעוץ בתחום האירוספייס והדיפנס, שהפך לימים לחברה שנמכרה למלנוקס — היום NVIDIA. למד הנדסת חשמל ומתמטיקה בטכניון במסלול מצטיינים, ואחרי הרצאה של אמנון שעשוע עבר לאוניברסיטה העברית לתואר שני ולדוקטורט במסלול ישיר, שם פרסם סדרת מאמרים על השקילות בין רשתות נוירונים לפירוקי טנזורים. אחרי הדוקטורט עבר לפרינסטון, והקים עם שותפים את אימיוביט (Imubit), שבונה אופטימיזציה לייצור במפעלים של ייצור רציף. כיום פרופסור, מלמד קורסים מתקדמים ומנחה דוקטורנטים.