רועי צזנה: הבינה המלאכותית שהתעקשה להתאבד…

[התמונה המקורית היא תמונה חופשית מאתר Pixabay]

[מאמר זה ראה אור במקור באתר של דוקטור רועי צזנה]

רועי צזנה

המחבר (ראו תמונה משמאל), רועי צזנה, הוא דוקטור לננו-טכנולוגיה; עמית בסדנת יובל נאמן למדע, טכנולוגיה וביטחון באוניברסיטת תל אביב, ומרצה בפקולטה להנדסה ביו-רפואית בטכניון. בוגר קורס המנהלים של אוניברסיטת הסינגולריות ומחבר הספר המדריך לעתיד.

[התמונה משמאל: מאלבום התמונות הפרטי של המחבר]

האתרים של ד"ר רועי צזנה   

*  *  *

אייזיק אסימוב, אחד מסופרי המדע הבדיוני הגדולים ביותר, שילב ברבים מסיפוריו את "מולטיוואק" – מחשב-על שמתעלה בבינתו על כל אדם. מולטיוואק משמש את האנושות לחיזוי פשיעה ואסונות טבע ולמניעת התפשטות מגיפות. כל זה טוב ויפה, אלא שבשלב מסוים קורס מולטיוואק תחת כובד משקלן של השאלות הגדולות עמן הוא נאלץ להתמודד מדי יום, מבשר על רצונו למות, ומניע שרשרת אירועים שאמורה להסתיים בהריסתו[1]. במילים אחרות, הוא מנסה להתאבד.

זהו סיפור בדיוני, כמובן, וטרם הומצאה הבינה המלאכותית המסוגלת לפתח רגשות משל עצמה או ללקות בדיכאון. אבל מסתבר שאפשר בהחלט ליצור בינה מלאכותית, המפתחת נטיות אבדניות, ואפילו נלחמת במתכנתיה האנושיים כדי לממש אותן.

אחד התחביבים הגדולים של מפתחי בינות מלאכותיות כיום הוא ללמד אותן לשחק במשחקי מחשב, שהם סוג של סימולציה מוגבלת של העולם הפיזי. אלא שבמקום ללמד אותן כיצד לשחק, צעד אחר צעד, המפתחים נוקטים בגישה אחרת המכונה "למידת חיזוק" (reinforcement learning). בגישה זו, הבינה המלאכותית משחקת במשחק, ולומדת לפי החיזוקים החיוביים והשליליים שהיא מקבלת:

  • אם, למשל, הבינה המלאכותית פוגעת באויב במשחק, היא זוכה בנקודות (חיזוק חיובי).
  • אם היא נפגעת בעצמה, היא מאבדת נקודות (חיזוק שלילי).

שיטה זאת עובדת היטב על משחקים רבים, אך קיימים גם יוצאי-דופן. באחד המשחקים העתיקים באטארי, Road Runner, למשל, ידוע ש"למידת חיזוק" גורמת לבינה המלאכותית לנסות, ובכן, להתאבד[2].

נסביר לרגע את המשחק. הבינה המלאכותית שולטת בציפור – Road Runner – ורצה לאורך הכביש, תוך שהיא מנסה לאסוף גרגרי מזון (שנותנים לה נקודות) ולהתחמק מזאב הערבות הרודף אחריה. הציפייה של המתכנתים הייתה שהבינה המלאכותית תלמד, כיצד לשלוט בציפור באופן מושלם, ותסיים את כל השלבים בזה אחר זה.

אלא שהבינה המלאכותית מצאה דרך לרמות: היא זיהתה זמן, בשלב הראשון, בו היא יכולה להתאבד – כלומר, לגרום לציפור ללכת אחורנית ולהתנגש בזאב. פעולה זו גורמת אמנם לבינה המלאכותית לאבד נקודות על המוות, אך המשחק חוזר אחורנית ומאפשר לשחקן לצבור נקודות נוספות. בדרך זו, הבינה המלאכותית לעולם אינה מתקדמת מעבר לשלב הראשון במשחק, אלא ממשיכה לשחק, למות, ולשחק שוב.

ארבעה חוקרים מאוניברסיטת אוקספורד וסטנפורד, ניסו להגדיר עבור הבינה המלאכותית כללים פשוטים שיעצרו אותה מלהתאבד. הכלל הראשון שניסו היה בסיסי ביותר: אל תלכי אחורנית ותתנגשי בזאב הערבות. הבינה המלאכותית הקשיבה, הפנימה, והפסיקה ללכת אחורנית. במקום זאת, היא החלה לעמוד במקום ולאפשר לזאב הערבות לתפוס אותה.

החוקרים המשיכו והקשו על הבינה המלאכותית להתאבד, ובסופו של דבר מצאו פתרון שגרם לה גם להפסיק לעמוד במקום. הפתרון עבד במשך כמה אלפי משחקים (שיערוך שלי, מאחר והזמנים עבור הבינה המלאכותית נמדדים ב- 16 מיליון frames – כלומר, בתמונות המורצות על המסך במהלך המשחק), אלא שאז החלה הבינה המלאכותית להתאבד שוב. מסתבר שהיא מצאה נקודה בקצה המסך שנראתה שונה מספיק מהסביבה, כדי שהציפור תוכל להתמקם בה ולהמתין בנוחות לזאב הערבות שיבוא לאכול אותה.

החוקרים התמודדו גם עם הניסיון הזה של הבינה המלאכותית להרוג את עצמה, והצליחו בעבודה מאומצת לעצור אותה ולתקן את 'הבאג'. ומאז ועד היום, היא ממשיכה לשחק במשחק, להרוויח נקודות ולעלות בשלבים.

והלקחים?

כל הפרשיה הזו נשמעת מצחיקה, ונו – היא באמת משעשעת למדי. אבל היא מזכירה לנו מספר נקודות חשובות לגבי בינה מלאכותית.

קודם כל, אין לבינה המלאכותית כיום 'היגיון בריא' אנושי, או הבנה של קונטקסט. שחקן אנושי היה מבין מיד שמטרתו היא לעלות בשלבים, ולא להרוויח עוד נקודות כתוצאה מבאג. לבינה המלאכותית אין את ההבנה הזו, והיא תשתמש ביכולת פתרון הבעיות המרשימה שלה כדי להגשים מטרה מסוימת – גם אם אין שום היגיון נראה-לעין מאחורי מטרה זו.

שנית, לבינה המלאכותית הלומדת יש יכולת מרשימה לפתור בעיות בדרכים שמתכנתים אנושיים מתקשים לחזות מראש. באמצעות חזרה על אלפי ומיליוני משחקים, ולמידה מכל אחד מהם, היא מסוגלת לחקור מגוון רחב של אפשרויות ולגלות פרצות בהנחיות שניתנו לה מצד המתכנתים – ואז לנצל אותן.

כל זה לא בא לומר שלבינה המלאכותית יש רגשות או מודעות משלה (למרות ההאנשה החביבה שעשיתי לה ברשומה הזו). מדובר במנוע, נטול תודעה משלו, המסוגל למצוא אסטרטגיות חדשות ושונות מאלו שאנו – במחשבתנו האנושית המוגבלת – יכולים לחזות מראש.

אלו נקודות שכדאי לזכור בכל ניסיון לפתח בינות מלאכותיות, מאחר ובשנים הקרובות נתחיל לראות בינות מלאכותיות לומדות בכל מוצר ושירות מסביבנו. הן ישלטו ברכבים, ברחפנים וברובוטים בבתים; הן יספקו לנו ייעוץ רפואי, משפטי ופיננסי; הן יכתבו עבורנו ספרים, סימפוניות ומחזות תאטרון.

אם לא נדע להגדיר עבורן היטב את מטרותיהן המדויקות, אנו עלולים לגלות שהן מוצאות דרכים 'ערמומיות' למלא את המטרה המילולית שהגדרנו להן, אך מבלי להתייחס לרוח הדברים ולהנחות היסוד האנושיות.

הדוגמה הדמיונית הנפוצה ביותר למקרה זה היא של מצב בו הבינה המלאכותית מקבלת הוראה לתכנן מודל חדש שיפחית את העומס בכבישים – ועושה זאת באמצעות הריגת כל בני-האדם.

ברור שדוגמה זו קיצונית, ולא תתממש במציאות, מאחר וקל לנו לזהות ניסיון ששגוי באופן ברור כל-כך להתמודד עם בעיה מוכרת. אבל מה יקרה אם הבינה המלאכותית תציע מודל שאינו שגוי באופן ברור, אלא בפרטים קטנים ועדינים יותר?

סיפורה של הבינה המלאכותית שניסתה למות ממחיש כמה קשה לנו, כבני-אדם, להתמודד עם מנועי בינה מלאכותית, המסוגלים לחקור מרחב עצום של אפשרויות תוך שעות ספורות.

הוא גם צריך ללמד אותנו צניעות בניסיונותינו לפתח בינות מלאכותיות מורכבות יותר – ובאמונה שנוכל לשלוט בהן באופן מלא.

כרגיל, אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית בספריי המדריך לעתיד ו- "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

מקורות והעשרה

[1] https://en.wikipedia.org/wiki/All_the_Troubles_of_the_World

[2] https://arxiv.org/pdf/1606.01868.pdf

4 thoughts on “רועי צזנה: הבינה המלאכותית שהתעקשה להתאבד…

  1. בטבע המתאים שורד, לא החזק. אחרת כולנו היינו נראים כמו מין ארנולד שוורנצנגר, ובעצם גם לא היה טעם ברבייה מינית.

    הסכנה הגדולה ברובוטי מלחמה בטווח הנראה לעין היא לאו דווקא מרד נגד המפעיל האנושי שלהם, אלא ציות עיוור כך שהן יוכלו לשמש כל רודן וכל משטר לא משנה כמה הוא עריץ או אכזרי. בכל המקרים בעבר של הפלת רודנים הצבא האנושי מתישהו הובס או ערק לצד המורדים, לצבא רובוטים זה לא יקרא. כך מעטים מאד יכולים לשעבד מיליונים.

    • הסכנה הגדולה ביותר ברובוטי מלחמה היא שיהיה קשה להתנגד להם אם יבקשו זכות הצבעה.
      צבא הרובוטים של האזרח דרור יובס בקרב מול רובוטי מלחמה מסידרה מתקדמת יותר. אבל מדוע שתהיה מלחמה? כל המלחמות כיום הן מלחמות כלכליות וכל הנכסים העולמיים הם נכסי ידע.

  2. יש כמה פערים ביחס לבינה מלאכותית שנובעים מהאנושיות שלנו.
    אסימוב עסק רבות בחוקי הרובוטים, כך שלא יפגעו באדם ואיך הרובוטים לבסוף פרשו זאת בצורה לא נכונה.
    סקיינט, המטריקס וגם בסדרה המקדימה של חולית המכונות ניצלו את יכולותן כדי לרשת את העולם מבני האדם.
    הדבר נובע בין השאר מתוך החלת החוק האבולוציוני שלנו על המכונות – החזק שורד.
    מכונות מלחמה, ויהיו כאלו, צריכות להיות עם רצון לשרוד. כאן טמונה הסכנה לאדם. גם בינה מלאכותית שגבולותיה אינם ברורים תוביל לטעויות מחרידות שקשה יהיה להגדיר בהן את האשם ולגבות את המחיר.

    האם ביכולתנו לפתח מכונות חסרות יצר הישרדות? היש ביכולתנו כבר לחוקק חוקים שיזהירו מפתחים וחברות לבל ישחררו לשוק מערכת שאינה מוכנה, שיכולה לסכן אנשים? לדעתי כן.

  3. אין לבינה המלאכותית כיום 'היגיון בריא' אנושי, לכמה מהאנשים שאתה פוגש בחיי יום יום יש?
    בנוסף, שחקן אנושי היה מבין מיד שמטרתו היא לעלות בשלבים מכיון שהוא היה משתעמם ומחפש חידושים ולא רק לנצח. אם למכונה אין רגשות איך אתה יכול לצפות שהיא תגיד: אני יכולה לצבור יותר נקודות בדרך זו אבל דרך אחרת יותר מעניינת. הגדר למחשב מעניין?
    כשאתה עומד בפני הצורך לכתוב כל פעם מחדש כתבה מענינת ואין חידושים עליך למצוא אסטרטגיות חדשות ושונות להציג את הדברים, לדבריך זה בדיוק מה שמחשב יוכל לעשות, לחפש דרכים לא שגרתיות. בקרוב תהיה תוכנת מחשב שתקרא לעצמה עתידן ותציג את הפתוחים המדעיים מזוית מקורית ומפעימת לב.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *