אבי הבינה המלאכותית: "אם הבטיחות חשובה לכם - עזבו את חברות ה-AI"

בנג'יו: המנהלים מדברים על הסכנה, אבל אינם עושים מספיק

במכתב שפורסם במגזין Transformer והועלה גם לאתרו האישי, טוען בנג'יו שמאמצי הבטיחות בחברות אינם מצליחים להאט את המרוץ המסוכן, משום שהם מתנגשים עם המטרה העסקית של השקת המודל הבא.

הביקורת מכוונת במפורש לשלושה מבכירי התעשייה: דריו אמודאי, מנכ"ל Anthropic; סם אלטמן, מנכ"ל OpenAI; ודמיס הסביס, מנכ"ל Google DeepMind.

בנג'יו מזכיר כי שלושתם הזהירו בעבר מפני הסיכונים, ואף מתייחס להופעותיהם של אמודאי ואלטמן במועצת הביטחון של האו"ם.

אלא שלדבריו, קיים פער בין ההצהרות לבין התנהלות החברות.

המסקנה שלו חריפה: אם חוקרי הבטיחות באמת מאמינים בסכנה, עליהם לעזוב את חברות ה-AI המתקדמות.

הוא מציע לעבור למכוני בטיחות עצמאיים, לארגונים ללא מטרת רווח או ל-LawZero, הארגון שהקים לפיתוח מערכות AI בטוחות מלכתחילה.

יותר מ-200 מיליון דולר לפיתוח AI בטוח

בנג'יו מציין במכתבו כי ממשלות קנדה וגרמניה התחייבו בחודש הנוכחי להעמיד יותר מ-200 מיליון דולר לטובת LawZero.

לדבריו, קיימת תוכנית לגייס מיליארדים נוספים.

הסכום הוא הצהרה של בנג'יו לגבי התחייבויות ממשלתיות, ולא דיווח על כסף שכבר הועבר במלואו לארגון.

הארגון מבקש לפתח גישה חלופית לבניית AI, שבה בטיחות המערכת היא חלק מהארכיטקטורה הבסיסית שלה ולא שכבת הגנה שנוספת לאחר האימון.

זהו ניסיון ליצור מסלול פיתוח שאינו כפוף ללחץ בעלי מניות להשיק מודלים חדשים במהירות.

הקשר הישיר לאזהרת אמודאי

בניגוד לפרסומים כלליים על סיכוני AI, המכתב החדש מתייחס ישירות למנהלים העומדים במרכז הוויכוח שהחריף בעקבות מאמרו של אמודאי מ-12 בספטמבר.

עם זאת, אין מדובר בתגובה מפורשת למאמר עצמו, אלא בביקורת על הפער בין אזהרותיהם של מנהלי המעבדות לבין פעולותיהם.

כאן נמצא החידוש החשוב: בעוד אמודאי מבקש להאט את פיתוח המודלים מתוך החברות, בנג'יו מטיל ספק ביכולתן של החברות להוביל את המהלך בעצמן.

מדובר בעמדתו של בנג'יו, ולא בהוכחה שהחברות אינן מבצעות בדיקות בטיחות משמעותיות.

גם טענותיו על סוכני AI היוצאים משליטה ועל הסיכון לאסון אינן קובעות שאסון כזה יתרחש.

המשמעות למשקיעים

ההתפתחות מוסיפה ממד חדש לסיכוני הממשל התאגידי של חברות הבינה המלאכותית.

אם חוקרים בכירים יבחרו לעזוב מעבדות מסחריות לטובת ארגוני בטיחות עצמאיים, החברות עלולות להתמודד עם תחרות מוגברת על כוח אדם מקצועי ועם צורך להוכיח שמנגנוני הביקורת שלהן אפקטיביים.

מנגד, התרחבות המחקר העצמאי עשויה לשפר את יכולתן של חברות וממשלות להעריך סיכונים לפני אימוץ מערכות AI מתקדמות.

בשלב זה אין ראיה לגל התפטרויות שנגרם ממכתבו של בנג'יו, ואין בסיס לייחס לו תנודות במניות Nvidia, Microsoft, Alphabet או חברות אחרות.

השורה התחתונה

המחלוקת עולה מדרגה: אמודאי דורש להאט את המרוץ, בנג'יו טוען שהחברות אינן מסוגלות לעשות זאת בעצמן וקורא לחוקרים לעזוב.

זו אינה עוד אזהרה כללית מפני AI. זו קריאה ישירה לשינוי בהתנהלותם של האנשים שבונים את המודלים המתקדמים בעולם.

עד למועד הבדיקה לא אותרה תגובה פומבית חדשה ומאומתת של אמודאי, אלטמן או הסביס למכתבו של בנג'יו.