קארפ נגד מנהלי ה-AI: אם הטכנולוגיה מסוכנת - למה אתם ממשיכים לפתח אותה?

קולות חדשים בוויכוח שמתפתח

אלכס קארפ, מנכ"ל פלנטיר Palantir -9.73%  , מצטרף לוויכוח שהולך ומחריף בשבועות האחרונים סביב השאלה כיצד ארה"ב צריכה להתמודד עם ההתפתחות המהירה של הבינה המלאכותית. בראיון ל-CNBC הציב קארפ שאלה ישירה בפני מנהלי חברות ה-AI שמזהירים מפני הסיכונים של הטכנולוגיה שהם עצמם מפתחים: אם אתם סבורים שהמערכות מסוכנות כל כך, מדוע אתם ממשיכים לפתח אותן? לדבריו, מי שבונה טכנולוגיה שעלולה לגרום נזק משמעותי צריך להיות אחראי למוצר ולתוצאותיו, ולא לצפות מהממשלה לקחת על עצמה את הסיכון.

קארפ אינו מתנגד עקרונית לרגולציה. לדבריו, יש צורך ב"קווים מנחים סבירים" שניתן לאכוף, אבל האחריות הראשונית צריכה להישאר אצל החברות שמפתחות את המערכות. מבחינתו, אם חברה מאמינה שהטכנולוגיה שלה עלולה לגרום נזק קיצוני, האזהרה הזאת אינה יכולה לשמש במקביל כטיעון להעברת האחריות למדינה. קארפ אף העלה אפשרות שהדרישה של חלק מהחברות לרגולציה נועדה, בין היתר, ליצור להן הגנה מפני חשיפה משפטית.

דיימון: אם תהיה רגולציה - שתהיה פדרלית ו"קלילה"

העמדה של קארפ מצטרפת להתבטאות אחרת מהימים האחרונים, הפעם מצד אחד האנשים הבולטים בעולם הפיננסים. ג'יימי דיימון, מנכ"ל ג'יי-פי מורגן צ'ייס JPMorgan Chase & Co , אמר כי אם ארה"ב תחליט להסדיר את תחום הבינה המלאכותית, הרגולציה צריכה להיות פדרלית ו"קלילה", ולא מערכת של חוקים שונים בכל אחת ממדינות ארה"ב.

דיימון אינו שולל מעורבות ממשלתית, אך מזהיר מפני מצב שבו חברות יידרשו להתמודד עם דרישות שונות בכל מדינה. לדבריו, רגולציה מפוצלת עלולה להקשות מאוד על פעילות מסחרית. במקביל, הוא הדגיש כי גם בתוך הממשלה וגם בתעשייה עדיין אין תשובה ברורה לגבי המודל הנכון של פיקוח, וכי יש חשש שממשלת ארה"ב עלולה להכביד על התחום אם תתערב בצורה רחבה מדי.

ההתייחסות של דיימון הגיעה במסגרת ראיון שבו נשאל גם על תנופת המימון האדירה סביב תעשיית הבינה המלאכותית ועל הסיכונים במקרה שההשקעות בתחום יסתיימו בתרחיש של ירידה חדה בביקוש. לדבריו, ג'יי-פי מורגן בוחן את "רדיוס הפגיעה" האפשרי בתרחיש של תוצאה שלילית במחזור ההשקעות בבינה מלאכותית, במיוחד בכל הקשור למימון מרכזי נתונים. הבנק בוחן בין היתר את מחירי כוח המחשוב, את היכולת של מפעילי מרכזי הנתונים לעמוד בתשלומים ואת החוסן הפיננסי של חברות הטכנולוגיה העומדות מאחוריהם.

כך קארפ ודיימון מגיעים מאותה נקודת מוצא - הצורך להתמודד עם הסיכונים של הבינה המלאכותית - אך מדגישים היבטים שונים. קארפ מתמקד בשאלת האחריות של מי שמפתח את הטכנולוגיה, ואילו דיימון מתמקד בשאלה כיצד צריכה להיראות ההתערבות הממשלתית אם וכאשר היא תגיע. דיימון אינו קורא להיעדר פיקוח, אך מבקש שהוא יהיה מצומצם ואחיד ברמה הפדרלית.

העמדות של שניהם ממחישות מדוע הוויכוח הנוכחי אינו מתחלק פשוט בין "בעד רגולציה" ל"נגד רגולציה". גם בתוך המחנה שתומך באחריות ובפיקוח קיימת מחלוקת על השאלה מי צריך לפקח, כמה רחב צריך להיות הפיקוח, ומה צריכה להיות מידת האחריות של החברות עצמן.

אנבידיה: אפשר להתקדם מהר - אבל לא מהר מדי

אחד הקולות הבולטים בצד המתנגד להאטה הוא ג'נסן הואנג, מייסד ומנכ"ל אנבידיה. רק השבוע הוא התנגד במפורש לקריאות להאט את פיתוח מערכות הבינה המלאכותית, וטען שאין צורך בחוקים חדשים המיועדים במיוחד לבינה מלאכותית. לדבריו, בטיחות היא בראש ובראשונה בעיה הנדסית ולא משפטית, וכי החברות שמפתחות את המערכות צריכות להיות אחראיות לבדיקתן.

עם זאת, ההתבטאות של הואנג היום הייתה זהירה יותר בכל הנוגע לבטיחות המוצרים. באירוע שכינס המלך צ'ארלס בסקוטלנד עם בכירים בתעשיית הבינה המלאכותית, אמר הואנג כי החברות צריכות לבצע בדיקות מחמירות יותר לפני שהן משחררות מערכות לציבור. לדבריו, אם מוצר אינו מוכן לשימוש, יש לעכב את השקתו. הוא סיכם את הגישה במשפט: "צריך להתקדם מהר ככל האפשר, אבל לא מהר יותר מזה".

• קורוויב נופלת 7% והאג"ח בשפל - הבחירות מוסיפות איום חדש על מרכזי הנתונים
• החוקר הישראלי שבנה מודלי וידאו בגוגל וב-Runway גייס 7 מיליון דולר כדי להמציא מחדש את הקניות

ההבחנה חשובה: הואנג אינו קורא להאטה כוללת של התפתחות הבינה המלאכותית ואינו תומך ברגולציה ממשלתית חדשה. הוא מדבר על אחריות של החברות עצמן, על בדיקות ועל אי-שחרור מוצרים שאינם מוכנים. בכך הוא מציע למעשה מודל של פיקוח עצמי ובקרות הנדסיות, בניגוד לדרישה להאטה מתואמת או למסגרת רגולטורית חדשה.

הגישה של הואנג מתיישבת גם עם התחזית העסקית שהוא מציג למשקיעים. בסוף אוגוסט אמר כי תחזיות הביקוש מצד לקוחות אנבידיה מצביעות על אפשרות שמכירות שבבי הבינה המלאכותית של החברה יוכפלו בשנה הבאה. בתחילת ספטמבר הרחיב ואמר כי הכנסות החברה צפויות להמשיך לצמוח בקצב חריג גם עד סוף השנה הבאה.

הנתונים מסבירים מדוע שאלת קצב הפיתוח אינה רק דיון תיאורטי עבור אנבידיה. החברה נמצאת במרכז ההשקעות בתשתיות הבינה המלאכותית, והמשך ההשקעות של חברות ענן ומעבדות בינה מלאכותית תלוי במידה רבה בביקוש למעבדים ולמערכות המחשוב שלה.

לכן, מצד אחד הואנג קורא לחברות לבדוק היטב את המוצרים לפני השקה ולעכב מערכות שאינן מוכנות. מצד שני, הוא מתנגד להאטה רחבה של התעשייה וממשיך לתאר ביקוש עצום לתשתיות המחשוב שעליהן נשענת ההתפתחות הזו.

אופן-איי ואנתרופיק מבקשות להכניס גורם חיצוני

מהצד האחר של הוויכוח נמצאות החברות שמפתחות בעצמן חלק מהמודלים המתקדמים ביותר. דוגמה בולטת היא אופן-איי, שב-9 בספטמבר קראה לממשל האמריקאי לקבוע דרישות בטיחות לאומיות ומחייבות. החברה טענה כי התחייבויות וולונטריות אינן מספיקות והציעה רגולציה המבוססת על יכולות המודלים, כולל הערכות עצמאיות, דרישות אבטחת סייבר ודיווח על אירועים חריגים.

• טידס צונחת ב-37%: שווי 17 מיליון דולר, חוב 657 מיליון
• מיקרון וסנדיסק צונחות בדו-ספרתי: אי-הוודאות חוזרת לשבבים

גם מנכ"ל אנתרופיק, דאריו אמודיי, קרא לאחרונה להאט את קצב ההתפתחות של מערכות הבינה המלאכותית המתקדמות. בין הצעדים שהוא מציע נמצאים מתן גישה למערכות לחוקרים ומעריכים חיצוניים, תיאום בין ממשלות ושיתוף פעולה בין מדינות דמוקרטיות. סם אלטמן מאופן-איי ואילון מאסק הביעו תמיכה בחלקים מהגישה הזו, בעוד דמיס חסאביס מגוגל דיפמיינד תמך במאמצי בטיחות ותיאום.

כך נוצר פיצול מובהק: חברות המפתחות מודלים מתקדמים מזהירות שהמרוץ עצמו עלול ליצור סיכונים שאף חברה בודדת לא תוכל לנהל, ואילו חברות אחרות בתעשייה טוענות שהאחריות יכולה להישאר אצל המפתחים עצמם ושאין צורך להקים שכבה חדשה של רגולציה.

חוקרים שפרשו מזהירים מפני מרוץ שאי אפשר יהיה לעצור

הדיון החריף עוד יותר בעקבות שורה של אזהרות מצד חוקרים שעבדו בתוך החברות המובילות.

ג'ייקוב קוקסון, חוקר לשעבר באנתרופיק ובאופן-איי, התפטר מאנתרופיק בתחילת החודש והזהיר שהחברות המובילות דוהרות לעבר מערכות שיכולות לשפר את עצמן, וכי הסיכון אינו מקבל מענה מספק. קוקסון טען כי אנשי מקצוע בתוך התעשייה עצמם מודעים לסיכונים הללו.

אליו הצטרף בילאל צ'וגטאי, מהנדס מחקר לשעבר בגוגל דיפמיינד שעבד בתחום בטיחות והתאמת מערכות בינה מלאכותית. צ'וגטאי הזהיר השבוע כי מערכות מתקדמות עלולות להוות סיכון קיצוני אם המרוץ בין החברות יימשך ללא תיאום. גם חוקרים נוספים בתחום בטיחות ה-AI העלו אזהרות דומות, אך מדובר בהערכות של החוקרים ולא בקונצנזוס מדעי לגבי הסבירות או לוח הזמנים של תרחישים קיצוניים.

הטיעון שלהם שונה מהטיעון הרגולטורי המסורתי. החשש אינו רק מפני שימוש לרעה בטכנולוגיה, אלא מכך שהמערכות עצמן יהפכו ליכולות מספיק כדי לבצע פעולות מורכבות באופן עצמאי, בעוד שהיכולת של בני אדם לפקח עליהן לא תדביק את קצב ההתקדמות.

טראמפ: אסור לארה"ב להאט מול סין

מנגד, בבית הלבן מציגים את הסוגיה בראש ובראשונה כחלק מהתחרות הטכנולוגית בין ארה"ב לסין. הנשיא דונלד טראמפ אמר השבוע כי ארה"ב אינה יכולה להרשות לעצמה להאט את פיתוח הבינה המלאכותית, וטען כי לממשל כבר קיימים כלים רגולטוריים ומשפטיים להתמודד עם חברות הטכנולוגיה.

גם דייוויד סאקס, יועץ בכיר בממשל לענייני טכנולוגיה, דחה את הצורך ברגולציה חדשה וטען כי האחריות לבטיחות צריכה להישאר בידי החברות. מבחינת הגישה הזו, חוקים חדשים עלולים ליצור יתרון דווקא למתחרים של ארה"ב אם יגרמו לחברות האמריקאיות להאט בעוד חברות סיניות ממשיכות להתקדם.

הטיעון הסיני אינו תיאורטי בלבד. בימים האחרונים דווח כי הפער הטכנולוגי בין ארה"ב לסין מצטמצם, בעוד חברות סיניות מפתחות במהירות שבבים ומערכות בינה מלאכותית מקומיות. במקביל, סין עצמה מקדמת מנגנוני בטיחות ותקנים למערכות מתקדמות, כך שהתחרות בין המדינות אינה מתמצה בשאלה מי יסדיר ומי לא יסדיר את התחום.

מי אחראי כשהמערכת טועה?

ככל שמערכות AI נכנסות לרפואה, פיננסים, תשתיות, ממשל וביטחון, שאלת האחריות הופכת מהותית יותר. מי נושא באחריות במקרה של נזק - החברה שפיתחה את המודל, החברה שהטמיעה אותו, האדם שהשתמש בו או המדינה שאישרה את השימוש?

זו למעשה הנקודה שמחברת בין העמדות השונות בוויכוח. אופן-איי ואנתרופיק מבקשות להכניס גורמי פיקוח חיצוניים וממשלה כדי להתמודד עם הסיכונים. טראמפ וסאקס מדגישים את האחריות של החברות ואת הצורך שלא לפגוע בקצב החדשנות. הואנג מדבר על אחריות הנדסית ובדיקות לפני השקה. וקארפ לוקח את רעיון האחריות צעד נוסף: אם החברה עצמה מאמינה שהטכנולוגיה שלה עלולה לגרום נזק קיצוני, האחריות למוצר ולתוצאותיו אינה יכולה להיעלם ברגע שהממשלה נכנסת לתמונה.

כך הוויכוח כבר אינו רק על השאלה האם להסדיר את הבינה המלאכותית, אלא על שאלה בסיסית יותר: מי צריך לשאת באחריות כאשר הטכנולוגיה מתקדמת מהר יותר מהיכולת של החברה והמחוקקים להתמודד עם הסיכונים שלה?