הדוח הסופי של הצוות הבין משרדי לבחינת שימושי בינה מלאכותית בסקטור הפיננסי מתפרסם ביום רביעי ומציב כיוון רגולטורי די חד. אסדרה שמתרכזת קודם כל במערכות שמוגדרות כבעלות סיכון גבוה, ולא בניסיון להדק ברגים על כל שימוש טכנולוגי באשר הוא. נקודת המוצא היא שהבינה המלאכותית כבר בתוך המערכת, ולכן השאלה היא איפה היא עלולה לייצר פגיעה צרכנית, בעיות תחרות, או השפעה על יציבות.

הדוח מציף את נקודות החיכוך המוכרות, כמו פרטיות והטיה, אבל נכנס גם לעולמות של ניהול סיכונים ותפעול בפועל. בתוך זה הוא מתייחס גם לזירה שהולכת ותופסת נפח ככל שהכלים משתכללים, הונאות ודיסאינפורמציה שנכנסות דרך ערוצים דיגיטליים ונוגעות ישירות לפעילות פיננסית יומיומית.

לא כל מערכת באותו משקל, משקל הבינה המלאכותית יורד לקרקע

בבסיס ההמלצות נמצאת חלוקה לפי רמת סיכון. הדוח מפרט איך מעריכים סיכונים ביחס למערכות בינה מלאכותית שיכולות להשתלב בשירות לקוחות, בקבלת החלטות, בניטור חריגות, בחיתום, באשראי ובניהול סיכונים. ההבחנה הזאת מכוונת את הפיקוח למקומות שבהם יש השפעה מהותית על לקוח או על השוק, ולא רק שימוש טכני פנימי. בדוח גם יש עדכון לחלוקה עצמה, עם מעבר לשתי קטגוריות עבודה, סיכון נמוך-בינוני מול סיכון גבוה, כדי להקל על היישום.

כדי שזה לא יישאר ברמת עקרונות, הדוח מציג ארגז כלים שמדבר על תהליך קבלת החלטות, ניהול סיכונים, בקרה ופיקוח על מערכות בינה מלאכותית. הכיוון הוא להשאיר לגופים הפיננסיים גמישות יישום לפי אופי השירות ומהותיותו, אבל עם דרישות עבודה מסודרות של אחריות, תיעוד ושליטה.

• מה קורה בהייטק הישראלי - מפטרים או מגייסים? הנה התשובה
• שווי של כ-8 מיליארד דולר: יצרנית השבבים סריבראס מצטרפת למתחרות אנבידיה בשוק ה-AI
• המלצת המערכת: כל הכותרות 24/7

הדוח מדגיש שהסיפור לא נגמר במדיניות על הנייר. הוא נשען גם על כללי ממשל תאגידי קיימים שמגדירים תפקידים לדירקטוריון ולהנהלה הבכירה כשמכניסים טכנולוגיות חדשות ומפתחים מערכות ומודלים, ומציף אפשרות להשלים את המעטפת בכלים ייעודיים לממשל בינה מלאכותית לפי הצורך.

בצד התפעולי הדוח מדבר על בדיקה לאורך מחזור החיים של המערכת, כולל בחינה של מאגרי הנתונים שמשמשים לאימון, תיקוף ובחינה, וגם בדיקה שוטפת בשלב ההטמעה והיישום. ההיגיון הוא שמודלים לא נשארים אותו דבר לנצח, ולכן נדרש ניטור רציף של התנהגות ותוצאות, לצד יכולת של הגוף המפוקח להבין את המערכת, לבקר אותה, ולהפעיל שיקול דעת גם כשהשירות מגיע מספק חיצוני.

הקופסה השחורה נשארת, פרטיות והטיה נכנסות ללב הדיון

אחת הנקודות המרכזיות בדוח היא בעיית הקופסה השחורה, כלומר קושי להסביר באופן מלא איך מערכת מגיעה לתוצאה. הדוח מבדיל בין הסברתיות כללית לבין הסברתיות פרטנית. הסברתיות כללית מתייחסת להסבר על אופן הפעולה של המערכת, סוגי הנתונים שהיא נשענת עליהם, ומה העקרונות שמניעים את המודל. הסברתיות פרטנית היא ניסיון לפרק החלטה ספציפית שהמערכת קיבלה בכל מקרה ומקרה.

• תן וקח - שחיתות מובנית בקשר בין בנק ישראל לבנקים
• מה מניע עיצוב משרד ב-5,000 שקל למ"ר?
• תוכן שיווקי שוק הסקנדרי בישראל: הציבור יכול כעת להשקיע ב-SpaceX של אילון מאסק
• התרגיל של פטריק דרהי - טייקון בישראל, פושט רגל בצרפת

ההמלצה היא לדרוש הסברתיות כללית, בלי להטיל חובת הסבר פרטנית כסטנדרט גורף. הדרישה להסבר פרטני אמורה להישקל לפי נסיבות, בעיקר כשמדובר במערכות בסיכון גבוה ובהיעדר חלופות מפצות הולמות, כך שהגוף יכול להציג מסגרת הסבר ברמה המתאימה בלי להבטיח משהו שהוא לא באמת יכול לספק.

הדוח מתייחס לכך שדיני הגנת הפרטיות חלים גם כשמדובר בבינה מלאכותית, אבל מדגיש שהשימוש במודלים מעלה מתחים חדשים. מצד אחד יש לחץ להרחיב מאגרי מידע כדי לאמן מודלים בצורה מדויקת, ומצד שני יש סיכון גובר של זיהוי מחדש גם כשעובדים עם מידע שעבר טשטוש מזהים או הסרת מזהים, במיוחד כשהיכולת לזהות דפוסים משתפרת והקווים בין מידע מזוהה ללא מזוהה נהיים פחות ברורים.

בתוך עולם הסיכון הצרכני הדוח מצביע גם על אתגר ההטיה והאפליה. מערכות יכולות לייצר תוצרים מוטים בגלל מאגרי אימון לא מייצגים או בגלל נתונים שמשקפים הטיות קיימות, והבעיה מתרחבת בגלל היקף הפעילות. החלטה אלגוריתמית אחת יכולה לגעת בהרבה אנשים מהר. כאן מתחבר גם החלק של ההסברתיות, כי כשקשה להסביר למה מודל בחר קריטריון מסוים, קשה יותר גם לבדוק אם מדובר בהבחנה עניינית או אפליה אסורה.

גילוי לציבור וללקוח, האחראיות נשארת על הגוף המפקח

הדוח ממליץ לחזק את הדרישה ליידוע לציבור על עצם השימוש במערכות בינה מלאכותית, בעיקר בתחילת כניסת הטכנולוגיה, אלא אם הדבר ברור מאליו. מעבר לזה, הוא מדבר על חובות גילוי שמשתלבות בדרישות הקיימות בתחום הפיננסי לגבי מוצר או שירות שמוצע ללקוח, כשמערכת הבינה המלאכותית משפיעה באופן מהותי עליו.

הדגש הוא לא רק מה אומרים אלא גם איך אומרים. הגילוי אמור לעסוק במאפיינים הייחודיים שנובעים מהשימוש בבינה מלאכותית ולהינתן בשפה פשוטה ונייטרלית. הדוח מנסה לחסום תופעה מוכרת של הלבנת בינה מלאכותית, כלומר הצגה מנופחת של תועלות רק כדי להישמע מתקדמים, בלי שהלקוח מקבל תמונה נקייה על המשמעות בפועל.

בנושא האחריות הדוח נשען על העיקרון המקובל ברגולציה פיננסית. האחריות על פי דין מוטלת על הגוף המפוקח, וגם כשמעורבות מערכות בינה מלאכותית זה לא משתנה. המשמעות היא שגם אם גוף פיננסי מתקשר עם צד שלישי שמפתח או מספק מערכת, האחריות לניהול הסיכונים, להפעלה ולתוצאות נשארת אצלו.

הדוח מתייחס גם לאופן ההתקשרות עם ספקים חיצוניים ולסיטואציות שבהן המערכת מופעלת כשירות חיצוני. בתוך זה הוא קובע שככלל יש לאסור הגבלת אחריות כלפי הלקוח בגין פעולת המערכת, כך שהטכנולוגיה לא הופכת לשכבת הגנה משפטית שמרחיקה אחריות מהגוף שמוכר שירות פיננסי.

תחרות, מידע וכח שוק; הונאות ודיסאינפורמציה

הדוח נכנס לחששות תחרותיים שנובעים מהטמעת מודלים של בינה מלאכותית בתחום הפיננסי בישראל. בין הנקודות שמודגשות יש כח שוק של נותני שירותי בינה מלאכותית מול גופים פיננסיים, פערי גישה למידע אצל שחקנים חדשים או קטנים, יתרונות לגודל ולהיקף של גופים גדולים, וגם חשש מתיאום והתאמה בין שחקנים.

בהיבט המשפטי הדוח קובע שדיני התחרות חלים גם על פעילות בינה מלאכותית, ומציע לבחון דרכים למנוע התפתחות של כח שוק עודף. המשמעות המעשית היא שהרגולטורים מסתכלים גם על מבנה השוק ועל תלות בספקים ובתשתיות, ולא רק על חוויית הלקוח בקצה.

הדוח מרחיב על סיכוני דיסאינפורמציה למערכת הפיננסית, החל מהתחזות ללקוחות ועד השפעות רחבות יותר שיכולות לייצר סיכון מערכתי וסיכון צרכני. הוא מזהה אזורי סיכון ספציפיים ומדבר על היערכות גם בצד הרגולטורים וגם בצד הגופים המפוקחים, עם דגש על יכולת לזהות תופעות כאלה ולנהל אירוע בזמן אמת.

מעבר להיערכות תפעולית, הדוח קורא לקדם כלים להתמודדות עם אירועי דיסאינפורמציה, וגם לקדם חקיקה למאבק בהונאות ובדיסאינפורמציה בתחום הפיננסי. החיבור הזה שם את הסיפור לא רק במערכי סייבר ומוקדי שירות, אלא גם במסגרות אכיפה וכללי משחק שמתאימים לעולם שבו תוכן מזויף יכול להזיז כסף מהר.

מי עומד מאחורי הדוח ואיך זה מתארגן למסגרת עבודה קבועה

בראש הצוות הבין משרדי עומדים אמיר וסרמן, היועץ המשפטי של רשות ניירות ערך, ושרית פלבר, ראשת אשכול חדשנות טכנולוגית ותקציב בייעוץ וחקיקה במשרד המשפטים. בצוות חברים אילנית מדמוני, מנהלת יחידת החדשנות בטכנולוגיה פיננסית בפיקוח על הבנקים בבנק ישראל, אביבה וייס, מנהלת מחלקת ניהול סיכונים ומנהלת מחלקת פיקוח על טכנולוגיות מידע וסייבר ברשות שוק ההון ביטוח וחיסכון, דודי קופל, היועץ המשפטי של משרד האוצר, ואייל שפירא, מנהל תחום בכיר תכנון ומדיניות ברשות התחרות. את עבודת הצוות ריכז תום גולדרייך, ראש תחום טכנולוגיות פיננסיות במחלקה הבינלאומית ברשות ניירות ערך.

הדוח מציג גם תמונת מצב רגולטורית בעולם ובישראל, ומחבר את ההמלצות למסגרת של ממשל בינה מלאכותית, רגולציה מבוססת עקרונות עם כלים פרקטיים לקבלת החלטות, ניהול סיכונים, בקרה ופיקוח. בתוך זה הוא משאיר מקום להתאמה לפי אופי השירות שניתן באמצעות המערכת, המהותיות שלו ופוטנציאל הפגיעה בפרט.