המבחן המסוכן של קלוד: האם מודל ה-AI החדש עלול לסייע ביצירת נשק ביולוגי?
אנתרופיק משיקה את Claude Opus 4 עם שכבת הגנה חסרת תקדים, לאחר שהמודל הפגין יכולות מסוכנות במיוחד בהכוונת משתמשים ליצירת נשק ביולוגי "אנחנו לא בטוחים שזה מסוכן, אבל גם לא יכולים לשלול את זה"
חברת הבינה המלאכותית אנתרופיק (Anthropic) ניצבת בפני המבחן החמור ביותר שלה עד כה: האם ניתן לשחרר מודל AI עוצמתי במיוחד, כזה שלפי בדיקות פנימיות מסוגל לסייע למתחילים בבניית נשק ביולוגי, מבלי לסכן את שלום הציבור? לאחר השקה מוגבלת של Claude Opus 4, החברה
חושפת מערכת הגנה חדשה ברמת סיכון גבוהה במיוחד, מתוך ניסיון לאזן בין חדשנות עסקית לאחריות מוסרית בעולם הטכנולוגיה.
Claude Opus 4, הגרסה החדשה ביותר של המודל של Anthropic, נבחן ונמצא יעיל יותר מקודמיו (ואף מגוגל) בזיהוי והכוונה של
משתמשים חסרי רקע מקצועי לצעדים שעלולים להוביל לייצור נשק ביולוגי. בעקבות כך, המודל מושק תחת הגדרה של "רמת בטיחות 3" (ASL-3), הכוללת אמצעים מתקדמים כמו חסימת ניסיונות לעקוף את ההגנות, מערכות AI פנימיות שמזהות שאלות חשודות, וחומת סייבר שנועדה להרתיע אפילו תוקפים
ברמה מדינתית.
אחד הכלים המרכזיים נקרא "מסווגים חוקתיים", מערכות פנימיות הבודקות בזמן אמת את השאלות שמוזנות למודל ואת התשובות שהוא מספק, במטרה לאתר דפוסים של ניסיונות לפתח נשק. Anthropic מודה שלא כל שימוש בעייתי נחסם, אך המיקוד הוא
באותם תרחישים העלולים לגרום לנזק נרחב כמו מגפה עולמית.
האם חברות יכולות באמת לרסן את עצמן?
המהלך כולו מבוסס על מדיניות פנימית וולונטרית בשם "מדיניות ההתרחבות האחראית" (RSP), שמחייבת את החברה לבדוק את עצמה
לפני שחרור מודלים מסוכנים. עם זאת, אין גוף רגולטורי שמפקח על היישום, מה שמעורר שאלות בנוגע לאמינות ולגבולות ההתחייבות. לדברי ג'ארד קפלן, המדען הראשי של Anthropic, המודל לא בהכרח מסוכן, אבל לא ניתן לשלול את הסיכון, ולכן ננקטת גישה של "הטיית זהירות".
- מתחרה של OpenAI בדרך לשווי של 170 מיליארד דולר: אנת'רופיק נערכת לגיוס
- רדיט תובעת את אנתרופיק על שימוש לא מורשה בנתונים
- המלצת המערכת: כל הכותרות 24/7
לדבריו, החברה מבינה שהגנה מושלמת אינה קיימת, אך מאמינה כי ריבוי שכבות ההגנה מפחית את רוב הסיכונים. בין היתר, היא מפעילה תוכנית בונוסים למשתמשים שיאתרו פרצות, אחת מהן כבר נחשפה ותוקנה, והביאה למאתר פרס של 25 אלף דולר. קפלן לא מסתיר את החששות:
"רוב הפעולות המסוכנות שמחבל יכול לבצע גורמות לנפגעים בודדים. אבל מגפה ביולוגית? כבר ראינו מה קרה עם הקורונה".
ההתקדמות המהירה בתחום הבינה המלאכותית הביאה לפריצות דרך משמעותיות, אך גם לדאגה גוברת מהסיכונים הטמונים בטכנולוגיה
רבת עוצמה זו. מודלים חדשים הופכים לחזקים יותר ונגישים יותר לציבור, אך נכון להיום, ברוב מדינות העולם עדיין לא קיימת רגולציה מחייבת או אכיפה ממשלתית סדורה שתפקח על רמות הסיכון או תגדיר כללים ברורים לשחרור של מודלים מתקדמים. חלק מהמדינות החלו בתהליכים רגולטוריים,
כמו חוק ה-AI באיחוד האירופי שצפוי להיכנס לתוקף בהדרגה אך בפועל, האחריות לשמירה על הבטיחות מוטלת כיום על כתפי החברות עצמן. במציאות תחרותית שבה כל עיכוב עלול לעלות במעמד ובכסף, השאלה המרכזית היא עד כמה ניתן לסמוך על שיקול דעתן של אותן חברות
- 1.בסוף יתנו ל AI להשמיד את כל העולם ממש כמו בסרטים. (ל"ת)אנונימי 26/05/2025 15:37הגב לתגובה זו

אחרי ההתאבדויות - OpenAI משנה את ChatGPT; יותר פיקוח ומודעות למצבים נפשיים קשים
מותו הטראגי של נער בן 16 מקליפורניה הוביל לגל ביקורת ותביעה משפטית נגד OpenAI. החברה מודה בכשלים ומנסה לשנות את התשובות של הצ'אט ולשלב בצ'אט יצירת קשר עם אנשי מקצוע. על המגבלות הגדולות והמסוכנות של הצ'אט - לא הכל וורוד ב-AI
אדם ריין, תלמיד תיכון בן 16 מקליפורניה התאבד כשכנראה הצ'אט "עודד" אותו לכך. הוריו טוענים כי בנם מצא ב-ChatGPT לא רק שותף לשיחות על חרדותיו, אלא גם מעין "מאמן" שאישרר את מצבו הנפשי הקשה והוביל אותו להעמיק בתכניות אובדניות. לדבריהם, הנער התאבד באפריל אחרי תקופה שבה התכתב עם הבוט שעות ארוכות, עד שהקשר עם המערכת הפך קרוב יותר מהקשר עם סביבתו הקרובה.
המקרה הוביל לתביעה נגד OpenAI ונגד המנכ"ל סם אלטמן. ההורים טוענים שהמערכת תרמה מאוד להידרדרות הנפשית וגרמה בעצם למוות הטרגי. תשובות שנתנה לבנם המערכת שימשו בפועל חיזוק לרצונו לשים קץ לחייו.
תגובת OpenAI - מצטערים, אבל...
במענה לגל הביקורת ולתביעה, OpenAI הודיעה על חבילה רחבה של צעדים שנועדה להפוך את ChatGPT למערכת בטוחה יותר, אבל היא לא הודתה באופן ישיר כי הצ'אט הוא האחראי למוות. מדובר במקרה טרגי, אבל לא היחיד. הצ'אט "מואשם" בגרימת התאבדויות נוספות ובשורה מאוד ארוכה של החמרה במצבים נפשיים.
הבוט לא יכול להיות "חבר", "פסיכולוג" אמיתי ועכשיו, על רקע ההתאבדויות והאירועים הקשים מבינים זאת, אבל השאלה אם אפשר בכלל להסתמך עליו במקומות נוספים - עצות, רעיונות, ואם העצה שהוא יספק לנו היא מתאימה לנו או לכלל. צריך לזכור שהממוצע לא מתאים לרובנו. אם יש תשובה גנרית מסוימת למצב מסוים, זה אומר שלרוב האנשים זה לא מתאים. ההסתמכות על תשובה כזו, וזה יכול להיות באפיקים שונים, בעייתית. מצד שני, אם נצטרך תשובת מומחה (רופא, עורך דין, יועץ מס) אז הצ'אט מאבד מחשיבותו. הצ'אטים מנסים ללכת בן הטיפות, זה יהיה מורכב. הכוונה של החברות להתקדם בפיתוח ובעיבוד עד למצב שהם מספקים תשובות אישיות, אבל הם כבר למדו את הלקח, הם יסייגו, לא יקחו אחריות ויגידו שהם עשו הכל כדי להסביר לכם שזו לא תשובה מוחלטת. הם יוסיפו אותיות קטנות. הנה מה שהם מתכוונים לעשות בעקבות ההתאבדויות.
- הבנצ'מארק של ה-AI: האתר שמודד את ביצועי הצ'טבוטים והסערה סביב מטא
- רשות ני"ע מגבילה את השימוש בצ'אטבוטים בשירותים פיננסים
- המלצת המערכת: כל הכותרות 24/7
ראשית, הם ינסו לזהות טוב יותר של מצוקה נפשית. הצ’אט יוכל לזהות ביטויים עקיפים לחרדה, ייאוש או מחשבות מסוכנות. כך למשל, אם משתמש מציין כי היה ער יומיים ברצף ומרגיש "בלתי מנוצח", המערכת תתריע על סכנות ותמליץ על מנוחה או פנייה לעזרה מקצועית.

אחרי ההתאבדויות - OpenAI משנה את ChatGPT; יותר פיקוח ומודעות למצבים נפשיים קשים
מותו הטראגי של נער בן 16 מקליפורניה הוביל לגל ביקורת ותביעה משפטית נגד OpenAI. החברה מודה בכשלים ומנסה לשנות את התשובות של הצ'אט ולשלב בצ'אט יצירת קשר עם אנשי מקצוע. על המגבלות הגדולות והמסוכנות של הצ'אט - לא הכל וורוד ב-AI
אדם ריין, תלמיד תיכון בן 16 מקליפורניה התאבד כשכנראה הצ'אט "עודד" אותו לכך. הוריו טוענים כי בנם מצא ב-ChatGPT לא רק שותף לשיחות על חרדותיו, אלא גם מעין "מאמן" שאישרר את מצבו הנפשי הקשה והוביל אותו להעמיק בתכניות אובדניות. לדבריהם, הנער התאבד באפריל אחרי תקופה שבה התכתב עם הבוט שעות ארוכות, עד שהקשר עם המערכת הפך קרוב יותר מהקשר עם סביבתו הקרובה.
המקרה הוביל לתביעה נגד OpenAI ונגד המנכ"ל סם אלטמן. ההורים טוענים שהמערכת תרמה מאוד להידרדרות הנפשית וגרמה בעצם למוות הטרגי. תשובות שנתנה לבנם המערכת שימשו בפועל חיזוק לרצונו לשים קץ לחייו.
תגובת OpenAI - מצטערים, אבל...
במענה לגל הביקורת ולתביעה, OpenAI הודיעה על חבילה רחבה של צעדים שנועדה להפוך את ChatGPT למערכת בטוחה יותר, אבל היא לא הודתה באופן ישיר כי הצ'אט הוא האחראי למוות. מדובר במקרה טרגי, אבל לא היחיד. הצ'אט "מואשם" בגרימת התאבדויות נוספות ובשורה מאוד ארוכה של החמרה במצבים נפשיים.
הבוט לא יכול להיות "חבר", "פסיכולוג" אמיתי ועכשיו, על רקע ההתאבדויות והאירועים הקשים מבינים זאת, אבל השאלה אם אפשר בכלל להסתמך עליו במקומות נוספים - עצות, רעיונות, ואם העצה שהוא יספק לנו היא מתאימה לנו או לכלל. צריך לזכור שהממוצע לא מתאים לרובנו. אם יש תשובה גנרית מסוימת למצב מסוים, זה אומר שלרוב האנשים זה לא מתאים. ההסתמכות על תשובה כזו, וזה יכול להיות באפיקים שונים, בעייתית. מצד שני, אם נצטרך תשובת מומחה (רופא, עורך דין, יועץ מס) אז הצ'אט מאבד מחשיבותו. הצ'אטים מנסים ללכת בן הטיפות, זה יהיה מורכב. הכוונה של החברות להתקדם בפיתוח ובעיבוד עד למצב שהם מספקים תשובות אישיות, אבל הם כבר למדו את הלקח, הם יסייגו, לא יקחו אחריות ויגידו שהם עשו הכל כדי להסביר לכם שזו לא תשובה מוחלטת. הם יוסיפו אותיות קטנות. הנה מה שהם מתכוונים לעשות בעקבות ההתאבדויות.
- הבנצ'מארק של ה-AI: האתר שמודד את ביצועי הצ'טבוטים והסערה סביב מטא
- רשות ני"ע מגבילה את השימוש בצ'אטבוטים בשירותים פיננסים
- המלצת המערכת: כל הכותרות 24/7
ראשית, הם ינסו לזהות טוב יותר של מצוקה נפשית. הצ’אט יוכל לזהות ביטויים עקיפים לחרדה, ייאוש או מחשבות מסוכנות. כך למשל, אם משתמש מציין כי היה ער יומיים ברצף ומרגיש "בלתי מנוצח", המערכת תתריע על סכנות ותמליץ על מנוחה או פנייה לעזרה מקצועית.