צילום: טוויטר

המבחן המסוכן של קלוד: האם מודל ה-AI החדש עלול לסייע ביצירת נשק ביולוגי?

אנתרופיק משיקה את Claude Opus 4 עם שכבת הגנה חסרת תקדים, לאחר שהמודל הפגין יכולות מסוכנות במיוחד בהכוונת משתמשים ליצירת נשק ביולוגי "אנחנו לא בטוחים שזה מסוכן, אבל גם לא יכולים לשלול את זה"

אביחי טדסה | 26/05/2025 15:13 (1)

נושאים בכתבה אנתרופיק בינה מלאכותית

חברת הבינה המלאכותית אנתרופיק (Anthropic) ניצבת בפני המבחן החמור ביותר שלה עד כה: האם ניתן לשחרר מודל AI עוצמתי במיוחד, כזה שלפי בדיקות פנימיות מסוגל לסייע למתחילים בבניית נשק ביולוגי, מבלי לסכן את שלום הציבור? לאחר השקה מוגבלת של Claude Opus 4, החברה חושפת מערכת הגנה חדשה ברמת סיכון גבוהה במיוחד, מתוך ניסיון לאזן בין חדשנות עסקית לאחריות מוסרית בעולם הטכנולוגיה.

Claude Opus 4, הגרסה החדשה ביותר של המודל של Anthropic, נבחן ונמצא יעיל יותר מקודמיו (ואף מגוגל) בזיהוי והכוונה של משתמשים חסרי רקע מקצועי לצעדים שעלולים להוביל לייצור נשק ביולוגי. בעקבות כך, המודל מושק תחת הגדרה של "רמת בטיחות 3" (ASL-3), הכוללת אמצעים מתקדמים כמו חסימת ניסיונות לעקוף את ההגנות, מערכות AI פנימיות שמזהות שאלות חשודות, וחומת סייבר שנועדה להרתיע אפילו תוקפים ברמה מדינתית.

אחד הכלים המרכזיים נקרא "מסווגים חוקתיים", מערכות פנימיות הבודקות בזמן אמת את השאלות שמוזנות למודל ואת התשובות שהוא מספק, במטרה לאתר דפוסים של ניסיונות לפתח נשק. Anthropic מודה שלא כל שימוש בעייתי נחסם, אך המיקוד הוא באותם תרחישים העלולים לגרום לנזק נרחב כמו מגפה עולמית.

האם חברות יכולות באמת לרסן את עצמן?

המהלך כולו מבוסס על מדיניות פנימית וולונטרית בשם "מדיניות ההתרחבות האחראית" (RSP), שמחייבת את החברה לבדוק את עצמה לפני שחרור מודלים מסוכנים. עם זאת, אין גוף רגולטורי שמפקח על היישום, מה שמעורר שאלות בנוגע לאמינות ולגבולות ההתחייבות. לדברי ג'ארד קפלן, המדען הראשי של Anthropic, המודל לא בהכרח מסוכן, אבל לא ניתן לשלול את הסיכון, ולכן ננקטת גישה של "הטיית זהירות".

לדבריו, החברה מבינה שהגנה מושלמת אינה קיימת, אך מאמינה כי ריבוי שכבות ההגנה מפחית את רוב הסיכונים. בין היתר, היא מפעילה תוכנית בונוסים למשתמשים שיאתרו פרצות, אחת מהן כבר נחשפה ותוקנה, והביאה למאתר פרס של 25 אלף דולר. קפלן לא מסתיר את החששות: "רוב הפעולות המסוכנות שמחבל יכול לבצע גורמות לנפגעים בודדים. אבל מגפה ביולוגית? כבר ראינו מה קרה עם הקורונה".

ההתקדמות המהירה בתחום הבינה המלאכותית הביאה לפריצות דרך משמעותיות, אך גם לדאגה גוברת מהסיכונים הטמונים בטכנולוגיה רבת עוצמה זו. מודלים חדשים הופכים לחזקים יותר ונגישים יותר לציבור, אך נכון להיום, ברוב מדינות העולם עדיין לא קיימת רגולציה מחייבת או אכיפה ממשלתית סדורה שתפקח על רמות הסיכון או תגדיר כללים ברורים לשחרור של מודלים מתקדמים. חלק מהמדינות החלו בתהליכים רגולטוריים, כמו חוק ה-AI באיחוד האירופי שצפוי להיכנס לתוקף בהדרגה אך בפועל, האחריות לשמירה על הבטיחות מוטלת כיום על כתפי החברות עצמן. במציאות תחרותית שבה כל עיכוב עלול לעלות במעמד ובכסף, השאלה המרכזית היא עד כמה ניתן לסמוך על שיקול דעתן של אותן חברות

כל הכותרות 24/7 הטלגרם שלנו - תכנים יחודיים

תגובות לכתבה(1):

הגב לכתבה

שם המגיב *

כותרת תגובה *

תוכן התגובה

השדות המסומנים ב-* הם שדות חובה

1.
בסוף יתנו ל AI להשמיד את כל העולם ממש כמו בסרטים. (ל"ת)
אנונימי 26/05/2025 15:37
הגב לתגובה זו

צילום: ארמיס

אקזיט ענק בסייבר - ארמיס תימכר ב-7 מיליארד דולר

דיווח בבלומברג: ServiceNow תרכוש את ארמיס ב-7 מיליארד דולר

רן קידר | 14/12/2025 07:59

נושאים בכתבה ארמיס

דיווח בבלומברג: ServiceNow תרכוש את ארמיס ב-7 מיליארד דולר. ארמיס, חברת סייבר ישראלית-אמריקאית שנוסדה ב-2015 על ידי יוצאי יחידת 8200 ומבוססת בסן פרנסיסקו, מתמחה בניטור וניהול התקנים מחוברים ללא התקנת סוכנים. הפלטפורמה שלה מזהה אלפי התקנים "עיוורים" ברשתות ארגוניות, כולל IoT, ציוד רפואי, מערכות תעשייתיות OT ותשתיות קריטיות, ומספקת נראות מלאה לסיכונים. הטכנולוגיה מזהה יותר נקודות תורפה מכלים מסורתיים ומשרתת מעל 40% מחברות Fortune 100, כולל 7 מתוך Fortune 10, וכן ארגונים בבנקאות, תעשייה כבדה, תעופה וביטחון.

לאחרונה גייסה ארמיס 435 מיליון דולר בהובלת גולדמן סאקס ו-CapitalG, לפי שווי של 6.1 מיליארד דולר – עלייה משמעותית משווי 4.5 מיליארד דולר שהיה לפני כחצי שנה. ההכנסות החוזרות השנתיות (ARR) חצו את רף 300 מיליון דולר, צמיחה של למעלה מ-50% משנה קודם, עם אלפי לקוחות גלובליים. בשנתיים האחרונות ביצעה שלוש רכישות בתחומי ענן, AI ואבטחת OT, שתרמו מיליוני דולרים נוספים להכנסות. החברה מתכננת להגיע למיליארד דולר ARR תוך שלוש שנים, כשההצהרה היתה שהחברה נערכת להנפקה בעוד שנה-שנה וחצי.

אלא ש-ServiceNow טרפה את הקלפים. ההצעה שלה כנראה היתה "טובה מדי", הצעה שאי אפשר להגיד לה לא. משקיעים כמו Insight Partners (שרכשה ב-2020 תמורת 1.1 מיליארד דולר) ו-CapitalG שהיו בסבבים מוקדמים ירוויחו פי 6-7 על ההשקעה,

כך או אחרת, השילוב של מערכות ארמיס עם ServiceNow, שפלטפורמת ה-ITSM שלה משרתת 85% מחברות Fortune 500, יאפשר ניטור התקנים משולב שמפחית עלויות תפעול ב-25-30% ויחזק חשיפה לשוק IoT שיגיע ל-15 מיליארד התקנים עד 2026. העסקה מבטאת טרנד רחב: 60% מעסקאות הסייבר מאז 2023 כוללות אינטגרציה לפלטפורמות ענק כמו Microsoft, Salesforce ו-Oracle, מקצרת זמן שילוב מ-12 ל-6 חודשים ומגדילה הכנסות משותפות ב-35%. לתעשייה הישראלית, זהו אקזיט נוסף אחרי שוויז נמכרה למיקרוסופט ב-32 מיליארד דולר וסייברארק לפאלו אלטו ב-25 מיליארד דולר.

צילום: ארמיס

אקזיט ענק בסייבר - ארמיס תימכר ב-7 מיליארד דולר

דיווח בבלומברג: ServiceNow תרכוש את ארמיס ב-7 מיליארד דולר

רן קידר | 14/12/2025 07:59

נושאים בכתבה ארמיס