המבחן המסוכן של קלוד: האם מודל ה-AI החדש עלול לסייע ביצירת נשק ביולוגי?
אנתרופיק משיקה את Claude Opus 4 עם שכבת הגנה חסרת תקדים, לאחר שהמודל הפגין יכולות מסוכנות במיוחד בהכוונת משתמשים ליצירת נשק ביולוגי "אנחנו לא בטוחים שזה מסוכן, אבל גם לא יכולים לשלול את זה"
חברת הבינה המלאכותית אנתרופיק (Anthropic) ניצבת בפני המבחן החמור ביותר שלה עד כה: האם ניתן לשחרר מודל AI עוצמתי במיוחד, כזה שלפי בדיקות פנימיות מסוגל לסייע למתחילים בבניית נשק ביולוגי, מבלי לסכן את שלום הציבור? לאחר השקה מוגבלת של Claude Opus 4, החברה
חושפת מערכת הגנה חדשה ברמת סיכון גבוהה במיוחד, מתוך ניסיון לאזן בין חדשנות עסקית לאחריות מוסרית בעולם הטכנולוגיה.
Claude Opus 4, הגרסה החדשה ביותר של המודל של Anthropic, נבחן ונמצא יעיל יותר מקודמיו (ואף מגוגל) בזיהוי והכוונה של
משתמשים חסרי רקע מקצועי לצעדים שעלולים להוביל לייצור נשק ביולוגי. בעקבות כך, המודל מושק תחת הגדרה של "רמת בטיחות 3" (ASL-3), הכוללת אמצעים מתקדמים כמו חסימת ניסיונות לעקוף את ההגנות, מערכות AI פנימיות שמזהות שאלות חשודות, וחומת סייבר שנועדה להרתיע אפילו תוקפים
ברמה מדינתית.
אחד הכלים המרכזיים נקרא "מסווגים חוקתיים", מערכות פנימיות הבודקות בזמן אמת את השאלות שמוזנות למודל ואת התשובות שהוא מספק, במטרה לאתר דפוסים של ניסיונות לפתח נשק. Anthropic מודה שלא כל שימוש בעייתי נחסם, אך המיקוד הוא
באותם תרחישים העלולים לגרום לנזק נרחב כמו מגפה עולמית.
האם חברות יכולות באמת לרסן את עצמן?
המהלך כולו מבוסס על מדיניות פנימית וולונטרית בשם "מדיניות ההתרחבות האחראית" (RSP), שמחייבת את החברה לבדוק את עצמה
לפני שחרור מודלים מסוכנים. עם זאת, אין גוף רגולטורי שמפקח על היישום, מה שמעורר שאלות בנוגע לאמינות ולגבולות ההתחייבות. לדברי ג'ארד קפלן, המדען הראשי של Anthropic, המודל לא בהכרח מסוכן, אבל לא ניתן לשלול את הסיכון, ולכן ננקטת גישה של "הטיית זהירות".
לדבריו, החברה מבינה שהגנה מושלמת אינה קיימת, אך מאמינה כי ריבוי שכבות ההגנה מפחית את רוב הסיכונים. בין היתר, היא מפעילה תוכנית בונוסים למשתמשים שיאתרו פרצות, אחת מהן כבר נחשפה ותוקנה, והביאה למאתר פרס של 25 אלף דולר. קפלן לא מסתיר את החששות:
"רוב הפעולות המסוכנות שמחבל יכול לבצע גורמות לנפגעים בודדים. אבל מגפה ביולוגית? כבר ראינו מה קרה עם הקורונה".
ההתקדמות המהירה בתחום הבינה המלאכותית הביאה לפריצות דרך משמעותיות, אך גם לדאגה גוברת מהסיכונים הטמונים בטכנולוגיה
רבת עוצמה זו. מודלים חדשים הופכים לחזקים יותר ונגישים יותר לציבור, אך נכון להיום, ברוב מדינות העולם עדיין לא קיימת רגולציה מחייבת או אכיפה ממשלתית סדורה שתפקח על רמות הסיכון או תגדיר כללים ברורים לשחרור של מודלים מתקדמים. חלק מהמדינות החלו בתהליכים רגולטוריים,
כמו חוק ה-AI באיחוד האירופי שצפוי להיכנס לתוקף בהדרגה אך בפועל, האחריות לשמירה על הבטיחות מוטלת כיום על כתפי החברות עצמן. במציאות תחרותית שבה כל עיכוב עלול לעלות במעמד ובכסף, השאלה המרכזית היא עד כמה ניתן לסמוך על שיקול דעתן של אותן חברות
- 1.בסוף יתנו ל AI להשמיד את כל העולם ממש כמו בסרטים. (ל"ת)אנונימי 26/05/2025 15:37הגב לתגובה זו
אנירוד דווגן, מנכ"ל קאדנס. קרדיט: רשתות חברתיותמחברת את השבבים לסייבר: Cadence השלימה את רכישת Secure-IC
במהלך לבסס את מעמדה כספקית פתרונות מערכת מקצה לקצה, משבב ועד מערכת שלמה, השלימה Cadence את רכישת Secure-IC: העסקה תרחיב את יכולות החברה בתחומי אבטחת הסייבר עבור תעשיות הרכב, הענן, התעופה, הביטחון והאינטרנט של הדברים (IoT)
קאדנס חברת קאדנס (Cadence) Cadence Design Systems Inc. -2.46% , העוסקת בתכנון שבבים ומערכות מבוססות בינה מלאכותית, הודיעה על השלמת רכישתה של Secure-IC, שעוסקת בפתרונות אבטחת סייבר משובצת (Embedded Security IP), שירותי הערכת
סיכוני סייבר וכלי הגנה ייעודיים לחומרה. במסגרת העסקה, שמחירה לא נמסר, צפויה Secure-IC להפוך לחלק בלתי נפרד ממערך פתרונות המערכת החכמה של קאדנס, שמטרתה לאחד בין תכנון שבבים, תת-מערכות ותוכנה תחת מעטפת אינטגרטיבית אחת.
שילוב הידע של קאדנס, שנצבר במשך עשרות שנים בתכנון IP, רכיבי חומרה ותתי מערכות, עם הטכנולוגיות של Secure-IC יאפשר ללקוחותיה לפתח פתרונות מאובטחים מקצה לקצה, כבר משלב תכנון הסיליקון ועד ליישום הסופי של המוצר. העסקה, שהוכרזה לראשונה מוקדם יותר השנה, מרחיבה את פעילותה של קאדנס מעבר לעולמות התכנון ההנדסי המסורתי, ומחזקת את יכולותיה לספק פתרונות אבטחה מקיפים המוטמעים ישירות בשלב תכנון השבב. בכך היא מבקשת לתת מענה לביקוש ההולך וגובר לפתרונות אבטחת סייבר מובנים במוצרים מתקדמים – בהם רכבים חכמים, מרכזי נתונים, מערכות חלל וביטחון, תקשורת סלולרית, מוצרי צריכה חכמים ואינטרנט של הדברים (IoT).
קאדנס ציינה כי שילוב הידע שלה בעולמות תכנון ה-IP ותתי־המערכות עם ההתמחות של Secure-IC בתחומי אבטחת הסייבר יאפשר לה להציע ללקוחות פתרונות מערכתיים מלאים – החל משלב תכנון הסיליקון ועד למערכות המשלבות תוכנה וחומרה. מהלך זה משתלב באסטרטגיית החברה הנקראת Intelligent System Design, שמטרתה לפתח מערכות חכמות ובטוחות תוך קיצור משמעותי של זמן הפיתוח וההגעה לשוק.Secure-IC, שמשרדיה הראשיים בצרפת ופועלת באירופה, אסיה וארה"ב, מתמחה באבטחת שבבים למגוון רחב של תחומים רגישים,
מתעשיות ביטחוניות ועד מוצרי צריכה, וידועה בפתרונותיה להגנה מפני תקיפות פיזיות ולשיפור חסינות המערכות מפני פרצות בזמן אמת.
על פי הודעת קאדנס, העסקה לא צפויה להשפיע באופן מהותי על הכנסותיה או רווחיה בשנת 2025. עם זאת, אנליסטים בשוק מציינים כי מדובר
במהלך בעל ערך אסטרטגי ארוך טווח, שיחזק את מעמדה של החברה כשחקנית מובילה בתחום אבטחת הסייבר המוטמעת בשבבים, תחום הצומח במהירות עם התרחבות השימוש במכשירים חכמים ודרישות רגולציה מחמירות ברחבי העולם.
קאדנס היא אחת מהחברות הגדולות בעולם בתחום תכנון שבבים ומערכות אלקטרוניות. החברה מפתחת כלים ופתרונות מבוססי בינה מלאכותית, סימולציה ו-Digital Twin (ייצוג וירטואלי של אובייקט אמיתי, שמבוסס על נתונים בזמן אמת, חיישנים ואלגוריתמים מתקדמים) עבור יצרניות שבבים, חברות טכנולוגיה ותעשיות ביטחוניות. לקוחותיה כוללים את החברות המובילות בתחומי המוליכים למחצה, הרכב, התקשורת והחלל. מנכ"ל אינטל הנוכחי, ליפ-בו טאן, כיהן בעבר כמנכ"ל החברה.
