שורה אחת ב-robots.txt: OpenAI, גוגל ומיקרוסופט מאחדות את החסימה של אימון AI
אתרי אינטרנט יוכלו בקרוב לומר בבת אחת לכמה מפתחות בינה מלאכותית שהם מסרבים שהתוכן שלהם ישמש לאימון מודלים. ביום שישי, 30 באוקטובר, הודיעו OpenAI, גוגל ומיקרוסופט שיכבדו סימון משותף בקובץ robots.txt, הקובץ שבו אתרים מגדירים לסורקים אוטומטיים מה מותר להם לעשות. באותו יום הגיש מהנדס של אנתרופיק ל-IETF, הגוף שמגבש תקנים לאינטרנט, טיוטה שמפרטת איך הסימון עובד, וכתב שאנתרופיק כבר החלה ליישם אותה.
- OpenAI, גוגל ומיקרוסופט יכבדו סימון אחיד נגד אימון מודלים על תוכן של אתרים
- מיקרוסופט תתחיל ליישם את ההעדפות החדשות ב-1 בפברואר 2027, גוגל מכוונת לתחילת 2027
- ההגדרות הנפרדות שכל ספקית מציעה ימשיכו לפעול לצד הסימון החדש
עד עכשיו, אתר שביקש למנוע שימוש בתוכן שלו לאימון נדרש לזהות כל סורק בנפרד ולכתוב עבורו כלל משלו. OpenAI מפעילה סורקים בשמות משלה, ולגוגל יש את Google-Extended, ההגדרה שהיא מציעה לאתרים מאז 2023. בכל פעם שספקית חדשה נכנסה לשוק, מנהלי האתרים היו צריכים לעדכן את הקובץ. הסימון המשותף מחליף את הרשימה הזאת בשורה אחת שכל הספקיות המשתתפות קוראות.
איך זה עובד
לפי הטיוטה שהוגשה ל-IETF, במקום לכתוב את שם הסורק בשורת User-Agent, מנהל האתר כותב מילת מדיניות קבועה, __usage_ai-training, ומתחתיה את הנתיבים שבהם הוא מתנגד לאימון ואת אלה שבהם הוא מתיר אותו. כך אפשר, לדוגמה, לחסום אימון על כל האתר ולהתיר אותו בעמודי ההודעות לעיתונות. הטיוטה שומרת על מבנה הקובץ ועל כללי הקריאה הקיימים, ולכן סורקים ישנים מתייחסים למילת המדיניות כאל שם של סורק זר ופשוט מדלגים עליה.
הידעת?מה זה robots.txt?
גוגל כתבה שכאשר אתר יסמן התנגדות לאימון במילת המדיניות, וכלל נפרד עבור Google-Extended חסר בקובץ, היא תתייחס לכך כאילו האתר חסם את Google-Extended. לדבריה, היא מכוונת לתמוך בסימון החדש יחד עם ספקיות אחרות במהלך 2027. OpenAI כתבה שתיישם את הסימון בחודשים הקרובים ותפרסם עדכון כשזה יקרה, וקראה לספקיות נוספות להצטרף.
מיקרוסופט מפרידה בין אימון לתשובות
מיקרוסופט הלכה צעד נוסף. מעבר לסימון המשותף, היא תאפשר להגדיר העדפת אימון גם ברמת העמוד הבודד, ותוסיף העדפה נפרדת לשימוש בתוכן כמקור לתשובות שנוצרות בזמן אמת, בבינג, ב-Copilot וב-Microsoft 365. אתר יוכל לחסום שימוש כזה לגמרי, או לבחור באפשרות DisallowExtended, שמגבילה אותו למוצרים שמיקרוסופט מפעילה בעצמה ומונעת אותו משירותים שהיא מספקת לצדדים שלישיים. לפי מיקרוסופט, אתר שיבחר בהעדפות האלה ישמור על מקומו בתוצאות החיפוש הרגילות של בינג.
הידעת?מה ההבדל בין אימון לעיגון?
מיקרוסופט תתחיל לכבד את ההעדפות החדשות ב-1 בפברואר 2027, תוך כדי סריקה, והן יחליפו את התגיות NoArchive ו-NoCache ששימשו עד עכשיו לאותה מטרה. היא ממליצה לאתרים שמשתמשים בתגיות הישנות לעבור להגדרות החדשות עד 1 במרץ 2027. החברה גם הזהירה שחסימת העיגון תפחית את החשיפה של המותג בתשובות של כלי הבינה המלאכותית, ושגם התרת השימוש היא הזדמנות להכללה, בלי הבטחה לתנועה או לתשלום.
הטיוטה עצמה היא בשלב זה הצעה אישית, בלי מעמד רשמי בתהליך התקינה של IETF, והיא בתוקף עד מאי 2027, אלא אם תעודכן קודם. ההשתתפות של הספקיות וולונטרית, ומה שיקבע את ההשפעה בפועל הוא כמה ספקיות נוספות יצטרפו. להרחבה: גוגל פותחת את ג'מיני והחיפוש לאפליקציות של כולם
