ללא ספק, מילת הבאז של השנים האחרונות היא AI, ואנחנו שומעים על מודלים, סוכנים, טלטלה בשוק העבודה והרשימה ארוכה עד מאד. כמעט ואין תחום שאין לו נגיעה ישירה עם הבינה המלאכותית, אבל מתחת למכסה המנוע של אימון המודלים והגעתו של ה-AI לביצועים מרשימים, נמצאים זחלני ה-AI. זחלני AI הם למעשה תוכנות אוטומטיות שסורקות אתרי אינטרנט כדי לאסוף תוכן, לרוב לצורכי אימון מודלים, חיפוש או מענה אוטומטי. הם פועלים מבלי לבקש רשות, מייצרים טראפיק שמעמיס על השרתים מבלי לייצר רווח וכך נפגעות ההכנסות של בעלי אתרים, וזה עוד מבלי לדבר על השימוש החינמי בתכנים. 

עכשיו, אחת מחברות התשתית המשמעותיות ביותר ברשת, קלאודפלייר Cloudflare -1.24%   , מודיעה כי תתחיל לחסום כברירת מחדל את הגישה של הזחלנים (Crawlers) של חברות AI לאתרים שהיא מגינה עליהם, אלא אם בעלי האתרים יתירו זאת באופן אקטיבי ובתנאים ברורים. 

המהלך מגיע על רקע חששות גוברים בקרב בעלי אתרים ויוצרי תוכן, שמצאו עצמם מנוצלים בידי בוטים שסורקים את האתר שלהם ללא פיצוי, ותוך כדי כך גם גורמים לעלויות נוספות. על פי מחקר שפורסם לאחרונה, אם נסתכל רק על שניים מהשחקנים הגדולים בתחום, OpenAI וגוגל Alphabet -0.27%  , נגלה שהם אחראים על יותר מ־20% מהטראפיק באתרים. על פי קלאודפלייר זהו טראפיק "לא איכותי" שאינו תורם לתנועה אמיתית, אלא רק לצריכת תכנים מצד מכונות.

וכך, הכריזה קלאודפלייר על שירות חדש ופורץ דרך בשם Pay Per Crawl, שהוא מודל הכנסות חדש לבעלי אתרים, שמאפשר לגבות תשלום מחברות AI עבור גישה לתכני האתר שלהם. המודל החדש הושק בינתיים בגרסת בטא, אך כולל כבר ממשק שבו בעלי אתרים יכולים לקבוע מחירים לפי גישה, לסווג את סוגי הבוטים המגיעים (למשל, לצורכי אימון מודלים או חיפוש), ולצפות בפרטים מדויקים על כל פעולה שביצע הבוט.

• תקלה בקלאודפלייר השביתה אתרי ענק -למה המניה יורדת רק ב-2%?
• גולדמן זאקס עם המלצה על קלאודפלייר - אפסייד של 23%
• המלצת המערכת: כל הכותרות 24/7

לדברי מנכ"ל קלאודפלייר, מתיו פרינס, "הבוטים של חברות ה-AI קוצרים תכנים בלי הגבלה. המטרה שלנו היא להחזיר את הכוח לידיים של היוצרים, תוך שמירה על היכולת של חברות ה-AI להיות טובות יותר". פרינס הדגיש כי מדובר במאבק על העתיד של האינטרנט: "אם לא ננקוט פעולה, נהפוך במהרה לרשת סגורה, שמוסתרת מאחורי חומות תשלום. אנחנו רוצים לשמר אינטרנט חופשי, פתוח, רווחי ויציב, והדרך לשם עוברת דרך מודל חדש שמשרת את כולם, גם את היוצרים וגם את הטכנולוגיות החדשות". 

שינוי דרמטי 

הנתונים שמציגה קלאודפלייר מדאיגים: בעוד שבשנת 2013 גוגל סרקה 2 עמודים על כל גולש שנשלח לאתר, כיום היחס הזה הידרדר ל-6 עמודים סרוקים על מבקר אחד בלבד. ChatGPT של OpenAI מציג יחס של 250:1, ואילו אנת'רופיק עומדת על יחס קיצוני של 6,000:1. כלומר, על כל מבקר אנושי שנשלח לאתר כלשהו, בוצעו 6,000 סריקות על ידי הבוטים שלה.

המהלך של קלאודפלייר זוכה לתמיכה נרחבת מצד גופי תוכן ומדיה בולטים, ביניהם באזפיד, טיים, סקיי ניוז, Quora ויוניברסל מיוזיק. כולם תומכים בגישה שמבוססת על הרשאה ושקיפות: חברות AI, מנועי חיפוש וחוקרים שגולשים או סורקים אתרים, כולם חייבים להצהיר על מטרת הגישה שלהם ולאפשר לבעל האתר להחליט האם לאשר אותה ואיך לתמחר אותה.

• יוזמה למס חדש של 5% על מיליארדרים בקליפורניה
• שוקי ההון פותחים את 2026 בעלייה; ומה קורה בחוזים על וול סטריט
• תוכן שיווקי שוק הסקנדרי בישראל: הציבור יכול כעת להשקיע ב-SpaceX של אילון מאסק
• המירוץ הקוונטי: החברות שמעצבות את עתיד המחשוב

סטיב הופמן, מנכ"ל רדיט, הביע תמיכה בגישה זו, ואמר כי "לכל פלטפורמה ברשת צריך להיות קול לגבי מי לוקח ממנה תוכן ולמה. הגיע הזמן לעשות סדר." 

וכך, הופכת קלאודפלייר לספקית התשתיות הראשונה באינטרנט ולמעשה למפקחת דה פאקטו על התחום, ומציעה פתרון מובנה ואגרסיבי לטיפול בבעיה שהולכת ומחריפה: אוטומציה של תכנים ללא תגמול. המהלך שלה עשוי לשנות את מאזן הכוחות בין תעשיית התוכן לתעשיית הבינה המלאכותית ולהכריח חברות AI להכניס יד לכיס. 

מניית קלאודפלייר בנתיים לא הגיבה בטרום, אבל האמון ביוזמה החדשה בקרב ענף התוכן הדיגיטלי רק עולה. האם מדובר בתחילתו של עידן חדש באינטרנט? ימים יגידו. מה שברור: היכולת של יוצרים להרוויח מהתוכן שלהם חזרה אל השולחן.