אנתרופיק למפתחים: תפסיקו לכתוב פרומפטים ארוכים - ותוסיפו הקשר

במשך יותר משנתיים, אחת העצות המרכזיות למי שרצה להפיק תוצאות טובות ממודלי בינה מלאכותית הייתה: השקיעו בפרומפט. משתמשים למדו שכדי לקבל תשובה איכותית מקלוד, צ'אטGPT או מודלי שפה אחרים, כדאי להגדיר למודל מי הוא, מה התפקיד שלו, מה בדיוק צריך לעשות, מאילו טעויות להימנע, באיזה סגנון לענות, אילו מגבלות קיימות ואפילו כיצד לבדוק את עצמו לפני שהוא מחזיר תשובה.

כך נולד תחום שלם - הנדסת פרומפטים - היכולת לנסח את ההוראה הנכונה שתגרום למודל לספק את התוצאה הטובה ביותר. אבל כעת אחת החברות המובילות בתחום טוענת שהגישה הזו כבר מתחילה להשתנות.

אנתרופיק, החברה שמפתחת את מודלי קלוד, פרסמה הנחיות חדשות למפתחים לעבודה עם Claude 5, ובהן מסר שעומד בניגוד לחלק גדול מהעצות שהפכו לנפוצות בשנים האחרונות: אל תכתבו למודל מגילות.

לטענת החברה, מודלי הדור החדש כבר מסוגלים להבין הקשרים מורכבים יותר, ולכן עודף הוראות לא רק שאינו תמיד מועיל, הוא עלול להכביד על המודל, להגדיל את עלויות השימוש ולהסיט את תשומת הלב מהמשימה המרכזית.

אנתרופיק אף מציינת כי במסגרת העבודה הפנימית שלה היא הצליחה לצמצם בכ-80% את היקף ההוראות במערכת שלה, בלי לפגוע באיכות התוצאות. אם זה מבלבל אתכם, חשוב להבהיר: הפרומפטים לא הולכים לשום מקום, הם עדיין נחוצים, אבל המיקוד משתנה - פחות ניסיון לשלוט בכל צעד של המודל, ויותר השקעה בבניית סביבת עבודה נכונה עבורו.

מעידן הפרומפטים הארוכים לעידן ההקשר

כדי להבין את השינוי, צריך לחזור לתקופה שבה מודלי הבינה המלאכותית הראשונים הפכו לנגישים לציבור. המודלים הראשונים היו רגישים מאוד לניסוח. לעיתים שינוי קטן באופן שבו נוסחה בקשה היה משנה לחלוטין את התשובה שהתקבלה. משתמשים גילו שאם הם מגדירים למודל תפקיד ברור - למשל "אתה מומחה שיווק", "אתה עורך דין" או "אתה מתכנת בכיר" - ומוסיפים הוראות מפורטות, איכות התוצאה הייתה עולה.

בהמשך נוספו טכניקות מתקדמות יותר: בקשה לחשיבה בשלבים, הצגת דוגמאות לתשובות רצויות, הוספת כללים מפורטים ובקשות לבקרה עצמית. אך מאז כאמור דברים השתנו. המודלים עצמם השתפרו באופן משמעותי. הם מסוגלים להבין טוב יותר את מטרת המשתמש, לזהות דפוסים, להתמודד עם משימות מורכבות ולהשלים מידע חסר. כתוצאה מכך, חלק מהעבודה שבעבר המשתמש היה צריך לבצע באמצעות הוראות מפורטות עבר אל המודל עצמו.

לדברי אנתרופיק, אחת הטעויות הנפוצות כיום היא ההנחה שככל שמוסיפים יותר מידע לפרומפט, כך התוצאה תהיה טובה יותר. בפועל, מידע שאינו חיוני עלול ליצור עומס ולהקשות על המודל להתמקד בעיקר.

פחות הוראות, יותר גבולות ברורים

אחת ההמלצות המרכזיות של אנתרופיק היא להפסיק לנסות לחזות כל תרחיש אפשרי באמצעות רשימות ארוכות של כללים.

• אופוס 5 הגיע: כמעט פייבל בחצי מחיר - והאם שווה לעבור מהדגם הקודם?
• עליבאבא טוענת שהמודל החדש שלה "שני רק לאנתרופיק"

לדוגמה, מפתחים נוטים לכתוב הוראות כמו:

"אל תשנה קבצים שלא קשורים למשימה, אל תוסיף פונקציות חדשות, אל תמחק קוד קיים, אל תשנה מבנה מערכת, אל תבצע שינויים שאינם הכרחיים".

לדברי החברה, במקום רשימת איסורים ארוכה, עדיף להגדיר את הכללים בצורה פשוטה יותר: "הישאר בגבולות המשימה".

הסיבה היא שמודלים חדשים מסוגלים להבין טוב יותר את הכוונה מאחורי ההוראה. כאשר המשתמש מנסה לכסות כל אפשרות באמצעות עשרות סעיפים, הוא עלול ליצור מערכת הוראות מורכבת מדי, שבה קשה יותר להבחין בין מה שחשוב לבין מה שמשני.

הגישה החדשה היא פחות "לנהל את המודל בכל צעד" ויותר לתת לו מסגרת פעולה ברורה.

למה בקשות לבדיקה עצמית כבר פחות נחוצות?

אחת הטכניקות שהפכה נפוצה במיוחד היא בקשה מהמודל לבדוק את עצמו.

• קייטו כבר בקצב של 415 מיליון דולר - האם ההנפקה בוול סטריט מתקרבת?
• פי שניים מהממוצע: 20 מיליון דולר בסיד לסטארטאפ סייבר

משתמשים רבים מוסיפים הוראות כמו "חשוב שוב לפני שאתה עונה", "בדוק את התשובה פעמיים", "ודא שאין טעויות" או "בצע ביקורת עצמית".

הרעיון היה פשוט: אם המודל יקדיש יותר זמן לחשיבה, הוא יפיק תשובה טובה יותר.

אלא שאנתרופיק טוענת שבמודלים החדשים הגישה הזו אינה תמיד יעילה. במקרים רבים היא רק מוסיפה שלבי עיבוד, מגדילה את צריכת המשאבים ואינה משפרת באופן משמעותי את התוצאה.

במקום לבקש מהמודל לבדוק את עצמו שוב ושוב, החברה ממליצה להגדיר מראש מה נחשב לתוצאה תקינה.

לדוגמה, אם המטרה היא ליצור פלט בפורמט מסוים, עדיף לצרף מבנה מוגדר מראש ולדרוש מהמודל לעמוד בו. אם מדובר בקוד, עדיף להגדיר אילו בדיקות עליו לעבור או אילו תנאים עליו למלא.

כלומר, במקום לבקש מהמודל "תהיה זהיר יותר", מגדירים לו באופן ברור מהי הצלחה.

פחות הסברים, יותר דוגמאות אמיתיות

שינוי נוסף שעליו מצביעה אנתרופיק קשור לאופן שבו מעבירים מידע למודל.

בעבר, משתמשים רבים ניסו להסביר למודל במילים כיצד מערכת עובדת. כיום החברה ממליצה יותר ויותר להציג למודל את החומר עצמו.

אם מדובר בפיתוח אתר, עדיף לצרף את קוד המקור או את קובצי ה-HTML הרלוונטיים במקום לתאר במילים כיצד האתר בנוי.

אם מדובר בעריכת מסמך, עדיף להעביר את המסמך עצמו.

אם מדובר בניתוח מידע, עדיף לספק את הנתונים עצמם ולא רק להסביר מה הם כוללים.

הסיבה לכך היא שמודל שפה מסוגל ללמוד מתוך דוגמאות מוחשיות באופן מדויק יותר מאשר מתוך תיאור כללי.

מבחינת מפתחים, מדובר בשינוי משמעותי: במקום להשקיע שעות בניסוח הוראות מפורטות, לעיתים עדיף להשקיע בבניית מאגר מידע איכותי ובאספקת חומרים נכונים למודל.

לא להציף את המודל בכל המידע שיש לכם

אחת הטעויות הנפוצות בעבודה עם מערכות בינה מלאכותית היא להעביר למודל את כל המידע הזמין כבר בתחילת העבודה.

ארגונים נוטים לצרף נהלים, מסמכים, מדריכים, תיעוד טכני וכל מידע אפשרי, מתוך מחשבה שככל שהמודל יודע יותר – כך הוא יעבוד טוב יותר.

אנתרופיק מציעה גישה אחרת: חשיפה הדרגתית של מידע.

במקום להעמיס על המודל עשרות מסמכים שאולי לא יהיו רלוונטיים, עדיף לספק לו רק את המידע הדרוש לשלב הנוכחי של המשימה ולהוסיף מידע נוסף כאשר עולה צורך.

הגישה הזו דומה לאופן שבו בני אדם עובדים. עובד חדש אינו צריך לקבל ביום הראשון את כל המידע הקיים בארגון כדי לבצע משימה פשוטה. הוא צריך לקבל את המידע הרלוונטי לנקודת הזמן שבה הוא נמצא.

השינוי הגדול: לא הנדסת פרומפטים, אלא ניהול הקשר

החלק המרכזי בתפיסה החדשה של אנתרופיק הוא המעבר מ"הנדסת פרומפטים" לניהול הקשר.

הפרומפט הוא רק חלק אחד מהמידע שהמודל מקבל. סביבו קיימים רכיבים נוספים: מסמכים, קבצים, הוראות מערכת, בסיסי ידע, זיכרון של שיחות קודמות, כלים חיצוניים ומידע שנשלף ממערכות אחרות. כל אלה יחד יוצרים את הסביבה שבה המודל מקבל החלטות.

לכן, לפי אנתרופיק, האתגר המרכזי של מפתחים כבר אינו למצוא את הניסוח המושלם לשאלה אחת, אלא לתכנן נכון את כל סביבת העבודה של המודל.

השינוי הזה משמעותי במיוחד עבור חברות שמפתחות מערכות מבוססות בינה מלאכותית – החל מעוזרי שירות לקוחות ועד מערכות אוטומציה ארגוניות וסוכני AI שמבצעים משימות מורכבות באופן עצמאי.

מה זה אומר על תעשיית ה-AI?

ההמלצות של אנתרופיק משקפות שינוי רחב יותר בתעשייה.

בשנים הראשונות של מהפכת הבינה המלאכותית, אחת המיומנויות המבוקשות הייתה היכולת "לדבר נכון עם המכונה". סביב התחום נוצרו קורסים, מדריכים וכלים שנועדו ללמד משתמשים כיצד לבנות פרומפטים יעילים.

כעת, ככל שהמודלים מתקדמים יותר, מרכז הכובד עובר למקום אחר.

היתרון התחרותי לא יהיה רק אצל מי שיודע לנסח בקשה טובה יותר, אלא אצל מי שיודע לבנות מערכת טובה יותר סביב המודל: איזה מידע להעביר לו, כיצד לארגן אותו, אילו כלים לחבר אליו ומתי לספק לו כל פרט.

עבור חברות, מדובר גם בשיקול כלכלי. פרומפטים קצרים יותר והעברת מידע מדויקת יותר עשויים להפחית את עלויות השימוש במודלים, לקצר זמני תגובה ולאפשר הפעלה יעילה יותר של מערכות בינה מלאכותית בהיקפים גדולים.

לכן ההנחיות החדשות של אנתרופיק הן לא רק המלצה טכנית למפתחים שעובדים עם קלוד. הן סימן לכך שעולם הבינה המלאכותית נכנס לשלב חדש: פחות ניסיון לשלוט במודל באמצעות עוד ועוד הוראות, ויותר בנייה של סביבה שבה המודל יכול לפעול בצורה יעילה.