שש רמות מאמץ, משימה אחת: מה באמת משתנה ב-Opus 5.5

למה בכלל להשוות רמות מאמץ על אותה משימה?

כמעט כל מי שעובד עם Opus 5.5 פוגש את השאלה הזאת: איזו רמת מאמץ לבחור. יש שש אפשרויות, low, medium, high, extra, max, ו-ultracode, והאינטואיציה אומרת שככל שעולים ברמה התוצאה משתפרת. זה נכון רק בחלקו. רמת מאמץ גבוהה יותר פירושה שהמודל חושב יותר לפני כל צעד, מריץ יותר בדיקות, וצורך הרבה יותר טוקנים. כל אלה עולים כסף וזמן, והשאלה האמיתית היא אם התוצאה משתפרת באותו קצב.

כדי לענות על זה צריך ניסוי הוגן: אותו פרומפט, אותה תיקיית קבצים, אותה סביבה, ורק רמת המאמץ משתנה. בהדגמה שהניתוח הזה מתבסס עליה, זה בדיוק מה שנעשה. כל אחת משש הרמות קיבלה משימה גדולה ופתוחה, רצה לבד מההתחלה ועד הסוף בלי התערבות, ובסוף נמדדו חמישה דברים: כמה זמן היא רצה, כמה הייתה עולה לפי תמחור API, כמה טוקנים צרכה, כמה בדיקות הריצה בדפדפן, וכמה שאלות שאלה בדרך.

התוצאות לא היו צפויות. העלות והזמן אמנם עלו כמעט באופן קבוע עם הרמה, אבל האיכות לא. הרמה שנבחרה כמנצחת הייתה extra, ולא max, והרמה היקרה ביותר הפיקה עולם עם באגים בולטים יותר משתי הרמות שמתחתיה. הניתוח שלהלן עובר על כל רמה, על המספרים, ועל מה שאפשר ללמוד מהם כשבוחרים רמת מאמץ למשימות אמיתיות, בפיתוח וגם בעבודת ידע.

איך נבנה הניסוי ומה הייתה המשימה?

המשימה נבחרה כך שתהיה קשה באמת. הסוכן קיבל תיקייה עם כ-105 ג'יגה של הקלטות מכנס וירטואלי שהתקיים בעבר, והתבקש להפוך אותו לעולם תלת-ממדי שאפשר להסתובב בו בגוף שלישי, כאילו הייתם בכנס פיזי אמיתי: חדרים שונים, מסלולים שונים, במות, דוכנים ואזור VIP. הוא קיבל גישה לכלי יצירת תמונות ווידאו ולשאר הקבצים בפרויקט, והוסבר לו מראש שהתוצאה תיבחן לפי יצירתיות, עיצוב, פיזיקה ותחושה כללית של המקום.

זו משימה שמאתגרת בכל הכיוונים בבת אחת. היא דורשת לעבור על הרבה חומר ולהבין מה יש בו, להמציא סיפור ומבנה, לכתוב הרבה קוד, ולבדוק את התוצאה בדפדפן שוב ושוב. היא גם פתוחה מספיק כדי שכל רמה תוכל לפרש אותה אחרת, ולכן היא מבחן טוב לשאלה מה בדיוק מקבלים כשמשלמים על עוד חשיבה. מבנה הפרומפט נראה בערך כך:

/goal Build a realistic 3D tech-conference world I can walk around
in third-person view.

Source material: ./event-recordings/ (all sessions, booths, keynotes)
Make it feel like attending in person: rooms, tracks, stages, expo, VIP.
You may use the image and video tools available in this project.

You will be judged on: creativity, design, physics, overall feel.

הפרומפט הורץ עם הפקודה /goal, כלומר הסוכן עבד בלולאה עד שהחליט שהמשימה הושלמה, בלי שמישהו אישר או תיקן בדרך. כל רמה רצה בשיחה משלה, מאפס, עם אותה תיקייה. זה חשוב, כי זה מבטל את האפשרות שרמה אחת נהנתה מעבודה של רמה קודמת. ההבדלים בתוצאה נובעים מרמת המאמץ בלבד, וגם מהאקראיות הטבעית של המודל, שעליה נדבר בהמשך.

איך נראו התוצאות, רמה אחרי רמה?

המעבר על שש התוצאות לפי הסדר מראה דפוס ברור בחצי הראשון, ושבירה של הדפוס בחצי השני. כדאי לשים לב במיוחד לפערים בין רמות סמוכות, כי שם מתקבלת ההחלטה האמיתית: לא בין low ל-max, אלא בין medium ל-high, או בין extra ל-max.

מה המספרים מלמדים על עלות מול איכות?

כשמסדרים את שש הריצות בטבלה, העלות והזמן מתנהגים כמעט כמו שמצפים: ככל שהרמה עולה, הסוכן חושב יותר, צורך יותר טוקנים, ומשלמים יותר. הריצה היקרה ביותר עלתה פי 12.9 מהזולה ביותר, ומספר הבדיקות ב-max היה פי 2.3 מ-low. סך הכול, שש הריצות יחד היו עולות כ-127 דולר לפי תמחור API. אלה הנתונים הגולמיים של הניסוי, בפורמט שקל להעתיק לגיליון ולהשוות לניסויים שלכם:

level,runtime,cost_usd,checks,questions
low,0:16:43,3.91,22,0
medium,1:13,12.44,23,0
high,1:07,16.31,22,1
extra,1:30,25.92,34,0
max,2:28,50.38,51,0
ultracode,1:35,18.69,42,0

הדבר שהמספרים לא מראים הוא האיכות, ושם הקו כבר לא ישר. הקפיצה מ-low ל-medium הייתה הגדולה ביותר, והיא עלתה בערך 8.5 דולר. הקפיצה מ-medium ל-high ומשם ל-extra המשיכה לשפר, בעיקר בפרטים ובאינטראקטיביות. ואז, במעבר ל-max, העלות כמעט הוכפלה והאיכות ירדה. זה נראה כמו תשואה פוחתת קלאסית: כל שקל נוסף קונה פחות שיפור, ומנקודה מסוימת הוא כבר לא קונה שיפור בכלל.

יש גם חריגה אחת מעניינת בזמנים. high רצה מהר יותר מ-medium, למרות שצרכה יותר טוקנים ועלתה יותר. ההסבר הסביר הוא שחשיבה טובה יותר בתחילת הדרך חוסכת צעדים מבוזבזים אחר כך: הסוכן שמתכנן טוב יותר עושה פחות סבבים של ניסוי וטעייה. במילים אחרות, זמן ריצה ועלות הם לא אותו דבר, ורמה גבוהה יותר לא בהכרח אומרת שתחכו יותר.

למה הרמה היקרה ביותר לא ניצחה?

התוצאה של max נראית בהתחלה כמו פרדוקס: יותר חשיבה, יותר בדיקות, יותר זמן, ותוצאה חלשה יותר. אבל כשמסתכלים על מה שקרה בתוך הריצה, יש לזה כמה הסברים סבירים. הראשון הוא דחיסת ההקשר. max צרכה כ-1.18 מיליון טוקנים, יותר מגודל חלון ההקשר, ולכן בשלב מסוים השיחה נדחסה אוטומטית. דחיסה כזאת מסכמת את מה שקרה עד אותו רגע, ובסיכום הולכים לאיבוד פרטים: החלטות עיצוב, תיקונים שכבר נעשו, והבנה של איך חלקי הקוד מתחברים.

ההסבר השני הוא שמספר בדיקות גבוה לא מבטיח בדיקות טובות. 51 בדיקות נשמע מרשים, אבל העולם עדיין יצא עם הליכה מגושמת ועם אזור שלם שנשבר. בדיקה שווה רק כמו השאלה שהיא שואלת: אם הסוכן בודק שהדף נטען ושאין שגיאות, הוא לא יגלה שההליכה מרגישה רע או שהצללים קופצים. זה בדיוק ההבדל בין לבדוק הרבה לבין לבדוק נכון, ובין סוכן שמצהיר שסיים לבין סוכן שהוכיח את זה, כמו שדורש סקיל האימות לפני הכרזה על סיום.

ההסבר השלישי הוא פשוט אקראיות. כל ריצה של מודל שפה היא דגימה אחת מתוך הרבה תוצאות אפשריות, ובמשימה פתוחה כמו בניית עולם תלת-ממדי הפיזור גדול. ייתכן שריצה נוספת של max הייתה יוצאת טובה יותר, וייתכן שריצה נוספת של extra הייתה יוצאת חלשה יותר. ניסוי עם ריצה אחת לכל רמה נותן כיוון, לא הוכחה. ובכל זאת, הכיוון עקבי עם מה שרואים בהרבה משימות: מעבר לנקודה מסוימת, עוד חשיבה לא מוסיפה איכות.

מה קרה עם ultracode ולמה אף רמה לא האצילה עבודה?

ultracode היא לא באמת רמת מאמץ נפרדת. מתחת למכסה היא משתמשת ברמת extra, ומוסיפה עליה נטייה להפעיל תהליכים דינמיים, כלומר לפצל את העבודה להרבה סוכנים שרצים במקביל לפי תוכנית, ולאחד את התוצאות בסוף. זה גם מסביר למה בגרפים של הניסוי היא התנהגה כמו extra מבחינת עלות וזמן. ההבטחה היא שמשימה גדולה תתפרק לחלקים שכל אחד מהם מקבל תשומת לב מלאה, במקום שסוכן אחד ינסה להחזיק הכול בראש.

בפועל, במעבר על יומני השיחה, התברר שהתהליכים הדינמיים לא הופעלו בכלל. הריצה עשתה יותר בדיקות מרוב הרמות, 42 במספר, אבל עבדה כסוכן אחד. זה חזר גם בניסיונות נוספים, ולכן לא ברור אם מדובר בבאג זמני בכלי או בהתנהגות של Opus 5.5 עם המצב הזה. מי שרוצה להבין מתי פיצול כזה באמת מועיל, ומתי הוא רק מכפיל את העלות, ימצא הסבר מפורט בניתוח על תהליכים דינמיים עם עשרות סוכנים במקביל.

ממצא נוסף, שחל על כל שש הרמות: אף אחת מהן לא הפעילה תת-סוכן. גם max, שהגיעה לדחיסת הקשר ושהייתה מרוויחה מאוד מהעברת חלק מהעבודה לסוכנים אחרים, בחרה לעשות הכול בעצמה. זה לא בהכרח רע. בהגדרות Claude Code שלי, למשל, אין ריבוי סוכנים בלי בקשה מפורשת, כי ברוב המשימות סוכן אחד עם הקשר מלא עובד טוב יותר וזול יותר. אבל זה אומר שאם אתם רוצים פיצול, צריך לבקש אותו במפורש ולא לסמוך על רמת המאמץ שתעשה את זה לבד.

איך בוחרים רמת מאמץ למשימה שלכם?

ההמלצה הרשמית של Anthropic להנחיית Opus 5.5 פשוטה: להתחיל ב-medium, ולהעלות או להוריד לפי הצורך. הניסוי תומך בזה. medium נתנה את הקפיצה הגדולה ביותר ביחס למחיר, ולרוב עבודת הידע, כתיבה, מחקר, סיכומים ואוטומציות קטנות, היא מספיקה לגמרי. low מתאימה למשימות קצרות ומוגדרות היטב, שבהן אתם יודעים בדיוק מה אתם רוצים ורק צריכים ביצוע מהיר, כמו שינוי קטן בקוד או המרה של קובץ.

high ו-extra שמורות למשימות שדורשות הרבה הסקה: לעבור על כמויות גדולות של חומר, לבנות משהו מורכב מאפס, או לרוץ לבד לאורך זמן בלי שמישהו יתקן בדרך. במשימה של הניסוי, שבה הסוכן היה צריך לעבור על עשרות סרטונים, למצוא חומרים בפרויקט, ולבנות מהם חוויה עם סיפור, extra הצדיקה את המחיר. במשימה שבה אתם נמצאים ליד המקלדת ויכולים לתקן אחרי כל סבב, high עם עוד פרומפט אחד או שניים תגיע כנראה לאותו מקום בפחות כסף.

max כדאי להשאיר למקרים נדירים, ורצוי לבדוק מראש אם המשימה בכלל נכנסת בחלון ההקשר. אם הריצה צפויה לחרוג ממנו, עדיף לפצל את המשימה לשלבים, או לבקש במפורש עבודה עם תתי-סוכנים, מאשר לשלם על עוד חשיבה שתלך לאיבוד בדחיסה. ומי שעובד עם הכלי באופן יומיומי יכול למצוא סקירה רחבה יותר של היכולות והמגבלות שלו בסקירת הכלי Claude Code.

כלל אצבע שעולה מהניסוי: תבחרו את הרמה לפי שתי שאלות. כמה הסקה המשימה דורשת, וכמה פעמים תוכלו להתערב באמצע. משימה קלה עם הרבה התערבות מתאימה לרמה נמוכה. משימה קשה שרצה לבד מתאימה לרמה גבוהה. ובכל מקרה, אם אתם לא בטוחים, תריצו את אותה משימה פעמיים ברמות סמוכות ותשוו. זה עולה מעט, ומלמד הרבה יותר מכל טבלה כללית.

חמש תובנות על רמות מאמץ

סיכום: איזו רמת מאמץ לבחור?

הניסוי מראה שרמת מאמץ היא החלטה כלכלית, לא רק טכנית. medium היא נקודת התחלה טובה לרוב העבודה, ו-extra היא הבחירה המשתלמת למשימות גדולות שרצות לבד. max כמעט אף פעם לא מצדיקה את המחיר הכפול, ו-ultracode כדאי לבדוק מחדש בכל פעם, כי ההתנהגות שלה עדיין לא יציבה. הדרך הכי טובה לבחור היא להריץ את המשימה האמיתית שלכם בשתי רמות סמוכות, להשוות את התוצאה ואת החשבון, ולהחליט לפי מה שיצא.

אותה שאלה חוזרת בכל מערכת AI שרצה בייצור. למשל, בסוכן שירות לקוחות מבוסס בינה מלאכותית כל שיחה מפעילה את המודל מחדש, ולכן ההבדל בין רמת מאמץ נמוכה לגבוהה מוכפל באלפי שיחות בחודש. ברוב השאלות של לקוחות רמה נמוכה או בינונית מספיקה לגמרי, ורמה גבוהה שמורה למקרים מורכבים שבהם טעות עולה ביוקר.

מי שרוצה לבנות סוכנים ואוטומציות שמאזנים נכון בין איכות לעלות, ולבחור לכל משימה את המודל ואת רמת המאמץ שמתאימים לה, מוזמן לקבוע איתי שיחה ולבדוק ביחד מאיפה נכון להתחיל.