סוכני AI חזקים יותר דורשים גבולות: שלוש מיומנויות לעבודה בטוחה

מה קרה כשמודל חזק מדי נכבה לשלושה שבועות?

שלושה ימים אחרי ש-Anthropic השיקה את המודל החזק ביותר שבנתה, הגיעה הנחיה מהממשל האמריקאי: אסור לתת לאזרחים זרים גישה ל-Fable או ל-Mythos, כולל עובדים זרים של החברה עצמה שעובדים בתוך ארצות הברית. הבעיה הייתה טכנית לגמרי. כשמישהו פונה לממשק התכנות, אין לחברה דרך אמינה לבדוק את האזרחות שלו בזמן אמת, וההנחיה נכנסה לתוקף מיד. הדרך היחידה להבטיח ציות הייתה לכבות את שני המודלים לכולם, בכל העולם, בבת אחת.

לפי הממשל, הטריגר היה פריצת מגבלות שגרמה ל-Fable לסרוק תוכנה, למצוא חולשות ולהדגים איך אפשר לנצל אחת מהן. Anthropic השיבה שהבדיקה הזאת מצאה רק כמה חולשות קטנות שכבר היו ידועות, ובהמשך הוסיפה שכל מודל שנבדק הצליח לשחזר את אותה הדגמה, כולל מודלים ישנים יותר שלה ושל OpenAI. הוויכוח היה על השאלה אם עקיפה אחת מצדיקה להשבית מודל שלם. אבל היכולת שמתחת לוויכוח הייתה קשה הרבה יותר לביטול, וזה החלק שכדאי להבין. רקע נוסף על הצד הזה נמצא בסקירה על מציאת חולשות יום אפס על ידי המודלים של Anthropic, שמסבירה איך נראית היכולת הזאת כשהיא משמשת את מי שמגן על מערכות.

במהלך 18 ימי ההשבתה Anthropic אימנה מסווג בטיחות חדש, שלפי החברה חוסם את הטכניקה שדווחה ביותר מ-99 אחוז מהמקרים. הממשל בדק את ההגנות, ההגבלות הוסרו, והמודל חזר. החברה גם הסכימה לתת לגורמים ממשלתיים גישה מוקדמת למודלים עתידיים ולעזור לבנות סטנדרט משותף לשיפוט עקיפות. בזמן שהמודל היה כבוי, מעבדות בסין וחברות אמריקאיות אחרות המשיכו לשחרר מודלים. אין ראיה פומבית שהתחרות היא שהחזירה אותו, אבל המקרה ממחיש נקודה פשוטה: חברה אחת, ואפילו מדינה אחת, לא יכולה להאט לבד תחום שלם.

מה היכולת שמאחורי ההשבתה באמת יודעת לעשות?

כדי להבין למה הסיפור הזה רלוונטי למי שמפעיל סוכנים בעסק, צריך להפריד בין הכותרת לבין היכולת. Fable ו-Mythos הם בעצם אותו מודל בסיס, עם שכבות בטיחות שונות. Fable היא הגרסה הציבורית, ו-Mythos מגיע עם פחות מגבלות ונגיש רק לקבוצה קטנה של גורמי הגנה מהימנים. עוד לפני ההשבתה, גרסת תצוגה של Mythos כבר מצאה אלפי חולשות שלא היו מוכרות קודם, ופיתחה דרכי ניצול לחלק מהן, לעתים קרובות בלי הכוונה אנושית בכלל.

שתי דוגמאות ממחישות את הקפיצה. המודל מצא באג בן 27 שנה במערכת ההפעלה OpenBSD, ובאג בן 16 שנה בספריית הווידאו FFmpeg, באג שכלי בדיקה אוטומטיים עברו עליו חמישה מיליון פעמים בלי לזהות אותו. עכשיו שימו את האינטליגנציה הזאת בתוך סוכן שיכול לקרוא את מאגר הקוד שלכם, להשתמש בכלים שלכם ולבצע פעולות. הוא יכול למצוא חולשות שמומחים פספסו במשך שנים, ובנוסף להבין איך לתקוף חלק מהן. זו המשמעות המילולית של האמירה ש-Claude Code מתחיל להיות מסוכן.

הנקודה החשובה היא שאותה יכולת עובדת לשני הכיוונים. תוקף יכול להשתמש בה כדי לכתוב הודעות פישינג משכנעות יותר, לסרוק חולשות ולנוע מהר יותר ברגע שנכנס למערכת. ומי שמחבר סוכן חזק לכל המערכות של העסק בלי לחשוב על הרשאות יוצר בעצמו את נקודת התורפה. הבעיה אינה שהסוכן רע, אלא שהוא מהיר, חרוץ ומבצע בדיוק את מה שאפשרו לו, כולל טעויות, וכולל הוראות שהגיעו ממקור שלא היה צריך לסמוך עליו.

למה לבנות בדיוק את מה שביקשו ממכם זו טעות?

התרחיש מוכר לכל מי שבונה אוטומציות וסוכנים. בעל עסק או מנהל מגיע ואומר: ראיתי סוכן כזה ברשתות, תבנו לנו אחד כמוהו. אם פותחים את Claude Code ובונים בדיוק את מה שהוא ביקש, אפשר לסיים עם אוטומציה מושלמת של משהו שמעולם לא היה הבעיה האמיתית. וככל שהמודלים חזקים יותר, הטעות הזאת יקרה יותר, כי הם מבצעים את התוכנית הלא נכונה במהירות מדהימה. השאלה מה באמת ראוי לכל הכוח הזה הופכת לשאלה החשובה ביותר בפרויקט.

הדוגמה בהדגמה שהניתוח מתבסס עליה היא קליניקה לטיפולים אסתטיים. הבעלים רצתה מערכת AI שתביא יותר לידים, כי מה שהיא הרגישה היה חוסר בהכנסות. לפני שנבנה משהו, נשאלה שאלה אחת: אם העסק שלך יגדל פי 10 מחר, איזה תהליך יישבר ראשון? כשבדקו את העסק לעומק, התברר שלידים לא היו הבעיה. היו הרבה פניות, אבל חלק גדול מהלקוחות שקבעו תור פשוט לא הגיעו אליו. ההכנסות דלפו אחרי שהליד כבר נוצר, ולא לפניו.

להכניס עוד לידים לצינור כזה היה רק מייקר את הדליפה. הפרויקט הראשון הנכון היה שיפור המעקב וצמצום ההברזות, כי הוא תוקף ישירות את האילוץ שכבר עלה לעסק כסף. זה בדיוק התפקיד של אוטומציה של תזכורות לפגישות: פחות הברזות, יותר כסף שנשאר בעסק. הלקח רחב יותר מקליניקה אחת. הערך של מי שמפעיל את הסוכן מתחיל לפני שנכתב הפרומפט הראשון, בהבנה של העסק מספיק טוב כדי לכוון את הכלי לבעיה הנכונה.

כדאי לשים לב גם למה ששאלת הצמיחה עושה בפועל. היא מזיזה את השיחה מהפתרון שהלקוח כבר דמיין אל התהליכים שלו, ומכריחה את שני הצדדים לחפש צוואר בקבוק אמיתי ולא סימפטום. מי שמתחיל ממנה מגיע בדרך כלל לפרויקט קטן יותר, זול יותר ובטוח יותר, כי הוא נוגע במערכת אחת ולא בעשר. ופרויקט קטן שמוכיח את עצמו הוא הבסיס הכי טוב להרחבה, הרבה יותר מסוכן גדול שמחובר לכל דבר מהיום הראשון.

איך נותנים לסוכן הרשאות בלי למסור לו את כל המפתחות?

אף אחד לא מגייס עובד ביום שני ונותן לו באותו בוקר את הסיסמה לחשבון הבנק ואת כל מאגר הלקוחות. אבל עסקים עושים בדיוק את הגרסה הדיגיטלית של זה כשהם מחברים סוכן AI לכל המערכות בבת אחת: המייל, מערכת ניהול הלקוחות, מערכת התשלומים ומאגר הקוד, בלי לעצור ולחשוב על הרשאות. נכון שסוכן צריך גישה כדי לעשות עבודה מועילה, אבל גישה היא לא מתג של הכול או כלום. אפשר להחליט מה הוא קורא, מה הוא משנה, אילו פעולות דורשות אישור, ואיך יודעים בדיוק מה הוא עשה.

ב-Claude Code העיקרון הזה מתורגם לקובץ הגדרות פשוט, שבו מפרידים בין מה שמותר, מה שדורש שאלה ומה שחסום לגמרי. הדוגמה הבאה ממחישה את הרעיון: קריאה חופשית, כל דחיפה של קוד או שליחה דורשת אישור, וקבצי סודות חסומים:

{
  "permissions": {
    "allow": ["Read", "Grep", "Glob"],
    "ask": ["Edit", "Bash(git push:*)", "Bash(npm publish:*)"],
    "deny": ["Read(./.env)", "Read(./secrets/**)", "Bash(rm -rf:*)"]
  }
}

גם ההגדרות שלי ב-Claude Code בנויות בגישה דומה: אין בהן הפעלה של כמה סוכנים במקביל בלי בקשה מפורשת. הכלל הכללי פשוט, ככל שהסוכן מסוגל יותר, הגבולות שלו צריכים להיות הדוקים יותר. מי שרוצה שכבה נוספת ברמת הקוד יכול להשתמש בסקיל שחוסם פקודות גיט מסוכנות לפני שהן רצות, כך שגם טעות של הסוכן לא תמחק היסטוריה או תדחוף שינוי לענף הראשי. וחשוב לזכור: גם עם גבולות מצוינים, סוכן עדיין יכול להפיק תשובה מלוטשת שהיא פשוט שגויה.

מה ישאלו אתכם בעתיד על הסוכנים שמופעלים בעסק?

שלוש תחזיות שעולות מהניתוח ממחישות לאן זה הולך. הראשונה היא שממשלות יתחילו להתייחס לאוריינות AI כמו לתשתית של כוח עבודה. כבר היום יש תוכניות ממשלתיות שמממנות הכשרה, אוריינות והטמעה בעסקים קטנים, וההערכה היא שבחמש עד עשר השנים הקרובות זה יגדל מאוד: מי שאיבד עבודה יקבל הסמכה במימון ציבורי, מורים יקבלו הכשרה כחלק מההשתלמות הרגילה, ותוכניות מקומיות יממנו הטמעה בעסקים קטנים. אף מדינה לא רוצה מיליוני עובדים שמחכים ש-AI יקרה להם.

התחזית השנייה נוגעת ישירות לכל עסק: אבטחת מידע תהיה אחד המקצועות שירוויחו הכי הרבה, אבל העבודה תשתנה. לפי הלשכה האמריקאית לסטטיסטיקה של עבודה, משרות של אנליסטים לאבטחת מידע צפויות לגדול ב-29 אחוז בעשור הקרוב. סוכנים מוסיפים עוד קוד, עוד גישות ועוד פעולות אוטומטיות שצריך לאבטח. ה-AI כנראה יטפל בסבב הראשון של סינון התראות וסריקת חולשות, והאדם יעבור לחלקים שנושאים אחריות: להחליט אם ה-AI צודק, לקבוע לאיזה סוכן יש גישה לאן, לחקור מקרים חריגים ולהגיב כשמשהו משתבש.

כאן נכנס ביטוח הסייבר. מבטחים כבר היום שואלים על אימות רב שלבי, עדכוני תוכנה, גיבויים, הדרכת עובדים, גישה של ספקים ותוכנית תגובה לאירוע. ההערכה היא ששאלות על סוכנים יתווספו לרשימה, לא יחליפו אותה. טופס החידוש עשוי לכלול שאלות כמו אלה:

Which AI agents can move money?
Which agents can read or change customer data?
Can any agent deploy code to production?
Are all agent actions logged, and where are the logs stored?
Who approves high-risk actions?
Who can shut an agent off, and how fast?
What happens if an agent is compromised?

עסק שלא יודע לענות על השאלות האלה עלול לגלות שהכיסוי שלו מתייקר או שקשה יותר להשיג אותו. אבל פוליסה לא עוצרת מתקפה, היא לכל היותר עוזרת לכסות חלק מהנזק ולתמוך בתגובה, תלוי בתנאים. התחזית השלישית היא שממשלות ינסו לייצר סוג של פיקוח נשק על AI, אבל לא תהיה עצירה עולמית נקייה. סביר יותר שנראה שילוב מבולגן של מעקב אחרי שבבים, יומני ענן, הערכות מודלים, דיווחי אירועים ובדיקות במרכזי נתונים. זה יכול להפוך את ריצות האימון הגדולות לגלויות יותר, אבל לא להוכיח שכל מעבדה וכל מדינה באמת עצרו.

איך מוכיחים שהסוכן עבד ושהוא היה תחת שליטה?

המיומנות השלישית היא בעלות על מה שיוצא מהצד השני של הסוכן. AI יכול לכתוב את המייל, את הקוד ואת התשובה ללקוח, ואפילו להמליץ על החלטה, אבל הוא לא יכול לקחת אחריות כשהוא מצטט מחיר שגוי או שולח הודעה לאדם הלא נכון. את זה מישהו צריך לשאת, ומי שבנה או הפעיל את המערכת הוא הכתובת הטבעית. לכן לפני שבונים, מחליטים איזה מספר עסקי המערכת אמורה להזיז: יותר לקוחות, ערך גבוה יותר לכל לקוח, עלויות נמוכות יותר, או מניעה של טעויות יקרות. ככל שהמספר מוגדר יותר, קל יותר לדעת אם הצלחתם.

אחרי שבוחרים את המספר, כותבים שלושה דברים: נקודת הפתיחה, היעד, והזמן שהמערכת מקבלת כדי להגיע אליו. לזה מתווספת שאלה רביעית, שהופכת להכרחית ככל שהסוכנים חזקים יותר: מה המערכת עלולה לעשות לא נכון, ומי אחראי לבדוק את זה. בקליניקה מהדוגמה, היו מודדים את שיעור ההגעה לתורים לפני שנוגעים במשהו, קובעים יעד, ומודדים שוב את אותו מספר אחרי שמערכת המעקב עולה לאוויר. כך נראה כרטיס פרויקט של עמוד אחד שמרכז את כל זה:

Project: appointment follow-up agent
Business number: show-up rate for booked appointments
Baseline: measured over the 4 weeks before launch
Target: agreed with the owner before the build
Time box: 60 days, then review

What can go wrong: wrong time or price in a message, message to the wrong person
Who checks: front desk reviews a daily sample of conversations
Human takeover: any complaint, cancellation or medical question
Log: every message and every client interaction is stored

מכיוון שה-AI מדבר עם לקוחות אמיתיים, צריך גם לבדוק מה הוא אומר בפועל, להחליט מתי אדם לוקח את השיחה, ולשמור יומן של כל הודעה וכל אינטראקציה. כשבעל העסק שואל אם זה עבד, אפשר להראות בדיוק איזה מספר השתנה. וכשהוא שואל אם זה היה תחת שליטה, אפשר להראות איך המערכת התנהגה, מי אישר מה, ומה קרה ברגעים שבהם היא לא הייתה בטוחה. ההוכחה הזאת שווה יותר ככל שהמערכות חזקות יותר, כי עסקים יצטרכו אנשים שיודעים גם להפיק תוצאה וגם לעמוד מאחוריה.

לבעלות יש גם צד חיובי שקל לשכוח. אם הסוכנים טועים, מי שהפעיל אותם אחראי לזה. אבל אם הם מייצרים תוצאה טובה, מגיע לו גם הקרדיט, וחשוב לוודא שהעסק מבין את זה ולא רואה בזה משהו שהמודל עשה לבד. ככל ש-Claude ממשיך להשתפר, התפקיד של מי שעובד איתו עולה רמה: להחליט מה כדאי לאוטומט, לשלוט במה שהמערכת יכולה לגעת בו, ולקחת אחריות על מה שיוצא ממנה.

חמש תובנות על עבודה עם סוכנים חזקים

סיכום: איך משתמשים ביכולת בלי לאבד שליטה?

ההשבתה של 18 ימים הייתה תצוגה קטנה של בעיה גדולה. ממשל אחד יכול לכבות מודל אחד, אבל לא את היכולת, לא את התחרות ולא את הלחץ להמשיך לנוע קדימה. לעסקים זה משאיר מצב קצת מוזר: אי אפשר לעצור את המרוץ, ולהימנע מ-AI לגמרי גם כבר לא ריאלי. מה שנשאר הוא להשתמש ביכולת בצורה מודעת: לבחור את הבעיה הנכונה, לתת לסוכן רק את הגישה שהוא צריך, ולהגדיר מראש איך תדעו שהוא עבד ומי בודק אותו לאורך הדרך.

המקום הטבעי להתחיל בו הוא תהליך אחד שכבר עולה לכם כסף, עם סוכן שקודם קורא ומכין טיוטות, ורק אחר כך מקבל יותר עצמאות. למשל סוכן AI לשירות לקוחות יכול להתחיל בהצעת תשובות שנציג מאשר, לעבור לתשובה עצמאית על שאלות פשוטות, ולהעביר לאדם כל תלונה או שאלה רגישה. כך בונים אמון במערכת בהדרגה, עם יומן שמראה בדיוק מה היא עשתה בכל שלב.

מי שרוצה לבנות סוכנים לעסק עם גבולות ברורים, אישורים במקומות הנכונים ומדד שאפשר להציג לבעלים, מוזמן לדבר איתי על זה ולבדוק ביחד מאיזה תהליך נכון להתחיל ואיזו רמת גישה באמת נחוצה לו.