מתי לא לבנות סוכן: ארבעה תנאים, ואם אחד נופל אז לא

"סוכן" נעשה שם נרדף לכל שימוש במודל, וזה מטשטש החלטה אמיתית. יש שלוש רמות, ולכל אחת יש מקום.

קריאה בודדת: סיווג, סיכום, חילוץ, מענה. בקשה אחת, תשובה אחת.

תהליך עם לולאה בקוד: כמה שלבים, כשזרימת הבקרה נקבעת אצלכם. אתם כותבים את הלולאה, המודל ממלא את השלבים.

סוכן: שימוש בכלים שהמודל מנווט בו, בלי שהמסלול ידוע מראש.

ארבעת התנאים

לפני שבוחרים ברמה השלישית, כל הארבעה צריכים להתקיים.

מורכבות. האם המשימה רב-שלבית ואי אפשר לפרט אותה מראש. "תהפוך את מסמך העיצוב הזה ל-PR" עומד בזה. "תחלץ את הכותרת מה-PDF" לא.

ערך. האם התוצאה מצדיקה עלות והשהיה גבוהות יותר. סוכן עולה פי כמה מקריאה בודדת ולוקח פי כמה זמן.

היתכנות. האם המודל באמת טוב במשימה הזאת. סוכן לא הופך משימה שהמודל נכשל בה למשימה שהוא מצליח בה, הוא רק מריץ את הכישלון בלולאה.

מחיר הטעות. האם אפשר לתפוס ולתקן טעויות. בדיקות, סקירה, החזרה לאחור. בלי זה, סוכן אוטונומי הוא הימור.

תשובה שלילית באחד מהם פירושה לרדת רמה.

איפה זה נשבר בפועל

התנאי שנופל הכי הרבה הוא הראשון, ולא בגלל שהמשימה קלה. בגלל שהיא כן ניתנת לפירוט, ופשוט לא טרחו לפרט אותה.

הסימן מובהק: יומן הריצה של הסוכן הוא אותו גוף לולאה שחוזר על עצמו N פעמים. אם הקלט קובע לגמרי את הפלט, זה לא שיפוט, זו פונקציה. ניתוב, ספירה, נרמול, סינון ופרמוט חוזרים לקוד רגיל, ונשארת קריאה אחת במקום שבו העבודה באמת דורשת שיפוט.

המחיר שלא סופרים

לא רק טוקנים. סוכן צריך תשתית שלא צריכה קריאה בודדת: ניהול הקשר לאורך תורות, טיפול בסיבות עצירה, שער אישור לפעולות שקשה להחזיר, תיעוד שאפשר לחקור בו, וטיפול בכשל של כל כלי. זה קוד שאתם מתחזקים.

מתי כן

חקירה פתוחה שהמסלול בה לא ידוע. עבודה שנפרשת על הרבה פריטים עצמאיים. משימות שבהן מה שנחשב הצלחה ברור מספיק כדי לבדוק אותו, אבל הדרך אליו לא.

וגם: כשמישהו כבר בנה את התשתית. אם יש פלטפורמה שמריצה את הלולאה ואת סביבת הכלים, המחיר של ההחלטה יורד ואיתו הרף.

מה שנשאר לא ברור

אין דרך למדוד מראש אם משימה נופלת בתנאי ההיתכנות. התשובה מגיעה אחרי שבונים ומודדים. הדרך הזולה היא לבנות קודם את הגרסה הפשוטה, למדוד אותה, ולעלות רמה רק כשהמדידה מראה שהיא לא מספיקה. הכיוון ההפוך, לבנות סוכן ולפשט אחר כך, כמעט אף פעם לא קורה בפועל.