חיפוש כלים: כשיש שלושים כלים ורק שניים רלוונטיים

כל כלי שמצהירים עליו נמצא בהקשר של כל בקשה, גם אם לא ישתמשו בו. סכימה של כלי עם חמישה פרמטרים ותיאורים ראויים היא כמה מאות טוקנים. שלושים כלים הם עשרות אלפי טוקנים שמשולמים בכל פנייה.

זה גם בעיית איכות ולא רק בעיית עלות. יותר מדי כלים מבלבלים את המודל, והוא בוחר לא נכון או קורא לכלי שלא היה צריך.

מה חיפוש הכלים עושה

מסמנים חלק מהכלים כטעינה נדחית. הם מוצהרים בבקשה אבל הסכימה שלהם לא נטענת להקשר. מוסיפים כלי חיפוש, ברגקס או ב-BM25, והמודל מחפש בעצמו את מה שהוא צריך.

הסכימות שנמצאו נוספות להקשר בהמשך הבקשה.

הנקודה שהופכת את זה לשימושי

הן נוספות ולא מחליפות. זה ההבדל בין הפיצ'ר הזה לבין הדפוס הידני של להחליף את רשימת הכלים לפי המצב.

כלים מרונדרים ראשונים בבקשה, לפני הנחיות המערכת ולפני ההודעות. שינוי ברשימת הכלים מבטל את מטמון הפרומפט כולו. לכן הדפוס הידני, "אם המשתמש במצב א' שלח את הכלים האלה", עולה מטמון קר בכל החלפת מצב.

חיפוש כלים מוסיף בסוף, והקידומת נשארת שלמה.

מגבלה אחת שמפילה בקשות

לא הכול יכול להיות נדחה. כלי החיפוש עצמו חייב להיטען, ולפחות כלי אחד נוסף חייב להיות לא נדחה. בקשה שבה הכול נדחה מוחזרת עם שגיאה שאומרת בדיוק את זה.

מתי זה משתלם

הכלל הגס הוא שמעל כמה עשרות כלים כדאי. מתחת, ההוספה של כלי חיפוש ושל סבב חיפוש נוסף עולה יותר ממה שהיא חוסכת.

יש גם מקרים שבהם התשובה היא לא חיפוש אלא פחות כלים. שני כלים כמעט חופפים הם מקור בלבול שאף מנגנון גילוי לא פותר. עדיף לאחד אותם ולהגדיר גבול ברור בשני התיאורים.

מה שקורה במקום זה

יש שני דפוסים נוספים שקל לבלבל ביניהם.

שינוי כלים באמצע שיחה הוא מנגנון אחר: האפליקציה מחליטה שהסט השתנה, ומודיעה על תוספת או הסרה בהודעת מערכת בתוך מערך ההודעות, בלי לבטל את המטמון. ההבדל הוא מי מחליט. בחיפוש המודל מגלה בעצמו, בשינוי אתם קובעים.

קריאה תכנותית לכלים היא דבר שלישי: המודל כותב סקריפט שקורא לכלים מתוך קוד, והתוצאות לא עוברות דרך ההקשר שלו כלל. זה פותר עומס תוצאות ולא עומס סכימות.

מה כדאי לפני שמגיעים לזה

לפני מנגנון גילוי כדאי לבדוק את התיאורים עצמם. תיאור שאומר מתי לקרוא לכלי, ולא רק מה הוא עושה, נותן שיפור מדיד בבחירה. תיאור של שורה אחת הוא הבעיה הנפוצה יותר, וחיפוש כלים לא מתקן אותו.

מה שנשאר פתוח הוא מדידה. אין דרך ישירה לראות כמה טוקנים סכימות הכלים צורכות בבקשה מסוימת מלבד ספירה ידנית של אותה בקשה עם הכלים ובלעדיהם.