כיווץ הקשר: הבלוק שחייבים להחזיר, ואיך מאבדים אותו בשקט

שיחה ארוכה מספיק תגיע לגבול חלון ההקשר. כיווץ הוא המנגנון שמונע את זה: כשההיסטוריה מתקרבת לסף, השרת מסכם את החלק המוקדם שלה ומחליף אותו בבלוק כיווץ.

מפעילים אותו עם כותרת בטא ועם הגדרה בבקשה. הסף המוגדר כברירת מחדל הוא מאה חמישים אלף טוקנים.

הכלל שהכי קל לשבור

צריך להוסיף את כל תוכן התשובה בחזרה למערך ההודעות. לא רק את הטקסט.

הדפוס הנפוץ בקוד הוא לשלוף את בלוק הטקסט מהתשובה ולדחוף אותו כהודעת עוזר. זה עובד מצוין עד שמפעילים כיווץ, ואז זה שובר אותו: בלוק הכיווץ שהשרת החזיר נמחק, השרת לא מקבל אותו בחזרה, ואין לו במה להחליף את ההיסטוריה המכווצת.

מה שרואים הוא שהכיווץ פשוט לא קורה. אין שגיאה, אין אזהרה. השיחה ממשיכה לגדול עד שהיא נופלת על גבול החלון, ואז נראה כאילו הפיצ'ר לא עובד.

כיווץ אינו עריכת הקשר

שני מנגנונים נפרדים שקל לבלבל ביניהם, וגם הטיפוסים בהגדרה דומים.

כיווץ מסכם. הוא לוקח היסטוריה ומייצר ממנה תקציר.

עריכת הקשר מוחקת. היא מסירה תוצאות כלים ישנות או בלוקי חשיבה, בלי להחליף אותם בכלום.

הם משלימים. עריכה מנקה מה שהתיישן לאורך הריצה, כיווץ נכנס כשמתקרבים לגבול ואין עוד מה למחוק. מי שמפעיל את שניהם צריך לשים לב שהטיפוס והכותרת שונים לכל אחד, וערבוב ביניהם מחזיר שגיאה.

מה שהכיווץ עולה

הסיכום עצמו נעשה בקריאה, ולכן הוא נושא טוקנים. הוא זול ביחס למה שהוא חוסך, אבל הוא לא חינם.

יש גם עלות שקשה יותר למדוד: מידע שנכנס לתקציר מאבד פרטים. סוכן שהסתמך על ערך מדויק שהופיע בתור השנים-עשר יגלה שהוא כבר לא שם באותה רזולוציה. מה שחשוב לזכור צריך להיכתב למקום קבוע, קובץ או זיכרון, ולא להישאר בהיסטוריה בלבד.

מתי בכלל להפעיל

כשהשיחה עלולה להגיע לגבול. באפליקציית שיחה רגילה זה נדיר. בסוכן שרץ שעות זה ודאי.

חלון של מיליון טוקנים מזיז את הנקודה, לא מבטל אותה. סוכן שקורא קבצים ומריץ כלים ימלא כל חלון שיקבל, וההבדל הוא רק כמה זמן זה לוקח.

מה שכדאי לבדוק

אחרי שמפעילים, לוודא שהכיווץ באמת קרה. הדרך היא לעקוב אחרי גודל הקלט לאורך התורות: אם הוא ממשיך לגדול מונוטונית אחרי שעברתם את הסף, הבלוק לא חוזר.

מה שנשאר לא פתור הוא שליטה בתוכן התקציר. אין דרך לומר "בסיכום, שמור את המספרים ואת שמות הקבצים". מי שצריך שליטה כזאת מנהל תקציר משלו בקובץ, ומשלם עליו בטוקנים בכל תור.