מטמון פרומפט: למה הוא מוריד תשעים אחוז, ולמה הוא נשבר בשקט

מטמון פרומפט מוריד את עלות הקלט החוזר לכעשירית, ומקצר את זמן התגובה. מי שמפעיל אותו נכון משלם על הנחיות המערכת פעם אחת במקום בכל בקשה. מי שמפעיל אותו לא נכון משלם תוספת של עשרים וחמישה אחוז על כתיבה למטמון שאף אחד לא קורא ממנו, ולא מקבל שום התראה.

ההבדל בין השניים הוא כלל אחד.

התאמת קידומת

המטמון מזוהה לפי הבייטים המדויקים של הבקשה מתחילתה ועד לנקודת הסימון. שינוי של בייט אחד במקום כלשהו בקידומת מבטל את המטמון לכל מה שאחריו.

סדר העיבוד קבוע: קודם הכלים, אחריהם הנחיות המערכת, ואחריהן ההודעות. סימון על בלוק ההנחיות האחרון שומר גם את הכלים וגם את ההנחיות.

מכאן נגזר כל השאר. תוכן יציב חייב להיות פיזית לפני תוכן משתנה. הנחיות קפואות בהתחלה, מה שמשתנה בכל בקשה בסוף.

מה שובר את זה בלי להודיע

חותמת זמן בתוך הנחיות המערכת. שורה בסגנון "התאריך היום" מייצרת קידומת חדשה בכל יום, ובניסוח עם שעה, בכל בקשה.

מזהה משתמש או מזהה בקשה שמשורשר להנחיות. הקידומת נעשית ייחודית לכל משתמש, ואין שיתוף בין משתמשים.

סריאליזציה לא דטרמיניסטית. JSON.stringify על אובייקט שסדר המפתחות בו משתנה, או מעבר על קבוצה, מייצרים מחרוזת אחרת מבקשה לבקשה על אותו תוכן בדיוק.

מקטעי הנחיות מותנים. כל צירוף של דגלים הוא קידומת נפרדת, וכל אחת צריכה להיבנות בנפרד.

רשימת כלים שנבנית לפי המשתמש. הכלים יושבים במקום הראשון בסדר העיבוד, ולכן שינוי בהם מבטל את הכול.

איך יודעים שזה עובד

התשובה מחזירה שלושה מספרים: כמה טוקנים נכתבו למטמון, כמה נקראו ממנו, וכמה עובדו במחיר מלא. אם מספר הקריאות אפס לאורך בקשות חוזרות עם אותה קידומת, יש מבטל שקט באחד המקומות למעלה.

שתי מלכודות נוספות. יש אורך קידומת מינימלי, והוא משתנה בין מודלים באופן שאינו מונוטוני לפי דור: פרומפט קצר עלול פשוט לא להיכנס למטמון, בלי שגיאה ובלי סימן חוץ מאפס. ולכל סימון יש חלון מבט לאחור של עשרים בלוקי תוכן, כך שתור בודד שמוסיף יותר מזה בלולאת כלים עלול לא למצוא את המטמון של קודמו.

הכלכלה

קריאה עולה כעשירית ממחיר קלט. כתיבה עולה פי אחד ורבע בתוקף של חמש דקות, ופי שניים בתוקף של שעה. נקודת האיזון תלויה בתוקף: בחמש דקות שתי בקשות מספיקות, בשעה צריך שלוש. התוקף הארוך שומר על המטמון בין פרצי תנועה, והמחיר הכפול על הכתיבה אומר שהוא מצדיק את עצמו רק כשבאמת קוראים ממנו.

מה שכדאי לבדוק לפני שמאשימים את המטמון

מטמונים משויכים למודל. החלפת מודל באמצע שיחה מבטלת אותם, וכך גם שינוי ברשימת הכלים. שינוי בפרמטרים אחרים, לעומת זאת, לא בהכרח: יש היררכיה, ולא כל שינוי מפיל את הכול.

מה שנשאר פתוח הוא שיחות שנפרשות על פני שעות ארוכות. תוקף של שעה עוזר עד גבול מסוים, ומעבר לו כל שיחה שחוזרת אחרי הפסקה משלמת כתיבה מחדש.