תמחור: פלט עולה פי חמישה מקלט, וזה קובע איך בונים

בכל מודל כמעט, מחיר הפלט הוא פי חמישה ממחיר הקלט. חמישה דולר למיליון טוקני קלט מול עשרים וחמישה לפלט בשכבה אחת, שלושה מול חמישה עשר בשכבה אחרת, דולר מול חמישה בזולה.

היחס הזה הוא לא פרט חשבונאי. הוא קובע החלטות תכנון.

מה זה אומר על הפרומפט

פרומפט ארוך זול יחסית. חמשת אלפים טוקנים של הנחיות ודוגמאות עולים כמו אלף טוקני תשובה. הרפלקס לקצץ את ההנחיות כדי לחסוך הוא כמעט תמיד ההחלטה הלא נכונה, כי מה שנחסך שם קטן ומה שנפגע, האיכות, יקר.

ההפך נכון לתשובה. תשובה ארוכה מהנדרש היא ההוצאה הגדולה, ובעבודה סוכנית היא גם מתרבה: כל תשובה נכנסת להיסטוריה ונשלחת מחדש בכל תור אחריה, ואז היא מחויבת שוב, הפעם כקלט.

שלושה מנופים, לפי סדר כדאיות

מטמון פרומפט. החלק הקבוע נקרא בכעשירית ממחיר קלט. זה המנוף הראשון וגם הקל ביותר, כי הוא לא נוגע באיכות בכלל.

תמציתיות בהנחיות. לא קיצוץ ההנחיות, אלא הנחיה מפורשת על אורך התשובה. במדידות מסוימות הנחיה קצרה על תמציתיות מורידה כחמישית מאורך התשובה הגלויה.

שכבת מודל. המנוף החזק ביותר וגם המסוכן ביותר. מודל זול לחלק הקורא ומודל חזק לשיפוט ולסינתזה עובד היטב כשמפצלים לפי תת-משימות. החלפה גורפת לזול מורידה איכות בכל מקום.

מה שלא נחשב במחשבון

טוקני חשיבה מחויבים כפלט. במודלים שחושבים בברירת מחדל, תשובה שנראית קצרה יכולה להיות יקרה, כי החשיבה מאחוריה גדולה.

כתיבה למטמון עולה יותר מקלט רגיל: פי אחד ורבע בתוקף קצר, פי שניים בארוך. מי שכותב למטמון וקורא ממנו פעם אחת בלבד שילם תוספת ולא חסך.

חיפוש ברשת ושעות ריצה של סביבת קוד נספרים בנפרד מטוקנים, ולא מופיעים בחישוב שמכפיל טוקנים במחיר.

שני מנגנונים שמורידים מחיר ישירות

עיבוד בקבוצות: חמישים אחוז הנחה על הכול, תמורת המתנה של עד עשרים וארבע שעות.

בחירת שכבה: ההפרש בין השכבה הגבוהה לבינונית הוא פי כמה, וההפרש בין הבינונית לזולה גם. משימות סיווג וחילוץ לא צריכות את השכבה הגבוהה, ומריצים אותן שם בעיקר מהרגל.

איפה נוצרת ההפתעה בחשבון

כמעט תמיד בשיחות ארוכות. ההיסטוריה נשלחת מחדש בכל תור, ולכן העלות המצטברת גדלה ריבועית ולא ליניארית. שיחה בת עשרים תורות עולה הרבה יותר מפי עשרים משיחה בת שניים.

מכאן שכיווץ ועריכת הקשר הם לא רק מנגנוני שרידות מול גבול החלון, הם גם מנגנוני עלות.

מה שכדאי לעשות לפני הכול

חשבונאות טוקנים לפי מסלול. בלי לדעת כמה כל סוג בקשה עולה, כל מנוף כאן הוא ניחוש. זו העבודה הראשונה ולא האחרונה, ובלעדיה אין דרך לדעת אם החלפה כלשהי שיפרה משהו.