API
8 ידיעות
סוכן שמריץ כלים: הלולאה, ואיפה היא נשברת בייצור
המודל מבקש, הקוד שלכם מריץ. ההפרדה הזאת היא גם מה שמאפשר שער אישור, וגם המקום שבו רוב הבאגים יושבים.
מטמון פרומפט: למה הוא מוריד תשעים אחוז, ולמה הוא נשבר בשקט
התאמת קידומת, לא התאמת תוכן. תו אחד שמשתנה בתחילת הבקשה מבטל את כל מה שאחריו, ואין שגיאה שמודיעה על כך.
כיווץ הקשר: הבלוק שחייבים להחזיר, ואיך מאבדים אותו בשקט
השרת מסכם היסטוריה ישנה ומחליף אותה בבלוק. מי ששולף רק את הטקסט מהתשובה מוחק את הבלוק, והכיווץ מפסיק לעבוד בלי שגיאה.
שגיאות API: מה כדאי לנסות שוב ומה יחזור בדיוק אותו דבר
429 ו-529 שווים ניסיון חוזר, 400 ו-404 לא. תפיסה אחת רחבה של כל השגיאות מוחקת בדיוק את ההבחנה הזאת.
Batch API: חצי מחיר תמורת סבלנות
עד מאה אלף בקשות בקבוצה אחת, בחמישים אחוז הנחה. רוב הקבוצות מסתיימות בתוך שעה, והתקרה הרשמית היא עשרים וארבע.
סטרימינג: לא רק חוויית משתמש, גם מה שמונע פסק זמן
מעל כשישה עשר אלף טוקני פלט בקשה רגילה נופלת על פסק זמן של ה-SDK. סטרימינג הוא הפתרון, וגם הדרך היחידה להגיע לתקרה המלאה.
פלט מובנה: סוף לרגקס שמחלץ JSON מתשובה
סכימה בבקשה מבטיחה תשובה שעומדת בה. זה מוחק את ה-prefill, את רצפי העצירה ואת לולאת הניסיון החוזר שהקיפו אותם.
חשיבה אדפטיבית: למה תקציב הטוקנים הקבוע נעלם
המודל מחליט לבד כמה לחשוב בכל בקשה. מי שנשאר עם budget_tokens מקבל שגיאה, ומי שמעביר קוד ישן צריך להחליף גישה ולא רק פרמטר.