פיתוח
כלי מפתחים, ממשקי API, ספריות וקוד.
9 ידיעות
Prefill: התרגיל שהפסיק לעבוד, ומה בא במקומו
תור עוזר אחרון בהודעות מחזיר ארבע מאות. הפתרון תלוי במה שהתרגיל עשה: פורמט, תווית, או ביטול פתיח.
stop_reason: שבע סיבות עצירה, ורק לאחת יש פרטים
pause_turn אומר שלולאת כלי השרת נגמרה ויש להמשיך. stop_details מאוכלס רק בסירוב, ובכל השאר הוא ריק.
מטמון פרומפט: למה הוא מוריד תשעים אחוז, ולמה הוא נשבר בשקט
התאמת קידומת, לא התאמת תוכן. תו אחד שמשתנה בתחילת הבקשה מבטל את כל מה שאחריו, ואין שגיאה שמודיעה על כך.
עריכת הקשר: למחוק תוצאות כלים ישנות במקום לסכם אותן
סוכן שקרא חמישים קבצים נושא את כולם בהקשר. עריכה מסירה את מה שהתיישן, ומשאירה את מבנה השיחה שלם.
כיווץ הקשר: הבלוק שחייבים להחזיר, ואיך מאבדים אותו בשקט
השרת מסכם היסטוריה ישנה ומחליף אותה בבלוק. מי ששולף רק את הטקסט מהתשובה מוחק את הבלוק, והכיווץ מפסיק לעבוד בלי שגיאה.
שגיאות API: מה כדאי לנסות שוב ומה יחזור בדיוק אותו דבר
429 ו-529 שווים ניסיון חוזר, 400 ו-404 לא. תפיסה אחת רחבה של כל השגיאות מוחקת בדיוק את ההבחנה הזאת.
Batch API: חצי מחיר תמורת סבלנות
עד מאה אלף בקשות בקבוצה אחת, בחמישים אחוז הנחה. רוב הקבוצות מסתיימות בתוך שעה, והתקרה הרשמית היא עשרים וארבע.
סטרימינג: לא רק חוויית משתמש, גם מה שמונע פסק זמן
מעל כשישה עשר אלף טוקני פלט בקשה רגילה נופלת על פסק זמן של ה-SDK. סטרימינג הוא הפתרון, וגם הדרך היחידה להגיע לתקרה המלאה.
פלט מובנה: סוף לרגקס שמחלץ JSON מתשובה
סכימה בבקשה מבטיחה תשובה שעומדת בה. זה מוחק את ה-prefill, את רצפי העצירה ואת לולאת הניסיון החוזר שהקיפו אותם.