Models API: לשאול את השרת מה המודל יודע, במקום לזכור

אין שדה בשם context_window. יש max_input_tokens, max_tokens, ועץ יכולות שאפשר לסנן לפיו בזמן ריצה.

כל טבלת מודלים בתיעוד היא צילום מצב. השרת יודע את התשובה העדכנית, ויש נקודת קצה שמחזירה אותה.

models.retrieve מחזירה מודל בודד, models.list מחזירה את כולם. זה המקום לשאול "מה חלון ההקשר של המודל הזה" או "אילו מודלים תומכים ביכולת הזאת", במקום להסתמך על מה שהיה נכון כשהקוד נכתב.

שמות השדות, שלא כמו שמצפים

חלון ההקשר הוא max_input_tokens. תקרת הפלט היא max_tokens. אין שדה בשם context_window, וזאת טעות שקל מאוד ליפול בה, כי זה השם שמופיע בכל דיון על הנושא.

בנוסף יש id, display_name ו-created_at.

היכולות הן מילון, לא תכונות

capabilities הוא עץ מקונן שחוזר במלואו לכל מודל, עם supported אמת או שקר בכל עלה. הגישה אליו היא בסוגריים, לא בנקודה.

זה נראה כך: תמיכה בתמונות יושבת תחת קלט תמונה, חשיבה אדפטיבית יושבת תחת סוגי החשיבה, ורמות המאמץ יושבות כל אחת בנפרד. כיוון שהעץ מלא תמיד, אין צורך בבדיקות מגן על כל צומת.

סינון בזמן ריצה

זה מה שהופך את הנקודה הזאת לשימושית מעבר לסקרנות: אפשר לבחור מודל לפי יכולת. "כל המודלים שתומכים בחשיבה אדפטיבית ויש להם לפחות מאתיים אלף טוקנים בחלון" הוא ביטוי אחד, ולא רשימה קשיחה שצריך לתחזק בכל שחרור.

דפדוף

הרשימה מדפדפת לבד כשעוברים עליה בלולאה. חשוב: עוברים על אובייקט העמוד עצמו, לא על שדה הנתונים שבתוכו. גישה לשדה הנתונים מחזירה עמוד ראשון בלבד, בלי שגיאה ובלי סימן שחסר משהו.

מה זה לא פותר

תמחור לא נמצא שם. גם לא מכסות קצב. ולמי שרץ מול פלטפורמת ענן: הנקודה הזאת לא זמינה ב-Bedrock ולא ב-Vertex, כך שקוד שמגלה יכולות בזמן ריצה צריך מסלול חלופי שם.