מודלים

שחרורי מודלים, יכולות, מדדים ומחקר.

5 ידיעות

אין שדה בשם context_window. יש max_input_tokens, max_tokens, ועץ יכולות שאפשר לסנן לפיו בזמן ריצה.

כל בקשה למודל נשלחת מחדש עם כל ההיסטוריה. זה מסביר את העלות, את ההאטה, ואת הרגע שבו המודל שוכח מה סוכם לפניו.

הטוקנייזר של OpenAI לא מתאים לקלוד, והפער גדול במיוחד בעברית ובקוד. יש נקודת קצה שמחזירה את המספר האמיתי.

המודל מחליט לבד כמה לחשוב בכל בקשה. מי שנשאר עם budget_tokens מקבל שגיאה, ומי שמעביר קוד ישן צריך להחליף גישה ולא רק פרמטר.

חמש רמות שקובעות כמה המודל חושב ופועל. ברוב המקרים הורדת רמה חוסכת יותר מהחלפת מודל, ובלי לשלם באיכות.