מונחון
24 מונחים שחוזרים בכתבות. כל הגדרה אומרת מה המונח עושה בפועל, לא ממה הוא ראשי תיבות.
- הזיה
- טענה שהמודל כתב בביטחון ואין לה בסיס בחומר שקיבל. השכיחות ביותר הן מספרים, תאריכים וציטוטים. ההגנה המעשית היא לדרוש מקור לכל טענה ולבדוק שהמספרים מופיעים בו.
- הטמעה
- ייצוג מספרי של טקסט שמאפשר למדוד קרבה משמעותית בין קטעים. הבסיס לחיפוש במאגרי אחזור.
- הנחיות מערכת
- הטקסט שמגדיר איך המודל מתנהג לאורך כל השיחה. נשלח בשדה נפרד מההודעות ומעובד לפניהן, ולכן שינוי בו מבטל את מטמון הפרומפט.
- חלון הקשר
- כמות הטקסט שהמודל יכול להחזיק בבקשה אחת: הנחיות, היסטוריה, קבצים, תיאורי כלים, חשיבה ותשובה יחד. חריגה ממנו מחזירה שגיאה.
- חלון פלט
- התקרה שאתם קובעים לאורך התשובה. במודלים שחושבים היא מכסה חשיבה ותשובה יחד, ולכן תקרה שכוילה לאורך התשובה בלבד עלולה לקטוע אותה.
- חשיבה אדפטיבית
- מצב שבו המודל מחליט בעצמו כמה לחשוב בכל בקשה, במקום תקציב טוקנים קבוע. עומק החשיבה נשלט דרך רמת המאמץ.
- טוקן
- יחידת הטקסט שהמודל סופר ומחייב עליה. אינה מילה ואינה תו: מילה אנגלית שכיחה היא לרוב טוקן אחד, ומילה בעברית מתפרקת לשניים עד ארבעה. כל המחירים והמגבלות נמדדים בטוקנים.
- כיווץ
- סיכום אוטומטי של היסטוריה מוקדמת כשמתקרבים לגבול החלון. השרת מחזיר בלוק כיווץ שחייבים להחזיר אליו בבקשה הבאה, אחרת המנגנון מפסיק לעבוד בשקט.
- כלי בצד השרת
- כלי שרץ אצל הספק ולא אצלכם, כמו חיפוש ברשת או הרצת קוד. מצהירים עליו והתוצאה חוזרת באותה תשובה. אי אפשר לעצור אותו לפני ביצוע.
- מטמון פרומפט
- שמירה של החלק הקבוע בבקשה כדי לא לשלם עליו מלא בכל פעם. קריאה מהמטמון עולה כעשירית ממחיר קלט. ההתאמה היא לפי קידומת מדויקת, ולכן תו אחד שמשתנה בהתחלה מבטל הכול.
- סוכן
- מודל שמנווט בעצמו בין כלים כדי להשלים משימה, כשהמסלול אינו ידוע מראש. שונה מתהליך רב-שלבי, שבו זרימת הבקרה נקבעת בקוד שלכם.
- סטרימינג
- קבלת התשובה כזרם אירועים במקום בבת אחת. מעבר לחוויית משתמש, זו הדרך היחידה לחרוג מכשישה עשר אלף טוקני פלט בלי לנפול על פסק זמן.
- סיבת עצירה
- שדה בתשובה שאומר למה המודל הפסיק: סיום רגיל, תקרת טוקנים, בקשה להפעיל כלי, השהיה, או סירוב. יש לבדוק אותו לפני שקוראים את התוכן.
- סירוב
- מצב שבו מסנני הבטיחות דחו את הבקשה. חוזר עם קוד 200 תקין ותוכן ריק או חלקי, ולכן קוד שלא בודק את סיבת העצירה קורס שם.
- עיבוד בקבוצות
- שליחת אוסף בקשות לעיבוד לא מיידי בחצי מחיר. רוב הקבוצות נגמרות תוך שעה, ההתחייבות היא עשרים וארבע. התוצאות חוזרות בסדר שרירותי.
- עריכת הקשר
- מחיקה של תוצאות כלים ישנות או בלוקי חשיבה מההיסטוריה. שונה מכיווץ: כיווץ מסכם, עריכה מסירה.
- פלט מובנה
- סכימת JSON שנשלחת בבקשה ומבטיחה שהתשובה תעמוד בה. מייתרת את ההודעה המוכנה מראש, את רצפי העצירה ואת לולאת הניסיון החוזר שהקיפו אותם.
- קריאות מקבילות
- תשובה אחת שמכילה כמה בקשות לכלים. יש להריץ את כולן ולהחזיר את כל התוצאות בהודעה אחת, אחרת המודל מפסיק לבקש קריאות מקבילות.
- רמת מאמץ
- חוגה בת חמש רמות שקובעת כמה המודל חושב ופועל לפני שהוא עונה. רמה נמוכה מצמצמת קריאות לכלים ומקצרת, גבוהה חוקרת ומאמתת.
- שימוש בכלים
- המודל מחזיר בקשה להפעיל פונקציה עם פרמטרים, הקוד שלכם מפעיל, והתוצאה חוזרת אליו. המודל עצמו לא מריץ דבר, וזו ההפרדה שמאפשרת שער אישור.
- תת-סוכן
- סוכן שמופעל בידי סוכן אחר עם הקשר נפרד משלו. התועלת היא חלון נקי, המחיר הוא בריף מחדש, חקירה מחדש ודוח שחוזר.
- MCP
- פרוטוקול שמאפשר לחבר למודל כלים שמריץ שרת חיצוני, במקום להגדיר כל כלי בקוד. האימות מול השרת נעשה בנפרד מהצהרת הכלים.
- RAG
- אחזור מוגבר, כלומר חיפוש קטעים רלוונטיים במאגר והוספתם לבקשה. עם חלונות גדולים השיקול השתנה מהיתכנות טכנית לכדאיות כלכלית.
- Skill
- תיקיית הנחיות שנטענת רק כשהמשימה מצדיקה אותה. התיאור יושב בהקשר תמיד, התוכן המלא נקרא לפי הצורך.