RAG מול חלון ארוך: מה באמת מחליף מה

כשחלונות ההקשר היו קטנים, אחזור היה הכרח. מסמך של מאתיים עמוד לא נכנס, ולכן פירקו אותו, אינדקסו, וחיפשו את הקטעים הרלוונטיים לכל שאלה.

עם חלון של מיליון טוקנים המסמך נכנס. וזה לא סוגר את הדיון, הוא מזיז אותו.

מה השתנה ומה לא

מה שהשתנה: אין יותר אילוץ טכני. אפשר לשלוח את כל הקורפוס אם הוא נכנס.

מה שלא: המחיר. תמחור לטוקן זהה בחלון גדול, ולכן שליחת מאה אלף טוקנים בכל שאלה עולה מאה אלף טוקנים בכל שאלה. אחזור ששולח שלושה קטעים רלוונטיים עולה אחוזים בודדים מזה.

מכאן שההחלטה כבר לא "האם זה אפשרי" אלא "האם זה משתלם", וזה שיקול אחר לגמרי.

מתי חלון ארוך עדיף

כשהקורפוס קטן וקבוע. עשרות אלפי טוקנים של תיעוד מוצר, אותם בכל שאלה, נכנסים למטמון הפרומפט ועולים כעשירית. פתרון האחזור היה עולה יותר בתחזוקה ממה שהוא חוסך.

כשהשאלה דורשת את המסמך כולו. השוואה בין סעיפים רחוקים, מציאת סתירה, סיכום כללי. אחזור מחזיר קטעים, ומה שנופל בין הקטעים לא נראה.

כשאין תשתית. מסד וקטורי, צינור אינדוקס, אסטרטגיית חיתוך ומודל הטמעה הם מערכת שצריך לתחזק. לקורפוס קטן זה חוסר יחס.

מתי אחזור עדיף

כשהקורפוס גדול ממה שנכנס. עדיין קיים.

כשהוא משתנה תדיר. אינדקס מתעדכן בהדרגה, פרומפט קבוע נכתב מחדש כולו.

כשהעלות לשאלה חשובה. שירות שעונה על אלף שאלות ביום מול אותו קורפוס ישלם על החלון פי מאות ממה שישלם על אחזור.

וכשצריך לדעת מאיפה בא כל דבר. אחזור מחזיר מזהי מקור בחינם. עם חלון ארוך אותה יכולת מגיעה מציטוטים, וגם היא לא מכסה הכול.

מה שקורה בפועל

שילוב. אחזור גס שמצמצם ממיליון למאה אלף, ואז חלון ארוך שמקבל את המאה אלף בלי לנסות לדייק יותר. זה מוותר על החיתוך העדין, שהוא ממילא החלק השברירי ב-RAG, ומשאיר את הבחירה בין הקטעים למודל.

מה שכדאי לבדוק לפני שבונים אחזור

האם הקורפוס באמת גדול, או שהוא נראה גדול. הרבה מערכות אחזור נבנו על מה שמסתכם בכמה עשרות אלפי טוקנים, ושם הפרומפט הישיר עם מטמון פשוט יותר, זול יותר ומדויק יותר.

מה שנשאר לא נמדד

חלון גדול מבטיח שהמידע נמצא בהקשר. הוא לא מבטיח שהמודל ישתמש בו נכון. פרסומי הספקים בנושא הזה מודדים לרוב אחזור של עובדה בודדת שהוחדרה לטקסט, וזו לא אותה משימה כמו הסקה שמצריכה חיבור בין שני קצוות של החלון.

מי שמעביר מערכת מאחזור לחלון ארוך צריך למדוד את זה על השאלות האמיתיות שלו, ולא להסיק מגודל החלון שהבעיה נפתרה.