חלוקת מסמכים למקטעים
Chunking
פיצול מסמך לחלקים שניתן לאנדקס, לחפש ולהעביר למודל בנפרד, תוך שמירת הקשר למקור.
עודכן ב־
בעמוד הזה
איך זה קשור לאוטומציה?
מקטעים צריכים להיות קטנים מספיק לשליפה ומלאים מספיק להבנה. חלוקה לפי כותרות או יחידות משמעות יכולה לשמור הקשר טוב יותר מחיתוך שרירותי באמצע כלל.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
נוהל החזרות מחולק לפי נושאים, וכל מקטע שומר כותרת, מזהה מסמך ותאריך. חיפוש על מוצר פגום מחזיר את התנאים והחריגים יחד במקום חצי משפט מהנוהל.
באילו כלים זה רלוונטי?
- LlamaIndex
- כלי קליטת מסמכים ואינדוקס מאפשרים להתאים את החלוקה לצורכי החיפוש.
מה חשוב לבדוק לפני שמיישמים?
- אל תשאירו חריג לכלל במקטע מנותק בלי הקשר. בדקו מה נשלף בשאלות אמיתיות, לא רק את גודל הקבצים.