אימון מקדים
Pretraining
אימון מקדים הוא השלב הראשון באימון מודל שפה, שבו המודל לומד מכמות גדולה של טקסט לא מתויג.
עודכן ב־
איך זה קשור לאוטומציה?
כשקוראים על מודלי שפה, מופיעים כמה שלבי אימון שונים. אימון מקדים הוא השלב הראשון באימון מודל שפה, שבו המודל לומד מכמות גדולה של טקסט לא מתויג. לפי Anthropic, מודל שעבר רק אימון מקדים עדיין לא מותאם לשמש כעוזר, ולכן מגיעים אחריו שלבים כמו כיוונון עדין ו־RLHF.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
מפתח מנסה מודל בסיס שעבר רק אימון מקדים ומקבל המשך טקסט במקום תשובה לשאלה. הוא עובר לגרסה שעברה גם כיוונון לשיחה, שמתאימה לבוט שירות.
באילו כלים זה רלוונטי?
- Anthropic
- ההגדרה כאן לקוחה ממילון המונחים של Anthropic.
מה חשוב לבדוק לפני שמיישמים?
- לחשוב שאימון מקדים מלמד את המודל את המידע של העסק שלכם. לשם כך משתמשים בדרך כלל ב־RAG או בכיוונון עדין.