Context engineering: מה החליף את prompt engineering
הנדסת הקשר היא התכנון של כל המידע שנכנס להחלטת סוכן: הוראות, זיכרון, מצב משימה, תוצאות כלים, הרשאות ומגבלות. המטרה היא לתת לסוכן את המידע הנכון לרגע הנכון, עם מקור וגבול ברורים. prompt engineering מטפל בניסוח ההוראה. context engineering מטפל בסביבה השלמה שבתוכה ההוראה מקבלת משמעות.
במערכת קטנה אפשר להדביק כמה פסקאות ולקרוא לזה הקשר. במערכת שמחזיקה 867 רשומות זיכרון, 1,315 קישורים ו-2,942 מקטעים על 751 קבצים, הבחירה עצמה הופכת לרכיב הנדסי. מערכת הפעלה אגנטית צריכה לדעת מה להכניס, מה להשאיר בחוץ ואיך להסביר את הבחירה אחרי שהפעולה הסתיימה.
- הנדסת הקשר כוללת הוראות, זיכרון, מצב, הרשאות ותוצאות כלים, ואינה מסתיימת בניסוח ההוראה.
- יותר הקשר יכול לפגוע בהחלטה כאשר מקור ישן, תחום אחר או פרט לא מאומת נכנסים יחד.
- שער מיזוג במערכת זיהה אסימון ייחודי ב-611 מתוך 661 קבצים ומנע איחוד שהיה עלול למחוק ידע.
- הקשר טוב נבנה לפי משימה, עם מקור, תוקף, בעלות וסיבה ברורה להכללת כל פריט.
למה ניסוח טוב כבר לא מספיק
פרומפט יכול להגדיר תפקיד, מטרה וסגנון. הוא מתקשה להחזיק היסטוריה חיה של עסק, מצב תור, הרשאות שונות ונתונים שמתעדכנים. כאשר כל המידע נדחס לתוך הוראה אחת, אי אפשר לדעת איזה חלק הגיע ממקור אמת, איזה חלק הוא הסבר ואיזה חלק הוא זיכרון ישן. כל שינוי דורש עריכה של טקסט גדול ושביר.
הנדסת הקשר מפרקת את הקלט לרכיבים. הוראות קבועות מגיעות ממסמך סמכות. מצב המשימה מגיע מהתור. עובדות עסקיות מגיעות מהתחום המתאים. תוצאות חיות נמשכות מהמערכת המוסמכת. הרשאות מגיעות משער נפרד. הסוכן מקבל חבילה שנבנתה עבור הפעולה, במקום אוסף טקסט שהצטבר סביבו.
ארבעה סוגי הקשר שצריך להפריד
הסוג הראשון הוא סמכות: חוקים, גבולות והעדפות שאסור לעקוף. השני הוא מצב: מה פתוח, מה נעול, מי עובד ומה כבר בוצע. השלישי הוא ידע: עובדות על העסק, הלקוח או התהליך. הרביעי הוא ראיה חיה: נתון שנמשך עכשיו ממערכת חיצונית. כל סוג מתיישן בקצב אחר ומקבל בעלים אחר.
| סוג | דוגמה | בדיקה לפני שימוש |
|---|---|---|
| סמכות | מדיניות פרסום או הרשאה | האם זה המסמך הקנוני |
| מצב | משימה פעילה או קובץ נעול | האם המצב עדיין נוכחי |
| ידע | עובדה עסקית או לקח | מה המקור ומתי עודכן |
| ראיה חיה | סטטוס עמוד או נתון מערכת | האם נמשך מהכלי המוסמך |
ההפרדה מונעת טעות נפוצה: שימוש בזיכרון כדי לענות על שאלת מצב. זיכרון יכול לומר איך בודקים לקוח. הוא אינו הוכחה שהלקוח ענה עכשיו. באותה צורה, לוג של צינור אחד אינו מקור למצב של צינור אחר. הנדסת הקשר קובעת מראש איזה סוג מקור יכול לענות על כל שאלה.
867 רשומות הן התחלה של בעיית בחירה
המערכת החיה מחזיקה 867 רשומות זיכרון בנפח 3.1MB. יש בהן 1,315 קישורים פנימיים. המספרים אינם עצומים ביחס למסד ארגוני, אבל הם כבר גדולים מדי לקריאה מלאה בכל משימה. מכאן נולדת בעיית הבחירה: אם מחזירים מעט מדי, חסר פרט. אם מחזירים יותר מדי, הסוכן מקבל רעש, סתירות ותחומים שאסור לערבב.
הפתרון מתחיל בניווט לפני חיפוש. מזהים לאיזה תחום הבקשה שייכת, קוראים את מסמך הזהות והאינדקס שלו, ורק אז בוחרים רשומות. המבנה הזה מצמצם את מרחב החיפוש ומגן על בידוד. המדריך לזיכרון סוכני AI מרחיב על ההבדל בין אחסון מידע לבין זיכרון שמכבד בעלות ופרטיות.
כמה הקשר צריך להכניס? בפועל, הקשר טוב הוא קטן יחסית. הוא מכיל את החוקים שחלים על הפעולה, את מצב המשימה, כמה רשומות ידע ממוקדות ואת הראיה החיה שנדרשת. מידע נוסף נשאר נגיש לפי צורך. הסוכן צריך לדעת לבקש אותו, ולא לקבל את כל המחסן מראש.
שער המיזוג שתפס מידע ייחודי
כאשר מאגר גדל, מגיע הרצון לנקות כפילויות. זה שלב מסוכן. שני קבצים יכולים להיראות דומים מאוד ועדיין להכיל פרט יחיד שמגדיר הרשאה, חריג או לקח מכשל. מחיקה לפי דמיון טקסטואלי עלולה להפוך את ההקשר לנקי יותר וגרוע יותר.
במערכת שלנו שער המיזוג בדק קבצים לפני איחוד וזיהה אסימון ייחודי ב-611 מתוך 661 קבצים. המשמעות אינה שכל אסימון חשוב. המשמעות היא שאיחוד אוטומטי רחב היה דורש הכרעה מודעת, כי ברוב הקבצים היה משהו שלא הופיע בצד השני. השער סירב למחוק את ההבדל בשקט.
זו הנדסת הקשר ברמת התחזוקה. איכות ההקשר נקבעת גם במה שקורה בין המשימות: איך זיכרון נכנס, מי מאשר תיקון, מתי רשומה מתיישנת ואיך מאחדים בלי לאבד מקור. אם הצינור הזה חלש, שום ניסוח מבריק בזמן הריצה לא יציל את המידע שנמחק אתמול.
חיפוש, דירוג ויכולת להודות בכשל
אינדקס הזיכרון במערכת כולל 2,942 מקטעים על 751 קבצים. אינדקס לבדו אינו מבטיח שהשליפה החיה טובה. האודיט מצא ששאילתות עוברות כרגע לדירוג לקסיקלי אחרי פסק זמן של 30 שניות מול תהליך שלוקח 33 שניות. כלומר, יכולת קיימת בדיסק ועדיין אינה עומדת במסלול הזמן של העבודה.
ההבחנה חשובה לארגון. דמו יכול להראות תוצאה עשירה כאשר מחכים. תהליך חי צריך לעמוד במגבלת זמן ולספר איזה מסלול באמת שירת את הבקשה. אם הופעל מסלול חלופי, הוא צריך להופיע בראיה. אחרת הצוות חושב שהחיפוש הסמנטי עובד ומכוון את המוצר לפי יכולת שלא נכנסה להחלטה.
מערכת טובה מעדיפה תשובה צנועה עם מקור על פני שליפה נוצצת שאי אפשר לשחזר. לפעמים התוצאה הנכונה היא מצב לא ידוע. זו אינה התחמקות. זו דרך לשמור על ההבדל בין מידע שלא נמצא לבין עובדה שלא קרתה.
פרטיות היא חלק מההקשר
הקשר אינו רק מה שהסוכן צריך. הוא גם מה שאסור לו לראות. מערכת שמשרתת כמה תחומים צריכה לחסום מעבר מידע ביניהם לפני השליפה. אצלנו מנוע ההטמעה דוחה כל יעד שאינו מקומי. הגבול נאכף בקוד, ולכן בקשת אינדוקס ליעד חיצוני אינה ממשיכה גם אם הניסוח נשמע תקין.
ברמת המשימה, בונים חבילת הקשר לפי תחום. סוכן עסקי אינו מקבל מידע אישי רק מפני שהוא עשוי לעזור. לקוח אחד אינו נכנס לחבילת ההקשר של לקוח אחר. חריגה דורשת מסלול מפורש עם הצדקה. כך פרטיות הופכת מאזהרה כללית למאפיין של פונקציית השליפה.
הגבול גם משפר איכות. פחות ערבוב פירושו פחות סתירות, פחות פרטים לא רלוונטיים ופחות סיכוי שהסוכן ישלים תבנית מלקוח אחר. פרטיות והנדסת הקשר אינן שתי עבודות נפרדות. שתיהן עוסקות בבחירה מדויקת של מידע לפני החלטה.
תהליך עבודה להנדסת הקשר בארגון
מתחילים ממשימה אחת וכותבים חוזה הקשר. החוזה מפרט אילו מקורות נדרשים, מי הבעלים שלהם, מה תוקף המידע ואיזה כלי מוסמך לענות על שאלת מצב. אחר כך מגדירים תקציב: כמה טקסט נכנס מראש ומה נטען רק בבקשה נוספת. לבסוף מוסיפים יומן שמראה אילו פריטים נכנסו לכל החלטה.
- סווגו את הבקשה לתחום לפני פתיחת מאגר הזיכרון.
- טענו מסמכי סמכות קצרים ומקור מצב עדכני.
- בחרו רשומות ידע לפי תיאור, קישור ותאריך.
- בדקו גבול פרטיות והרשאה לכל מקור.
- רשמו את חבילת ההקשר ואת המסלול החלופי, אם הופעל.
- אחרי התוצאה, עדכנו רק ידע קבוע והימנעו מהפיכת לוג לזיכרון.
אז הפרומפט נעלם? ממש לא. הוא נשאר שכבה חשובה שמגדירה את המשימה והפורמט. פשוט מפסיקים לבקש ממנו לשאת את כל הארגון על הגב. כשההקשר בנוי כמערכת, אפשר לשפר ניסוח בלי לערבב הרשאות, ואפשר לעדכן עובדה בלי לשכתב הוראה ארוכה.
הנדסת הקשר נשענת על זיכרון שיושב מחוץ למודל ומחזיק רשומות מקושרות לאורך זמן. כלל שסוכן אחד גילה מגביל סוכן אחר שבועות אחר כך.
אפשר לקרוא את שכבת הזיכרון של גבורה, או לראות את ההסבר המלא בעברית על מערכת ההפעלה האגנטית.
שאלות נפוצות
מה ההבדל בין prompt engineering לבין context engineering?
prompt engineering מתמקד בניסוח ההוראה. context engineering מתכנן את כל חבילת הקלט: זיכרון, מצב, תוצאות כלים, הרשאות ומקור. במערכת חיה ההוראה היא רכיב בתוך החבילה.
האם יותר זיכרון משפר את הסוכן?
לא בהכרח. זיכרון נוסף יכול להכניס רעש, סתירות או מידע מתחום אסור. השיפור מגיע מבחירה מדויקת, מקור ברור ויכולת לטעון פריט נוסף כשבאמת צריך אותו.
איך מונעים מחיקת ידע בזמן איחוד קבצים?
מריצים השוואת שינויים ושער שמזהה מידע ייחודי, ואז דורשים הכרעה מפורשת. דמיון גבוה בין קבצים אינו אישור למחיקה. כדאי לשמור גם מקור ותאריך כדי לדעת איזה ניסוח סמכותי יותר.
מה צריך להופיע ביומן הקשר?
רשימת המקורות שנכנסו, גרסה או תאריך, תחום, מסלול שליפה והמסלול החלופי אם הופעל. אין צורך להעתיק כל תוכן ליומן, אך צריך לאפשר לבודק לשחזר מדוע המקור השתתף בהחלטה.
נמפה מקורות, תוקף, הרשאות ומסלול חלופי למשימה עסקית אמיתית. כך הסוכן יקבל פחות רעש, יותר ראיות וגבול ברור לפני שהוא פועל.
רוצים ש-OpticoAI יעשה את זה בשבילכם?
