שש השכבות של סטאק סוכני AI, ואיפה כמעט כולם נכשלים
סטאק סוכני AI הוא כל שרשרת הרכיבים שמאפשרת לסוכן להבין משימה, להשתמש בכלים, לזכור הקשר, לעבוד לצד סוכנים אחרים, לציית למדיניות ולהשאיר ראיה שאפשר לבדוק. אם אחת השכבות חסרה, הסוכן עדיין עשוי להרשים בהדגמה. בעבודה עסקית רציפה החוסר יופיע בזמן הכי פחות נוח.
אצלנו החלוקה לשש שכבות נולדה מתוך מערכת שמבצעת עבודה אמיתית. היא לא התחילה כתרשים ארכיטקטורה. היא התחילה מתקלות, התנגשויות ופעולות שהיה צריך לעצור. עמוד מערכת ההפעלה האגנטית מציג את המערכת השלמה. כאן נפרק את הסטאק ונראה איפה צריך לחפש את הסיכון.
- מודל וכלים הם רק תחילת הסטאק. זיכרון, אורקסטרציה, מדיניות ועקיבות קובעים אם הוא ישרוד עבודה רציפה.
- שכבות הממשל והעקיבות צריכות להיות בנתיב הפעולה עצמו, עם החלטה מתועדת לפני יציאה החוצה.
- במערכת החיה נחסמו 29 מתוך 137 החלטות מדיניות. החסימות הן עדות לכך שהשער באמת משתתף בעבודה.
- אודיט טוב מתחיל מהפעולה המסוכנת ביותר ומתקדם אחורה דרך כל השכבות, עד למידע שהוביל להחלטה.
סטאק הוא שרשרת של אחריות
הרבה צוותים מציירים את הארכיטקטורה מלמטה למעלה: בוחרים מודל, מחברים כלי ומוסיפים ממשק. הכיוון הזה טבעי, אבל הוא מסתיר את השאלה העסקית. מי אחראי כשהפעולה שגויה? כדי לענות, כדאי להתחיל מהקצה: הודעה ללקוח, שינוי נתון, פרסום או פעולה כספית. משם הולכים אחורה ובודקים מי החליט, על סמך איזה הקשר, באיזו הרשאה ואיפה נשמרה הראיה.
בפועל, השרשרת הזאת משנה את תפקידו של כל רכיב. כלי אינו רק חיבור למערכת חיצונית. הוא גבול הרשאה. זיכרון אינו מחסן טקסט. הוא קובע איזה עבר נכנס להחלטה הנוכחית. אורקסטרציה אינה רשימת סוכנים. היא מנהלת בעלות, תזמון והתנגשות בין עבודות. המדיניות מחליטה אם הפעולה מותרת, והעקיבות מאפשרת לשחזר את ההחלטה אחרי מעשה.
שכבה ראשונה ושנייה: חשיבה ויכולת פעולה
השכבה הראשונה היא מנגנון החשיבה. במערכת רצינית אפשר להפריד בין תכנון וסקירה לבין ביצוע, בלי להפוך את הבחירה הטכנית לזהות של המוצר. השאלה המעניינת היא אם המשימה מקבלת עומק חשיבה מתאים ואם יש מסלול ביקורת לפני פעולה רגישה. החלפת מנוע חשיבה אינה מתקנת הרשאה רחבה מדי, זיכרון מבולגן או תיעוד חסר.
השכבה השנייה היא הכלים. באודיט המערכת נספרו 298 תיקיות כלים עם קוד מקור ו-101,495 שורות פייתון. הכמות אינה יעד בפני עצמו. היא מספרת שהסוכן פוגש מערכות רבות, ולכן צריך חוזים ברורים: אילו פרמטרים מותרים, מה נחשב הצלחה, איך מטפלים בכשל ואילו פעולות דורשות עצירה. כלי שמחזיר קוד תקין יכול עדיין לכתוב ליעד הלא נכון או להחזיר תוצאה חסרת שימוש.
- לכל כלי יש קלט מוגדר, פלט שאפשר לאמת ומגבלת זמן.
- הרשאות כתיבה מופרדות מהרשאות קריאה, במיוחד במערכות לקוח.
- פעולה בלתי הפיכה עוברת למסלול הכנה ואישור.
- כשל נרשם עם הסיבה והמצב שנשאר אחריו, כדי שהניסיון הבא לא ינחש.
שכבה שלישית: זיכרון שמחזיק הקשר בלי לבלוע את העסק
זיכרון לסוכן צריך לענות על שלוש שאלות: מה מותר לו לדעת, מה רלוונטי עכשיו ואיך מוכיחים מאיפה המידע הגיע. במערכת החיה יש 867 רשומות זיכרון ו-1,315 קישורים ביניהן. המספרים מלמדים שהקשר מצטבר מהר. קובץ אחד ארוך או מסד חיפוש כללי הופכים במהירות למקום שבו עובדה, השערה והוראה ישנה נראות אותו דבר.
לכן הזיכרון מחולק לפי תחומים ובעלות. לכל רשומה יש תפקיד, ותהליך המיזוג צריך לזהות מידע ייחודי לפני שהוא מוחק כפילות לכאורה. שער המיזוג שלנו זיהה אסימון ייחודי ב-611 מתוך 661 קבצים שנבדקו. בלי השער הזה, ניקוי תמים היה יכול למחוק פרט שהופיע רק במקום אחד. זו דוגמה קטנה לכך שממשל מתחיל הרבה לפני שליחת הודעה.
הבדיקה המעשית פשוטה: בקשו מהסוכן להסביר איזה זיכרון השפיע על החלטה, מה תאריך המקור ומי רשאי לעדכן אותו. תשובה כללית כמו נמצא במאגר אינה מספיקה. מערכת עסקית צריכה כתובת מדויקת, גבול גישה ודרך לתקן מידע שהתיישן.
שכבה רביעית: אורקסטרציה בלי דריסות שקטות
אורקסטרציה מתחילה כשיותר מעבודה אחת יכולה להתקדם באותו זמן. אז מופיעות שאלות שלא קיימות בסוכן יחיד: מי הבעלים של קובץ, מה קורה כששתי עבודות כותבות לאותו יעד, מי מאשר תוצאה חלקית ואיך מזהים חדר עבודה שלא מתקדם. המערכת שנבדקה מחזיקה 1,195 הזמנות עבודה ו-47 חדרי בקרה חיים. זה כבר מרחב תפעולי, לא רצף של שיחות.
מפת התנגשויות כתיבה היא אחד הרכיבים הפחות זוהרים והיותר שימושיים. היא הופכת קובץ או יעד למשאב עם בעלות זמנית. לפני עבודה מקבילית כדאי לקרוא את המדריך לאורקסטרציה רב-סוכנית ואת סולם האוטונומיה לסוכני AI. הראשון מטפל בתיאום, והשני קובע כמה חופש כל נתיב מקבל.
שכבות חמישית ושישית: המקום שבו מערכת לומדת להגיד לא
מדיניות היא קוד שמחליט אם פעולה יכולה להמשיך. היא צריכה להימצא בנתיב החסימה, לפני השיגור, ולא במסמך שמקווים שהסוכן יקרא. במערכת שלנו יש ארבעה שערים עם 42 נקודות קריאה ו-39 נקודות רישום. הם מכוסים בכ-102 טסטים. המספר החשוב ביותר הגיע מהחיים עצמם: 29 חסימות מתוך 137 החלטות מדיניות, כלומר 21%.
הנתון הזה אינו מדד איכות מוחלט. הוא כן מוכיח שהשער אינו קישוט. בחלק מהפעולות המערכת ניסתה להתקדם וקיבלה סירוב. השער שמר סיבה, יעד וכוונה, כדי שאפשר יהיה לבדוק אם הפעולה צריכה להמתין, לעבור לאישור או להיזרק. בלי תיעוד כזה, חסימה הופכת לחור שחור והצוות מתחיל לעקוף אותה.
עקיבות היא השכבה השישית. בפנקס נרשמו 7,321 פעולות יוצאות לאורך 92 ימים. כל שורה מאפשרת לשאול מה נשלח, לאן, באיזה נתיב ובאיזו החלטת שער. עקיבות טובה אינה אוסף לוגים שאיש לא קורא. היא מסלול קצר מחיווי עסקי אל ההחלטה הטכנית שיצרה אותו.
איך עושים אודיט לשש השכבות
האודיט אינו צריך להתחיל ברשימת טכנולוגיות. התחילו מתרחיש עסקי שכבר קיים: ליד שנכנס, הזמנה שדורשת טיפול, תוכן שממתין לפרסום או חשבונית שנקלטת. הריצו את התרחיש עד הקצה ובדקו היכן נשמרת אחריות בכל שכבה. חפשו גם את המסלול השלילי, כי שם מתגלה אם המערכת יודעת לעצור בלי לאבד את העבודה.
- הגדירו את הפעולה ואת הנזק האפשרי אם תתבצע שגוי.
- זהו את הכלי ואת ההרשאה המדויקת שהוא מקבל.
- רשמו איזה זיכרון והקשר נכנסים להחלטה.
- בדקו בעלות, נעילה ותיאום עם עבודות מקבילות.
- הפעילו בכוונה תנאי חסימה וראו אם הכוונה נשמרת.
- שחזרו את כל המסלול מתוך יומן העקיבות, בלי להיעזר בזיכרון של המפעיל.
אם שלב מסוים נשען על אדם שיודע איפה לחפש, זה סימן לחוב תפעולי. האדם יכול להישאר מאשר ומכריע. הוא לא אמור להיות היחיד שיודע שהפעולה התרחשה. ההפרדה הזאת מאפשרת להרחיב את המערכת בלי להרחיב באותו קצב את כמות התעלומות.
סדר בנייה שמקטין חוב
אין צורך לבנות את כל השכבות ביום הראשון. כן צריך להחליט עליהן לפני שהשימוש מתרחב. עבור תהליך חדש, אפשר להתחיל ב-L1 או ב-L2: הסוכן צופה, מנסח ומכין. כבר בשלב הזה שומרים הקשר, בעלות ויומן החלטות. כשהתהליך יציב, מוסיפים ביצוע מוגבל עם שער מדיניות צר.
הסדר הזה חוסך שכתוב. צוות שמתחיל מאוטונומיה רחבה מגלה מאוחר שהוא צריך להכניס הרשאות, נעילות ומבנה זיכרון לתוך קוד שכבר מניע פעילות. צוות שמתחיל מחוזה פעולה יכול להרחיב בהדרגה. בכל הרחבה הוא יודע מה נוסף, איזה סיכון נכנס ואיזו ראיה תוכיח שהשינוי עובד.
אז איפה כמעט כולם נכשלים? באזור שבין פעולה מרשימה לבין אחריות שניתנת לבדיקה. שש השכבות סוגרות את הפער הזה. הן הופכות סוכן שמסוגל לעשות למערכת שיודעת מתי לעשות, מתי לעצור ואיך להסביר את שתיהן.
שאלות נפוצות
מה ההבדל בין סטאק סוכני AI לבין פריימוורק לסוכנים?
פריימוורק עוזר למפתח לבנות ריצה וכלים. סטאק מלא כולל גם זיכרון מתמשך, תיאום בין עבודות, מדיניות בנתיב הפעולה ועקיבות. הפריימוורק יכול להיות רכיב בתוך השכבה הטכנית, אך הוא אינו מחליף את שכבות האחריות.
האם כל עסק צריך שש שכבות כבר בהתחלה?
כל עסק צריך להחליט איך כל שכבה מטופלת, גם אם המימוש הראשוני קטן. בתהליך טיוטה פשוט המדיניות יכולה להיות אישור אנושי והעקיבות יכולה להיות רשומה מסודרת. ככל שהסוכן מקבל יכולת כתיבה, המבנה צריך להפוך מפורש ואכיף יותר.
איך יודעים ששער מדיניות באמת עובד?
מריצים תנאי שאמור להיחסם ובודקים שהפעולה נעצרה, שהסיבה נרשמה ושהכוונה נשמרה אם היא אמורה להתבצע מאוחר יותר. בנוסף מחפשים חסימות אמיתיות מהעבודה השוטפת. שער שמעולם לא חסם דורש בדיקת חיבור וכיסוי.
איזו שכבה בונים אחרי כלי ראשון שעובד?
בדרך כלל מגדירים קודם זיכרון מצומצם, בעלות על העבודה ויומן תוצאה. לפני מתן הרשאת כתיבה מוסיפים שער מדיניות ותרחיש חסימה. כך ההרחבה נשענת על ראיות, בלי להפוך את המפעיל למנגנון התיעוד היחיד.
נבחר תהליך עסקי אחד, נעבור עליו דרך שש השכבות ונזהה איפה חסרים גבול, בעלות או ראיה. התוצר הוא מפת סיכונים וסדר עבודה, לפני שמרחיבים הרשאות.
