למה פרויקטים אגנטיים נסגרים, ומה מבדיל את מי שמחזיק
ממשל סוכני AI הוא מערכת ההחלטות שקובעת מה סוכן רשאי לעשות, באילו תנאים, עם איזה מידע ומי אחראי כאשר הפעולה חורגת. הוא כולל הרשאות, רמות אוטונומיה, שערי סיכון, תיעוד והסלמה לאדם. בלי ממשל, פרויקט יכול להציג יכולת מרשימה ועדיין להיתקע לפני פרודקשן.
Gartner הזהירה שפרויקטים אגנטיים עלולים להיסגר בגלל עלויות שעולות, ערך עסקי לא ברור ובקרת סיכון חלשה. שלוש הסיבות מתחברות באותה נקודה: מערכת שמבצעת הרבה עבודה בלי להוכיח מה יצא ממנה, מי אישר ומה נעצר. מערכת הפעלה אגנטית צריכה לנהל את הפער הזה כחלק מהקוד והתפעול.
- ממשל מתחיל בהגדרת ערך ותוצאה, לפני בחירת סוכן או כלי.
- שכבת מדיניות צריכה לחסום פעולה בנתיב הביצוע ולכתוב סיבה שאפשר לבדוק.
- במערכת החיה נחסמו 29 מתוך 137 החלטות מדיניות, שהם 21% מההחלטות שנמדדו.
- עקיבות מחברת עלות לפעולה ותוצאה. בלי החיבור הזה קשה לדעת אם הפרויקט מתקדם או רק פעיל.
פרויקט נסגר הרבה לפני שמכבים אותו
מה קורה לפני שמכבים פרויקט? הסימן הראשון אינו תקלה טכנית. בדרך כלל זו עמימות. הצוות אינו יודע אילו משימות הסוכן באמת סוגר, כמה מהתוצאות דורשות תיקון ומה הנזק האפשרי של טעות. בזמן שההדגמות ממשיכות, התור הידני גדל והעלות עוברת מתחום הפיתוח לתחום התפעול. בשלב מסוים ההנהלה שואלת מה השתנה בעסק, ואין תשובה שמחוברת לראיות.
ממשל טוב הופך את השאלה הזאת לחלק מהמפרט. לכל תהליך יש בעלים, יחידת עבודה, תוצר, תנאי הצלחה ומסלול כשל. הסוכן מקבל הרשאה שמתאימה לפעולה, והיומן מחבר בין ההזמנה לבין התוצאה. כך אפשר להחליט אם להרחיב, לצמצם או לעצור לפני שהפרויקט הופך להרגל יקר.
הסיבה הראשונה: ערך עסקי שאינו מוגדר
משימה כמו לשפר שירות לקוחות רחבה מדי. צריך להגדיר פעולה שמישהו כבר מבצע: לזהות פנייה, למשוך סטטוס, לנסח תשובה ולהעביר חריג. כל שלב מקבל תוצאה נראית. אם הסוכן חוסך ניסוח אך האדם עדיין מחפש את כל הנתונים, הערך קטן. אם הוא מרכז נתונים אך התשובה לא מגיעה ללקוח, התהליך לא נסגר.
יחידת העבודה היא בסיס הממשל. היא מאפשרת לחבר עלות ותוצאה. במערכת שנבדקה היו 1,195 הזמנות עבודה ו-839 משימות עם תוצר מקושר. הפער מלמד מדוע ספירת פעילות לבדה מטעה. צריך לראות אילו הזמנות קיבלו תוצר, מה מצבו ומי אימת אותו.
הסיבה השנייה: עלות בלי גבול תפעולי
מערכת אגנטית צורכת יותר מהפעלה של מנגנון חשיבה. היא מפעילה כלים, מושכת נתונים, כותבת לוגים, מנסה שוב ומעבירה חריגים לאדם. אם אין תקציב לרצף, תהליך קטן יכול להתפצל לעבודה רבה. העלות האמיתית כוללת גם בדיקה ידנית, טיפול בתורים, תיקון הקשר ותחזוקת חיבורים.
ממשל עלות קובע כמה צעדים מותר, מתי ניסיון חוזר מוצדק ואיזה מצב דורש עצירה. הוא גם מבדיל בין תהליך שמכין תוצאה לבין תהליך שמחיל אותה. לפעמים L2 נותן את רוב הערך בעלות וסיכון נמוכים יותר. המעבר ל-L3 צריך להגיע אחרי שנמדד צוואר הבקבוק, ולא מתוך רצון להציג אוטונומיה.
בפועל, התקציב צריך להופיע ביומן לצד ההזמנה. כך אפשר לזהות כלי איטי, מסלול שחוזר על עצמו או סוכן שמייצר הרבה טיוטות בלי שימוש. עלות ללא תוצר היא בעיית מוצר. עלות ללא עקיבות היא בעיית ממשל.
הסיבה השלישית: בקרת סיכון שנשארה במסמך
ארגונים כותבים הנחיות כמו אל תפרסם בלי אישור ואל תשתף מידע רגיש. כל עוד ההנחיה נמצאת רק בפרומפט או במסמך, היא תלויה בפרשנות של הסוכן. שער מדיניות צריך לקבל את הפעולה המוצעת, היעד, הערוץ והמצב, ולהחזיר החלטה לפני השיגור. אם התנאי חסר או מקור המצב אינו מוסמך, ברירת המחדל היא עצירה.
אצלנו שכבת המדיניות כוללת ארבעה שערים, 42 נקודות קריאה ו-39 נקודות רישום, עם כ-102 טסטים. הנתון המשמעותי יותר מגיע מהעבודה: 29 מתוך 137 החלטות נחסמו, שהם 21%. החסימה מוכיחה שהשער פוגש פעולות אמיתיות ומוכן להגיד לא כאשר התנאים אינם מתאימים.
שש שכבות הסטאק ממקמות את הממשל אחרי כלים, זיכרון ואורקסטרציה ולפני היציאה. המיקום חשוב. שער שמופעל אחרי הפעולה יכול לתעד נזק, אך הוא לא יכול למנוע אותו. שער שמופעל לפני הפעולה ומחובר לעקיבות יכול גם לעצור וגם להסביר.
שכבה חמישית ושישית כמבחן בגרות
שכבה חמישית היא מדיניות. שכבה שישית היא תצפית ועקיבות. הראשונה קובעת אם הפעולה מותרת. השנייה שומרת מה הוצע, מה הוחלט ומה בוצע. ביחד הן מאפשרות לנהל מערכת לאורך זמן. בלי השילוב, הצוות יכול לראות שהסוכן פעיל אך מתקשה להבין איזו החלטה יצרה תוצאה מסוימת.
בפנקס המערכת נרשמו 7,321 פעולות יוצאות לאורך 92 ימים. המספר אינו טענת איכות. הוא תשתית לשאלות: אילו ערוצים הופעלו, איזה שער אישר, כמה פעולות חזרו ומתי נוצר חריג. אם מוסיפים תוצאה עסקית, אפשר לחבר פעילות לערך. אם אין תוצאה, אפשר לזהות רעש ולכבות מסלול.
העקיבות גם מגינה על הארגון בדיון פנימי. במקום ויכוח על זיכרון, פותחים את ההזמנה, החלטת השער והתוצר. זה מקצר תיקון ומשפר את הכללים. ממשל טוב אינו רק מנגנון ציות. הוא הדרך שבה המערכת לומדת מכשל בלי להמציא סיפור חדש בכל פעם.
ממשל לפי רמת אוטונומיה
אותם כללים אינם מתאימים לכל סוכן. סוכן שקורא נתונים ב-L0 זקוק לגבולות מקור ופרטיות. סוכן שמכין פעולה ב-L2 זקוק לתור אישור ולהשוואת שינויים. סוכן שמבצע ב-L3 זקוק להרשאה צרה, תנאי עצירה ויכולת שחזור. L4 דורש גם תקציב, ניטור רציף ומתג עצירה מערכתי.
הממשל צריך להשתנות גם לפי תחום. הודעה ללקוח דורשת בדיקת מצב קשר. פעולה כספית דורשת אישור מפורש. עריכת תוכן חי דורשת גיבוי והשוואת זמן השינוי של העמוד. זיכרון רגיש דורש גבול תחום. במקום מדיניות אחידה, בונים מטריצה של פעולה, נזק, הפיכות ואישור.
| מצב | שאלת מפתח | מנגנון |
|---|---|---|
| קריאה | האם המקור מוסמך ומותר | סינון מקור ותחום |
| טיוטה | האם התוצר מסומן ומחכה לבעלים | תור סקירה |
| הכנה | האם היעד והשוואת השינויים גלויים | אישור לפני החלה |
| ביצוע | האם הפעולה צרה והפיכה | שער, שחזור ויומן |
מה מבדיל פרויקט שמחזיק
אז מה מבדיל פרויקט שמחזיק? הוא אינו מתחייב שאף פעם לא יהיו כשלים. הוא מתוכנן כך שכשל יופיע מהר, יישאר בתוך גבול וייצר מידע לשיפור. יש לו יחידת עבודה ברורה, בעלים לתוצאה והרשאה שמתאימה לנזק. תור אישור נחשב חלק מהמוצר, וכך גם מסלול הסלמה.
- הערך מוגדר כתוצאה שמישהו משתמש בה.
- כל פעולה מקבלת רמת אוטונומיה והרשאה נפרדת.
- שערי סיכון נמצאים לפני היציאה וכותבים החלטה.
- תוצר מקושר להזמנה ולבעלים, גם כאשר הוא חלקי.
- עלות, ניסיונות חוזרים והסלמות נראים באותו מסלול בדיקה.
- הארגון יודע להוריד רמה או לכבות זרימה בלי לאבד את התור.
האמת שזו עבודה פחות נוצצת מבניית הדגמה. היא דורשת החלטות קטנות על בעלות, הרשאה וראיה. בדיוק שם נוצר הנכס. כאשר השערים והיומנים עובדים, אפשר להחליף כלי, לשפר הקשר ולהוסיף תהליך בלי להתחיל את שיחת האמון מחדש.
כל מה שמתואר כאן פועל היום על תשתית אחת: הרשאות, אישורים, זיכרון ותיעוד שנאכפים בקוד ולא בהוראה למודל.
אפשר לקרוא את המערכת שמאחורי הדברים האלה, או לראות את ההסבר המלא בעברית על מערכת ההפעלה האגנטית.
שאלות נפוצות
מה כולל ממשל סוכני AI?
הגדרת ערך ובעלות, רמות אוטונומיה, הרשאות, שערי סיכון, עקיבות והסלמה לאדם. הממשל חל על כל פעולה ולא רק על הסוכן כולו. הוא צריך להיות אכיף בקוד ובתפעול.
למה פרויקט עם דמו טוב עדיין נתקע?
דמו בודק יכולת בתרחיש מוגן. פרודקשן מוסיף עלות, קלט חסר, הרשאות, תורים ונזק אפשרי. אם אין יחידת עבודה, תוצר מקושר ושערים, הארגון מתקשה להרחיב את השימוש בביטחון.
האם ממשל מאט אוטונומיה?
בהתחלה הוא מוסיף עבודה של הגדרה ובדיקה. אחר כך הוא מאפשר להרחיב אוטונומיה בלי לבדוק כל צעד ידנית. הגבולות הצרים הופכים את מסלול הביצוע למהיר יותר ואת החריגים לברורים.
איזה מדד ראשון כדאי להקים?
קשר בין הזמנת עבודה לתוצר ולבעלים. המדד הזה חושף עבודה בלי תוצאה, תורים חסרי בעלים ותוצרים חלקיים. אחריו מוסיפים סיבות חסימה, עלות והסלמות לפי התהליך.
נבחר תהליך פעיל ונבדוק ערך, הרשאות, שערים, תוצרים ועקיבות. תקבלו רשימת פערים וסדר תיקון שמתחיל בסיכון העסקי, בלי להחליף את מה שכבר עובד.
רוצים ש-OpticoAI יעשה את זה בשבילכם?
