Anthropic פרסמה מחקר המראה כי מערכות בינה מלאכותית אוטומטיות יכולות לתקן בצורה מהימנה את כשלי היישור של הדגם, תוצאה שעלולה לעצב מחדש את אופן הביצוע של עבודת הבטיחות במרכז תעשיית הבינה המלאכותית. המאמר, שכותרתו "חוקרים אוטומטיים יכולים לצמצם באופן מהימן כשלי יישור", פורסם ביום שישי ופורט על ידי TechCrunch.
המחקר יוצא מתוכנית העמיתים של אנתרופיק והובל על ידי חן יוה-האן. הטענה המרכזית שלה בולטת: כאשר מערכות המחקר האוטומטיות של החברה הצביעו על עשרה אמות מידה למדידת התנהגויות לא מיושרות ספציפיות, הן שיפרו את הביצועים של כל אחת מהן - מבלי לפגוע ביכולות הכוללות של המודל. עבור תחום שנאבק לשמור על עבודת הבטיחות בקנה אחד עם קנה המידה של הדגם, זו תוצאה בולטת. For more context on this story, see our ongoing AI news.
הסיפור נחת במהלך תקופה עמוסה לכיסוי בטיחות AI. זה עוקב אחר קיץ שבו התנהגות שגויה סוכנת שלטה בכותרות, מהדו"ח הפנימי של OpenAI על סוכנים פורצי תגמולים ועד לקריאות לחקירות עצמאיות של הפרת החיבוק. המאמר החדש של אנתרופיק ניגש לבעיה מהכיוון ההפוך: במקום לשאול כיצד סוכנים מתנהגים בצורה לא נכונה, הוא שואל האם ניתן לסמוך על סוכנים אחרים שיתקנו אותם.
מה העיתון מדווח בפועל
המערכת המתוארת במאמר נקראת Automated Alignment Researcher, או AAR. במקום להחליף את תהליך המחקר, ה-AAR משכפל חלק גדול ממנו: כל מערכת אוטומטית מחפשת בספרות הזמינה, מציעה שיטה ומכשירה את המודל באמצעות שיטה זו במשך כ-30 דקות. לאחר מכן התהליך חוזר על פני מספר איטרציות.
מנגנון הבחירה הוא פשוט. שיטות שמזיזות את המדד נשמרות; שיטות שלא נמחקות. הלולאה הזו מאפשרת למערכת לפעול במהירות ובקנה מידה שאף צוות אנושי לא יכול להשתוות, בודק כיווני מחקר רבים במקביל ושומר רק על מה שעובד.
על פי העיתון, התוצאות היו עקביות בכל הלוח. בכל עשרת האמות מידה המכסות התנהגויות ספציפיות שגוויות, המערכות האוטומטיות יצרו שיפורים מדידים מבלי לפגוע בביצועי המודל הכוללים - הפשרה הרגילה שמקשה על עבודת היישור.
"בסך הכל, תוצאות אלו מספקות עדות מוקדמת לכך שאימון אוטומטי לאחר אימון יכול להפוך למעשי בטווח הקרוב", נכתב בעיתון.
מנצח את בני האדם, ב-1/37 מהעלות
הקטעים המצוטטים ביותר במאמר הם אלה שבהם הוא משווה את ה-AAR ישירות למקביליו האנושיים. אנתרופיק לא גידור מההשוואה.
"שיטת ה-AAR הטובה ביותר מנצחת את מה שבני אדם מנוסים מציעים, בממוצע תוך שש שעות", נכתב בעיתון. הוא מוסיף, באופן נוקב, כי "כיווני מחקר מודרכים אנושיים אינם מובילים לביצועים חזקים יותר".
הכלכלה בוטה באותה מידה. "AAR עולה בערך $4 לשעה בהסקת API לעומת $150 לשעה שאנחנו משלמים לחוקרים האנושיים שלנו", כותבים המחברים. זהו הפרש עלויות של כמעט פי 40, וזה מסביר מדוע מעבדות מתייחסות ברצינות למחקר אוטומטי כיותר מאשר קוריוז.
מדוע הפער בעלויות חשוב
מחקר יישור הוא יקר באופן שקל לזלזל בו. יש ליישם, להכשיר ולהעריך כל התערבות של מועמדים מול מדדים, ורוב המועמדים נכשלים. אם מערכת יכולה להריץ את לולאת החיפוש ברציפות במחיר של קריאות API, העלות השולית של ניסיון רעיון נוסף מתקרבת לאפס. האילוץ עובר ממספר עובדים לחישוב.
The Limitations Anthropic Itself Flagged
המאמר כנה לגבי מה שהתוצאה אינה קובעת. המערכת האוטומטית פועלת רק במידה שהאמות מידה משקפות למעשה את יעדי היישור החשובים - ובנייה ותחזוקה של אמות מידה הלוכדות התנהגות שגויה בעולם האמיתי נותרה בעיה פתוחה בשטח.
יש גם תלות שקל לפספס: החוקרים האוטומטיים מסתמכים על ספרות שיטות קיימת. שמירה והרחבת ספרות זו היא כשלעצמה עבודה משמעותית, ומערכת שרק מערבבת טכניקות מוכרות עשויה לפגוע בתקרה שהיצירתיות האנושית לא הייתה.
הסתייגויות אלו חשובות מכיוון שהמשמעות ארוכת הטווח של המחקר תלויה בהן. אם המדדים מודדים את הדברים הלא נכונים, AAR יכול לייעל את דרכו למספרים חזקים בעוד הסיכונים הבסיסיים נשארים ללא נגיעה. המסגור של אנתרופיק - "ראיות מוקדמות", לא פתרון - משקף את אי הוודאות הזו.
צעד לקראת שיפור עצמי רקורסיבי
המאמר גם מזין ויכוח גדול יותר על שיפור עצמי רקורסיבי, הרעיון שמערכות בינה מלאכותית יכולות בסופו של דבר לשפר את תהליכי האימון שמייצרים אותן. אימון מודלים של AI עם מודלים אחרים של AI הפך למטרה פופולרית עבור מעבדות גבול, והתוצאה של Anthropic היא מבט מוקדם וקונקרטי על איך זה נראה בתחום צר.
ההיגיון הוא פשוט. אם מודלים יכולים לשפר באופן מהימן את אימון היישור שלהם, אותה מכונות עשויות להיות מכוונות לשיטות אימון בצורה רחבה יותר - כולל עבודת יכולת. TechCrunch מציין את ההשלכה שחוקרים בינה מלאכותית אנושית עשויים להפוך בסופו של דבר לפחות מרכזיים בתהליך, אפשרות שהמאמר עצמו עוסק בה במקום להימנע.
במה לצפות בהמשך
שלוש שאלות יקבעו אם תוצאה זו מכללה. ראשית, האם הגישה מתקיימת מחוץ לעשרת אמות המידה שבחנה אנתרופיק, על מצבי כישלון מבולגנים יותר ופחות מוגדרים. שנית, האם ניתן לפתור את בעיית התחזוקה של המדדים מהר מספיק כדי לשמור על כנות מחקר אוטומטי. שלישית, האם מעבדות אחרות מפרסמות תוצאות דומות, שיהפכו מאמר בודד לכיוון תעשייתי.
לעת עתה, הממצא צר אך אמיתי: במשימות היישור הספציפיות שנבדקו על ידי אנתרופיק, חוקרים אוטומטיים עמדו בביצועים טובים יותר מבני אדם מנוסים, מהר יותר וזול בהרבה. הצד הבטיחותי של תעשיית הבינה המלאכותית עשוי להיות המקום הראשון שבו חוקרי בינה מלאכותית - לא בני אדם - עושים את רוב העבודה.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
