OpenAI ביטלה שלוש מתוך 722 הדפסות המחקר שפרסמה ב-GitHub ב-6 באוקטובר, Retraction Watch דיווחה ב-8 באוקטובר, לאחר ששגיאת סימן ביטלה טיעון מרכזי ואיתו שתי תוצאות שהיו תלויות בבנייה זו. הנסיגה הגיעה פחות מ-24 שעות לאחר השחרור ההמוני, ש-OpenAI הגדירה כמאמץ "לדחוף את גבול הידע האנושי ולאפשר התקדמות נוספת במתמטיקה".

הטביעות המוקדמות תיארו התקדמות לכאורה על ידי מודל AI פנימי על 372 בעיות לא פתורות בגיאומטריה, מדעי המחשב, אלגברה ותחומים אחרים. המהלך גרר בדיקה מיידית של קהילות מחקר - וכפי שסיקרנו מוקדם יותר השבוע בדו"ח שלנו על ההוצאה הראשונית של 722 כתבי היד המתמטיים, החברה תיארה את הירידה כהדגמה חסרת תקדים של מה יכול להפיק מודל החזית שלא פורסם שלה. עקוב אחר החדשות האחרונות בסיפור הזה בסיקור הפיתוחים האחרונים של AI שלנו.

שגיאת סימן עוברת דרך הוכחות תלויות

ב-7 באוקטובר, OpenAI הודיעה על נסיגה של שלושה כתבי יד בגלל שגיאת סימן. לפי ההודעה, השגיאה ביטלה טיעון בכתב יד אחד ואת המבנה ששימשו שני מאמרים תלויים. כל נייר שנמשך נושא כעת הודעה המסבירה את "הפער".

החברה גם אמרה שהיא תיקנה 14 כתבי יד אחרים עם תיקוני הוכחה, הצהרות תיקנו, השערות ותלות ברורות יותר ותיקון אחד לציטוט מיושן. דן רוברטס, מוביל מחקר ב-OpenAI, הודיע ​​על המשיכות ב-X וכתב כי החברה "תמשיך לעדכן את ה-repo עם פורמליזציות חדשות ועם כל שגיאה שנבחין בה".

דובר של OpenAI אמר ל-Retraction Watch שהחברה זיהתה את השגיאות במהלך ביקורת, ותיארה את התהליך כאיטרטיבי "כמו בכתבי יד אחרים של מחקר". הדובר הוסיף כי OpenAI מברכת על בדיקה ו"תפעל לתיקון [שגיאות] מיידית ולמשוך מסמכים אם לא יימצאו תיקונים".

יש לציין כי דובר OpenAI אמר כי משתפי הפעולה של החברה בקבוצת הייעוץ למתמטיקה ובינה מלאכותית (AGMAI) המליצו לפרסם את התוצאות מבלי לחכות ל"פורמליזציה מלאה" - וכי בערך 50% מהתוצאות פורסמו ללא אישור.

מתמטיקאים: תיקונים מהירים, אמון אבוד

תגובות של מתמטיקאים מחקריים נמדדו אך מחודדות. אלכס טאונסנד, פרופסור חבר למתמטיקה באוניברסיטת קורנל, אמר ל-Retraction Watch ששגיאה שנכנסה לשלושה כתבי יד אינה מפתיעה, וכי הוא חושד שיימצאו שגיאות נוספות. "בהתחשב בספקנות של AI בקהילת המתמטיקה, אני חושב ש-OpenAI היה צריך להכריז תחילה על כתבי היד שאומתו ב-Lean", הוא אמר, בהתייחס לשפת התכנות בקוד פתוח שבודקת באופן מכאני הוכחות מתמטיות. הודעה נפרדת יכולה הייתה להזמין עזרה מהקהילה לאמת את השאר, הוא טען.

אנדרו סאתרלנד, מדען מחקר בכיר במחלקה למתמטיקה של MIT, אמר שהוא מעריך את OpenAI שפעלה במהירות לאחר מציאת השגיאות, וכינה זאת "הדבר האחראי לעשות". אבל הוא הדגיש שמתמטיקאים רבים נותרו "לא מרוצים מאיך ש-OpenAI התנהג עד לנקודה זו", והצביע במיוחד על הודעת החברה ב-8 בספטמבר שמערכת בינה מלאכותית פתרה את בעיית Navier-Stokes - טענה שקבוצת חוקרים מובילים מתחה ביקורת על כך שהיא ממהרת, "לא משאירה זמן לכתיבה נכונה, לבידוד של עבודה קודמת, שיטות חדשות ואחרות רלוונטיות". יותר מ-8,000 חוקרים תמכו בחששות אלה.

האגודה למתמטיקה אנושית המשיכה רחוק יותר בהצהרה שפורסמה ב-7 באוקטובר: "מתמטיקאים לא ביקשו לעשות את העבודה הזו. שחרור של למעלה מ-700 קבצים בבת אחת אינו הפגנה של למדנות, אלא הפגנת כוח. אנו קוראים למתמטיקאים להפסיק את עבודתם עם OpenAI ולחזור לחזון של מדע שמרכז את ההבנה האנושית".

מה זה אומר על מדע שנוצר בינה מלאכותית

הפרק מתעצב כמקרה מבחן מוקדם לאופן שבו מעבדות בינה מלאכותית צריכות לטפל במחקר שנוצר על ידי מכונה בקנה מידה. הגישה של OpenAI - שחרור מהיר, ביקורת בציבור, נסיגה מה שנכשל - מנוגדת לגישה הפורמלית-אימות-ראשון שמתמטיקאים רבים מעדיפים, שבה תוצאות נבדקות בעוזרת הוכחה כמו Lean לפני כל הודעה.

יש טיעונים הגיוניים משני הצדדים. המתנה לפורמליזציה מלאה עלולה לדחות תוצאות שימושיות בחודשים, ו-OpenAI טוענת שהיא שוחררה בברכתה של AGMAI. אבל אפקט המפל - שגיאת סימן אחת בהורדת שני מאמרים תלויים - ממחיש מדוע אימות לפני פרסום היה הנורמה במתמטיקה, ומדוע שגיאות נוספות צפויות לצוץ כשהקהילה עובדת על כ-700 כתבי היד הנותרים.

לעת עתה, OpenAI אומרת שהיא רוצה ללמוד מהמשוב ותפעל לפי הפרוטוקול של AGMAI "כמיטב יכולתנו" בהמשך הדרך. האם זה מספיק כדי לבנות מחדש את האמינות עם הקהילה המתמטית זו שאלה אחרת. כפי שאמר סאתרלנד: "אני חושב שהמשיכות והתיקונים יראו בחיוב על ידי קהילת המתמטיקה, אבל יידרש הרבה יותר מזה כדי להרוויח בחזרה את האמון שהם איבדו".

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →