ברגע שבו מעבדות גבול דוהרות לבנות מודלים של טריליון פרמטרים שממלאים מרכזי נתונים, מפתח אחד הלך לכיוון השני לחלוטין: מודל שפת תשובות לשאלות עובד שמתאים לתקליטון יחיד משנות השמונים ופועל על מעבד ישן מספיק כדי להישלח בתוך 486DX.

הפרויקט, שנקרא Tiny 2.1, זוהה על ידי Hackaday ונקלט השבוע על ידי Futurism ו-Tom's Hardware. לפי עמוד הפרויקט של GitHub, הדגם כולו שוקל בערך 380 קילו-בייט של משקלים של 8 סיביות - קטן מספיק כדי להתאים בנוחות לתקליטון אחד בפורמט MS-DOS - וצריך רק 540 קילו-בייט של זיכרון כדי לפעול. Tom's Hardware מדווחת שהיא אפילו מדברת את תשובותיה דרך הרמקול הצנוע של המחשב האישי. אם אתה נהנה מסיפורים על בינה מלאכותית ששוברת ציפיות, פיתוחי הבינה המלאכותית האחרונים שלנו מכסים הכל מהסקת קצה ועד למערכות גבול בעלות טריליון פרמטרים.

שנאי עם תשובות לשאלות עם 367,000 פרמטרים

Tiny 2.1 היא ארכיטקטורת שנאים קטנה עם כ-367,000 פרמטרים - חלק קטן מהגודל של הדגמים "קלי המשקל" הנמדדים בדרך כלל במיליארדים הנמוכים. הוא נכתב ב-Turbo C 2.0 ופועל על MS-DOS, מערכת ההפעלה ששלטה במחשוב האישי בשנות ה-80 ותחילת שנות ה-90, מכוונת למכונות עתיקות יומין כמו ה-Intel 486DX והדורות המוקדמים של פנטיום.

נתוני האימונים שלו זעירים בהתאם: רק 3,500 עובדות. אילוץ זה מגדיר את חווית השימוש בו. בצילום מסך ששותף בדף הפרויקט, הדוגמנית עונה נכונה כי לווייתנים הם יונקים ולא דגים וזוכה נכון לאלכסנדר גרהם בל עם המצאת הטלפון. הוא מתבקש לחשב 17 כפול 23, עם זאת, הוא עונה "96". ונשאל מיהו מלך צרפת, הוא עונה בביטחון "זה היה אנטארס ניוטון" - עם רמת ביטחון של 100 אחוז.

אל תצפו להופעה כמו קלוד

כפי שהפוטוריזם מציין בבוטות, המודל "ממציא תשובות כמעט כל הזמן", כי הוא פשוט לא יודע הרבה על העולם. אין שכבת אחזור, אין שימוש בכלים, אין חיפוש באינטרנט - רק רשת עצבית קומפקטית וכל הדפוסים שהיא ספגה מ-3,500 העובדות שלה.

מה שהופך את הפרויקט לבולט הוא פחות מה המודל יכול לעשות ממה שקיומו מוכיח. מסקנות LLM מודרניות קשורות לג'יגה-בייט של זיכרון, האצת GPU וקילוואט של כוח. Tiny 2.1 במקום זאת מוכיח את התפיסה ששנאי יכול לייצר אינטראקציה מובנית, שאלות ותשובות על חומרה ללא יחידת נקודה צפה לדבר, ללא דרישות כונן קשיח מעבר לתקליטון, ונתיב פלט שמע פרימיטיבי כמו רמקול לוח אם.

בינה מלאכותית בינה מלאכותית

יש גם מטא טוויסט. לפי עמוד הפרויקט, המפתח לא כתב כל שורה ביד: הם השתמשו ב-Fable 5.2 של Anthropic כדי לעזור בכתיבת הקוד של הדגם וב-Opus 5.5 כדי לתמוך בתהליך ההדרכה. במילים אחרות, דגם קטן מספיק כדי להתאים לתקליטון נכתב והומן בעצמו בסיוע מערכות AI בקנה מידה גבול - צאצא זעיר של הורים גדולים מאוד.

זרימת עבודה זו משקפת מגמה רחבה יותר בהנדסת בינה מלאכותית, שבה מודלים גדולים יותר ויותר מייצרים, מנפים באגים ומייעלים את המערכות הפועלות על חומרה קטנה בהרבה. אותו דפוס מופיע בשרשרת כלים מודרנית של edge-AI, שם מודלים בקנה מידה ענן עוזרים לדחוס ולכמת רשתות עבור טלפונים, מיקרו-בקרים והתקנים משובצים.

למה דוגמניות קטנות חשובות

Tiny 2.1 לא יאיים על אף צ'אט בוט מסחרי. אבל פרויקטים כמו זה משמשים תזכורת שימושית לכמה רחוק הגיעה דחיסת המודל - ועד כמה נפיחות היא בחירה ולא הכרח. חובבי מחשוב רטרו הקדישו שנים להדגים שחומרה בת עשרות שנים נותרה מסוגלת לעבוד מפתיעה, החל מ-Amigas עם יכולת דפדפן ועד למכונות 8 סיביות ברשת. מודל שפה שמצטרף לשושלת הזו הוא מודל ראשון ושובב.

האילוצים ההנדסיים שעיצבו את Tiny 2.1 הם גם קורס מזורז ביעילות. פורמט משקל של 8 סיביות, אוצר מילים וארכיטקטורה המותאמים למשימה, ונתיב פלט שתוכנן סביב מגבלות חומרה מצטברים למערכת שבה כל קילובייט נחשב. הפוך את זה לפריסות מיינסטרים, שבהן קוונטיזציה, גיזום וזיקוק הם תיקונים רטרואקטיביים המוחלים על מודלים שנבנו בקנה מידה גדול בהרבה - ושם סשן צ'אט בודד יכול לצרוך יותר זיכרון מכל צרכי זמן הריצה של Tiny 2.1, כולל משקלים.

זה גם נוחת בזמן של בדיקה סביבתית אמיתית סביב תאבון הכוח של בינה מלאכותית, כאשר חוקרים ורגולטורים מתמקדים יותר ויותר בעלות האנרגיה של אימונים והסקת מסקנות בקנה מידה גדול, וקרבות מיקום מרכזי נתונים מתקיימים ברחבי ארצות הברית. דגם שפועל על 540 קילו-בייט של זיכרון וספק כוח משנות ה-80 אינו פתרון לבעיה הזו - אבל הוא המחשה חיה של הקצה השני של הספקטרום: הסקה עם טביעת רגל הנמדדת בוואט, לא במגה-וואט. קוראים שעוקבים אחר כמה רחוק נמתח התחום, מתקליטון ועד לקמפוסים של ג'יגה-וואט, יכולים למצוא את שני הקצוות ב[חדשות הבינה המלאכותית] שלנו (https://aibuzzwire.news).

לעת עתה, יצרנית Tiny 2.1 יכולה לתבוע הישג נדיר באמת: רשת עצבית שתוכל להתקין מאותו מדיום שבו תשתמש כדי לשמור מסמך מעבד תמלילים, במכונה שקודמת לאינטרנט. הוא הוזה ללא הרף, מצטט בטעות את זהות המלוכה הצרפתית בביטחון מוחלט, ואינו יכול להכפיל מספרים דו ספרתיים בצורה מהימנה. זה גם פועל, כולו, על תקליטון.

הישאר לפני AI

מדגמי תקליטונים ועד למעבדות גבול, אנחנו עוקבים אחר הכל. קרא עוד חדשות AI →