Vào thời điểm các phòng thí nghiệm ở biên giới đang chạy đua để xây dựng các mô hình nghìn tỷ tham số lấp đầy các trung tâm dữ liệu, một nhà phát triển đã đi theo hướng hoàn toàn khác: một mô hình ngôn ngữ trả lời câu hỏi hoạt động phù hợp trên một đĩa mềm duy nhất của những năm 1980 và chạy trên CPU đủ cũ để được vận chuyển bên trong 486DX.

Dự án có tên Tiny 2.1 đã được Hackaday phát hiện và được Futurism và Tom's Hardware tiếp nhận trong tuần này. Theo trang dự án GitHub của nó, toàn bộ mô hình nặng khoảng 380 KB trọng lượng 8 bit - đủ nhỏ để vừa vặn thoải mái trên một đĩa mềm định dạng MS-DOS - và chỉ cần 540 KB bộ nhớ để chạy. Tom's Hardware báo cáo rằng họ thậm chí còn nói ra câu trả lời của mình thông qua chiếc loa PC khiêm tốn. Nếu bạn thích những câu chuyện về AI phá vỡ kỳ vọng, thì những phát triển AI mới nhất của chúng tôi sẽ đề cập đến mọi thứ, từ suy luận biên đến các hệ thống biên giới nghìn tỷ tham số.

Máy biến áp trả lời câu hỏi với 367.000 thông số

Tiny 2.1 là kiến trúc máy biến áp nhỏ với khoảng 367.000 thông số — một phần kích thước của các mô hình "nhẹ" thường đo được ở mức thấp hàng tỷ. Nó được viết bằng Turbo C 2.0 và chạy trên MS-DOS, hệ điều hành thống trị máy tính cá nhân trong những năm 1980 và đầu những năm 1990, nhắm vào các máy cũ như Intel 486DX và các thế hệ Pentium đầu tiên.

Dữ liệu đào tạo của nó tương ứng rất nhỏ: chỉ 3.500 sự kiện. Ràng buộc đó xác định trải nghiệm sử dụng nó. Trong ảnh chụp màn hình được chia sẻ trên trang dự án, người mẫu trả lời chính xác rằng cá voi là động vật có vú chứ không phải cá và ghi nhận chính xác Alexander Graham Bell là người đã phát minh ra điện thoại. Tuy nhiên, khi được yêu cầu tính 17 nhân 23, nó trả lời là "96". Và được hỏi Vua nước Pháp là ai, nó tự tin trả lời "Đó là Antarce Newton" - với mức độ tin cậy 100%.

Đừng mong đợi màn trình diễn giống Claude

Như Futurism lưu ý một cách thẳng thắn, mô hình này “gần như luôn đưa ra các câu trả lời”, bởi vì đơn giản là nó không biết nhiều về thế giới. Không có lớp truy xuất, không sử dụng công cụ, không tìm kiếm trên web - chỉ là một mạng thần kinh nhỏ gọn và bất kỳ mẫu nào mà nó tiếp thu từ bộ huấn luyện 3.500 sự thật của nó.

Điều làm cho dự án trở nên đáng chú ý là những gì mô hình có thể làm ít hơn những gì nó thể hiện. Suy luận LLM hiện đại gắn liền với hàng gigabyte bộ nhớ, khả năng tăng tốc GPU và kilowatt điện. Thay vào đó, Tiny 2.1 chứng minh khái niệm rằng máy biến áp có thể tạo ra sự tương tác có cấu trúc, hỏi đáp trên phần cứng mà không cần đến đơn vị dấu phẩy động, không yêu cầu ổ cứng ngoài đĩa mềm và đường dẫn đầu ra âm thanh nguyên thủy như loa bo mạch chủ.

AI được xây dựng bằng AI

Ngoài ra còn có một bước ngoặt meta. Theo trang dự án, nhà phát triển đã không viết tay từng dòng: họ sử dụng Anthropic's Fable 5.2 để giúp viết mã của mô hình và Opus 5.5 để hỗ trợ quá trình đào tạo. Nói cách khác, một mô hình đủ nhỏ để vừa trên đĩa mềm đã được tạo ra và đào tạo với sự hỗ trợ của các hệ thống AI quy mô biên giới - một hậu duệ nhỏ bé của các bậc cha mẹ rất lớn.

Quy trình làm việc đó phản ánh xu hướng rộng lớn hơn trong kỹ thuật AI, nơi các mô hình lớn ngày càng tạo ra, gỡ lỗi và tối ưu hóa các hệ thống chạy trên phần cứng nhỏ hơn nhiều. Mô hình tương tự cũng xuất hiện trong các chuỗi công cụ AI biên hiện đại, trong đó các mô hình quy mô đám mây giúp nén và lượng tử hóa mạng cho điện thoại, bộ vi điều khiển và thiết bị nhúng.

Tại sao mô hình nhỏ lại quan trọng

Tiny 2.1 sẽ không đe dọa bất kỳ chatbot thương mại nào. Nhưng các dự án như nó đóng vai trò như một lời nhắc nhở hữu ích về việc nén mô hình đã tiến xa đến mức nào - và mức độ phình to là sự lựa chọn hơn là cần thiết. Những người đam mê điện toán cổ điển đã dành nhiều năm để chứng minh rằng phần cứng hàng chục năm tuổi vẫn có khả năng hoạt động đáng kinh ngạc, từ Amigas có khả năng trình duyệt đến các máy 8 bit được nối mạng. Một mô hình ngôn ngữ tham gia dòng dõi đó là một mô hình đầu tiên và vui nhộn.

Những hạn chế về mặt kỹ thuật đã hình thành nên Tiny 2.1 cũng là một khóa học cấp tốc về hiệu quả. Định dạng trọng lượng 8 bit, từ vựng và kiến ​​trúc có kích thước phù hợp với nhiệm vụ và đường dẫn đầu ra được thiết kế xung quanh các giới hạn phần cứng sẽ bổ sung vào một hệ thống trong đó mỗi kilobyte được tính đến. Ngược lại, điều đó trái ngược với các hoạt động triển khai thông thường, trong đó lượng tử hóa, cắt bớt và chắt lọc là các bản sửa lỗi có hiệu lực hồi tố được áp dụng cho các mô hình được xây dựng ở quy mô lớn hơn rất nhiều — và trong đó một phiên trò chuyện có thể tiêu tốn nhiều bộ nhớ hơn toàn bộ nhu cầu thời gian chạy Tiny 2.1, bao gồm cả trọng lượng.

Nó cũng đến vào thời điểm môi trường đang được xem xét kỹ lưỡng xung quanh nhu cầu năng lượng của AI, khi các nhà nghiên cứu và cơ quan quản lý ngày càng tập trung vào chi phí năng lượng của việc đào tạo và suy luận quy mô lớn cũng như các cuộc chiến về địa điểm đặt trung tâm dữ liệu đang diễn ra trên khắp Hoa Kỳ. Một mô hình chạy trên bộ nhớ 540 KB và nguồn điện từ những năm 1980 không phải là giải pháp cho vấn đề đó — nhưng nó là một minh họa sống động cho phía bên kia của quang phổ: suy luận với dấu chân được đo bằng watt, không phải megawatt. Người đọc theo dõi phạm vi trải dài của lĩnh vực này, từ đĩa mềm đến khuôn viên gigawatt, có thể tìm thấy cả hai đầu trong tin nóng về AI của chúng tôi.

Hiện tại, nhà sản xuất Tiny 2.1 có thể khẳng định một thành tựu thực sự hiếm có: mạng thần kinh mà bạn có thể cài đặt từ cùng một phương tiện mà bạn sử dụng để lưu tài liệu trình xử lý văn bản, trên một máy có trước web. Nó liên tục gây ảo giác, trích dẫn sai danh tính của hoàng gia Pháp một cách hoàn toàn tự tin và không thể nhân các số có hai chữ số một cách đáng tin cậy. Nó cũng chạy hoàn toàn trên đĩa mềm.

Đi trước AI

Từ các mô hình đĩa mềm đến các phòng thí nghiệm tiên tiến, chúng tôi đều theo dõi tất cả. Đọc thêm tin tức về AI →