Một phòng thí nghiệm nghiên cứu gồm hai người đã đào tạo mô hình chuyển văn bản thành hình ảnh với giá khoảng $21.000 — và phát hành nó theo giấy phép hoàn toàn được cấp phép. Linum, do đồng CEO Sahil Chopra và Manu Chopra sáng lập, đã công bố kết quả vào ngày 4 tháng 11 trong một bài đăng ghi chú lĩnh vực kỹ thuật, trình bày chi tiết về mô hình Pixel-JiT (P-JiT) 2 tỷ thông số được đào tạo trên 660 triệu mẫu như một bằng chứng về khái niệm trên con đường hướng tới các mô hình video lớn hơn. Cả mã mẫu và trọng lượng đều có sẵn theo Apache 2.0, giấy phép cho phép sử dụng thương mại mà không bị hạn chế. Đó là một điểm dữ liệu nổi bật trong cuộc tranh luận về chi phí thực sự của nghiên cứu AI chất lượng hàng đầu, một chủ đề mà chúng tôi theo dõi trong phạm vi nghiên cứu AI.

Tại sao bỏ qua VAE?

Hầu hết các quy trình tạo hình ảnh hiện đại đều nén hình ảnh bằng cách sử dụng bộ mã hóa tự động biến thiên (VAE) riêng biệt: VAE nén hình ảnh vào một không gian tiềm ẩn nhỏ gọn và mô hình khuếch tán tạo ra bên trong không gian nén đó. Nhóm của Linum cho rằng sự phân công lao động này đã đạt tới mức trần. Trong bài viết của mình, họ lưu ý rằng VAE "dường như có mức trần theo kinh nghiệm về mức độ nén mà chúng có thể đạt được", rằng việc đẩy mức nén hơn nữa đòi hỏi phải phẫu thuật đáng kể đối với kiến ​​trúc truyền thống và việc cải thiện việc tái thiết VAE thực sự có thể làm xấu đi các thế hệ của mô hình khuếch tán xuôi dòng.

Câu trả lời của họ là loại bỏ hoàn toàn VAE. P-JiT là mô hình không gian pixel — mô hình khuếch tán hoạt động trực tiếp trên pixel và tìm hiểu mục đích tiềm ẩn được xây dựng cho trường hợp sử dụng riêng của nó, nén và tạo cùng một lúc. Người ta đặt cược rằng một mô hình duy nhất được đào tạo từ đầu đến cuối có thể thu được nhiều lợi ích hơn từ cùng một tính toán so với việc chuyển giao giữa hai mạng chuyên dụng.

Phần thưởng kỹ thuật

Tên của kiến trúc đề cập đến mã thông báo hình kim tự tháp của nó. Trong đó hầu hết các mô hình hiện tại — Linum trích dẫn FLUX-2 làm ví dụ điển hình — sử dụng mức giảm mã thông báo 16×16, P-JiT đạt được mức giảm mã thông báo 32×32, thể hiện hình ảnh 512×512 trong ngân sách mã thông báo trước đây cần cho hình ảnh 256×256. Điều đó có nghĩa là giảm 4× trong cửa sổ ngữ cảnh chú ý và sự chú ý chính xác là nút thắt cổ chai O(n²) khiến cả việc đào tạo và suy luận đều trở nên tốn kém đối với video tổng hợp.

Kết quả, bằng phép đo riêng của nhóm: P-JiT hội tụ ở số mẫu ít hơn 11× so với Linum v2, mô hình trước đây của phòng thí nghiệm được xây dựng dựa trên công thức khuếch tán Wan VAE plus DiT tiêu chuẩn hơn. Cuộc chạy trị giá 21 nghìn đô la - 660 triệu mẫu đào tạo - đã tạo ra một mô hình mà nhóm mô tả là có khả năng đáng ngạc nhiên so với quy mô của nó.

$21K mua được gì

Bản phát hành bao gồm 249 hình ảnh mẫu kèm theo lời nhắc, bao gồm con người (57), động vật (42), tòa nhà (20), sản phẩm (43), phong cảnh (19) và kết xuất cách điệu (68). Nhóm đã thẳng thắn về việc định vị: đây là một "bản phát hành thử nghiệm" và là "bước đệm" hướng tới mục tiêu thực sự của họ, một mô hình video. Các mẫu chứng minh rằng kiến ​​trúc đào tạo ổn định và tạo ra hình ảnh mạch lạc với một phần nhỏ ngân sách đào tạo thông thường, chứ không phải nó phù hợp với các mô hình hình ảnh tiên tiến về chất lượng.

Bài viết cũng đáng chú ý về cách nhóm ghi lại các chế độ thất bại cùng với kết quả. Họ trực tiếp liệt kê những hạn chế của mô hình trong bài đăng ghi chú thực địa thay vì chôn vùi chúng, một thực tế ngày càng phổ biến ở các phòng thí nghiệm nhỏ hơn có danh tiếng phụ thuộc vào độ tin cậy hơn là ngân sách tiếp thị. Bài đăng này là mục thứ tư trong loạt bài "Road to Linum v3" của nhóm, được xây dựng dựa trên phiên bản trước đó, trong đó kiến ​​trúc P-JiT được mô tả lần đầu tiên — một nhật ký kỹ thuật đang chạy cho phép các nhà nghiên cứu bên ngoài thực hiện theo từng quyết định thiết kế, bao gồm cả những quyết định không hoạt động.

Để biết bối cảnh về con số chi phí: 21 nghìn đô la của Linum đã chi trả cho việc tính toán cho đợt đào tạo 660 triệu mẫu của mô hình tham số 2B. Điều đó không thể so sánh trực tiếp với ngân sách của phòng thí nghiệm biên giới, bao gồm việc thu thập dữ liệu, bố trí nhân sự và thử nghiệm trong nhiều lần chạy bị hủy bỏ. Những gì nó thiết lập là chi phí cận biên của một đợt đào tạo thành công, được ghi lại bằng tài liệu mở - một số nhà nghiên cứu riêng lẻ và các phòng thí nghiệm của trường đại học giờ đây có thể lập kế hoạch thực tế xung quanh.

Tham vọng đã nêu của Linum là các công cụ sáng tạo dân chủ hóa quyền truy cập vào hoạt hình. Lời phê bình của nhóm đối với video sáng tạo ngày nay là nó quá chậm, tốn kém và thiếu các biện pháp kiểm soát chi tiết — một sự kết hợp mà họ cho rằng khiến video "vô dụng một cách hiệu quả trong việc kể chuyện" vì công việc sáng tạo vốn có tính lặp đi lặp lại: bạn thực hiện, bạn điều chỉnh, bạn trở nên tốt hơn. Trong khuôn khổ của chúng, đào tạo rẻ hơn và suy luận nhanh hơn là điều kiện tiên quyết để tạo video thực sự phù hợp với quy trình chỉnh sửa.

Phòng thí nghiệm nhỏ, tín hiệu lớn

Tính kinh tế được thể hiện ở đây không chỉ quan trọng đối với một công ty khởi nghiệp. Các hoạt động đào tạo từng xác định ranh giới của lĩnh vực này - được tính bằng hàng triệu đô la - hiện đang được sánh ngang, trong phạm vi hẹp, bởi các nhóm gồm hai người chi tiêu ít hơn mức lương hàng năm của một kỹ sư cấp cao thông thường. Các bản phát hành trọng lượng mở ở quy mô này mang lại cho các nhà nghiên cứu độc lập khả năng kiểm tra, tinh chỉnh và xây dựng trên các kiến ​​trúc cấp sản xuất mà không cần sự hỗ trợ của tổ chức.

Cần phải lưu ý một cách công bằng: mô hình chuyển văn bản thành hình ảnh 2B còn lâu mới đạt đến giới hạn về chất lượng hình ảnh và các tuyên bố về tính hội tụ của Linum là tự báo cáo thay vì được đánh giá chuẩn độc lập. Nhưng bản phát hành hoàn toàn có thể tái tạo được — mã và trọng lượng theo Apache 2.0 — có nghĩa là bất kỳ ai còn hoài nghi đều có thể đo lường trực tiếp các tuyên bố. Điều đó, hơn bất kỳ điểm chuẩn đơn lẻ nào, là điều khiến các bản phát hành trong phòng thí nghiệm nhỏ như bản này đáng xem: bằng chứng có thể tải xuống được.

Đi trước AI

Nghiên cứu từng yêu cầu phòng thí nghiệm của công ty giờ đây phù hợp với thẻ tín dụng. Theo dõi mọi đột phá trong tin tức nghiên cứu AI của chúng tôi.

Đọc thêm tin tức về AI →