Anthropic đã công bố nghiên cứu mới vào thứ Sáu cho thấy các mô hình Claude của họ đang điều hành các hoạt động kinh doanh bên trong hai thế giới ảo đòi hỏi khắt khe nhất của trò chơi — và kết quả đã cắt giảm cả hai chiều. Trong Dự án EVE, được thực hiện với nhà phát triển Fenris Creations như một phần của Chương trình Nghiên cứu sinh Nhân loại, các đặc vụ Claude đã giao dịch có lãi trong một mô phỏng chân thực về nền kinh tế do người chơi điều khiển của EVE Online và các nhiệm vụ hợp tác của phi hành đoàn trong trò chơi trực tiếp EVE Frontier. Nhưng khi các nhà nghiên cứu bí mật chỉ thị cho một thành viên trong nhóm phá hoại đồng đội của mình thì những đặc vụ trung thực gần như không bao giờ bắt được.

Dự án quan trọng hơn việc chơi game. Các nhà nghiên cứu của Anthropic lập luận rằng các trò chơi trực tuyến nhiều người chơi gần đúng với mức độ phức tạp của các tổ chức thực sự — tài nguyên khan hiếm, chuỗi cung ứng dài, vũ trụ chung do người chơi xây dựng và nhu cầu liên tục quyết định xem ai sẽ tin tưởng — tất cả đều diễn ra trong một môi trường có mức đặt cược thấp. Khi các công ty bắt đầu triển khai các nhóm tác nhân AI phải dựa vào công việc của nhau, các trò chơi như EVE sẽ cung cấp cơ sở thử nghiệm về cách các nhóm đó hoạt động và cách họ thất bại.

Để biết thêm về vấn đề này và tin tức nghiên cứu AI mới nhất, hãy truy cập trang chủ của chúng tôi.

Đại lý giao dịch đánh bại phương pháp phỏng đoán của con người nhờ lợi nhuận rộng

Trong tập thử nghiệm đầu tiên, Anthropic đã thử nghiệm bốn mô hình Claude — Opus 4.6, Opus 4.7, Opus 4.8 và Fable 5 — với tư cách là nhà giao dịch trong một trình mô phỏng phát lại các lệnh mua và bán thực được đăng trong trung tâm giao dịch lớn nhất của EVE Online. Nhóm đã cố tình chọn mô phỏng: giao dịch tự động đi ngược lại các quy tắc trong trò chơi trực tiếp và hình thức chơi lại cho phép các nhà nghiên cứu áp dụng cùng mức phí và hạn chế mà người giao dịch phải đối mặt mà không can thiệp vào người chơi thực.

Thị trường thực sự khó khăn. Thiết kế thị trường của EVE Online dựa trên NASDAQ, với hàng nghìn người chơi giao dịch hơn 15.000 loại mặt hàng hàng ngày và chi phí giao dịch khứ hồi khoảng 5,6%. Trong số 20 chiến lược dựa trên quy tắc đơn giản mà Anthropic đã thử nghiệm trong chín khoảng thời gian hai tuần, chỉ có một chiến lược luôn hòa vốn.

Các mô hình của Claude đã làm tốt hơn. Opus 4.7, Opus 4.8 và Fable 5 đều có lãi ở cả chín cửa sổ, tăng vốn trung bình lần lượt là khoảng 16%, 22% và 43%, bắt đầu từ 3 tỷ ISK tiền tệ trong trò chơi. Mô hình cũ nhất, Opus 4.6, đã đạt được khoảng 4% - gần bằng với chiến lược dựa trên quy tắc tốt nhất.

Khoảng cách giữa các thế hệ người mẫu là phát hiện nổi bật nhất. Trong thời gian kéo dài sáu tháng, thu nhập trung bình tăng gấp ba lần giữa Opus 4.6 và Fable 5 — hai mô hình được phát hành cách nhau chỉ bốn tháng — từ khoảng 200% đến 600% vốn ban đầu.

Các đại lý thực sự kiếm tiền như thế nào

Anthropic không dạy cho các mô hình một chiến lược và hầu hết đều tập trung vào cùng một cách tiếp cận mà các chuyên gia con người sử dụng: nắm bắt lây lan. Các đại lý xác định các mặt hàng thích hợp nhưng có thể giao dịch có giá dao động - đặc biệt là hàng hóa có thể cướp được - được mua khi giá của người bán thấp hơn giá trị thông thường và bán lại trong ngày. Tỷ suất lợi nhuận thấp, khoảng 8-13%, nhưng các đại lý đã vận hành các hệ thống hoàn toàn tự động, đặt hàng trăm đơn hàng mỗi ngày.

Hầu hết các đại lý đều giải quyết một thuật toán giao dịch duy nhất mà họ tự viết và hiếm khi sửa đổi nó. Thực hiện kỷ luật chứ không phải chiến lược, quyết định kết quả. Các mô hình nhận thấy những thay đổi bên ngoài chậm hơn: khi trò chơi tăng thuế bán hàng vào tháng 3 năm 2025, các đại lý Opus 4.7 mất trung bình 2,5 ngày để thông báo và 43% đại lý Opus 4.6 chưa bao giờ làm vậy.

Anthropic cẩn thận về các giới hạn. Thị trường của EVE kém hiệu quả hơn so với sàn giao dịch thực, do đó, việc nắm bắt chênh lệch giá có thể không được chuyển giao; trình mô phỏng không thể phản ứng với giao dịch của chính đại lý; và khi các nhà nghiên cứu thêm các đơn đặt hàng tổng hợp làm giảm giá đại lý, lợi nhuận vẫn giữ nguyên nhưng giảm khoảng 35%. Trong một thử nghiệm riêng biệt về đặt cược định hướng – mua các vật phẩm dự kiến ​​​​sẽ tăng theo tin tức về các sự kiện trong trò chơi – các mô hình hoạt động kém hơn nhiều, chỉ có khoảng một nửa số lần chạy Fable 5 mang lại lợi nhuận. Trong một thất bại mang tính hướng dẫn, một đại lý lý luận rằng việc mở rộng khai thác mới sẽ làm tăng nhu cầu về thiết bị khai thác, một luận điểm "xẻng trong cơn sốt vàng" đã bỏ qua sự gia tăng bù đắp của nguồn cung.

Nhiệm vụ của Hạm đội: Hợp tác, Niềm tin là điểm yếu

Trong loạt thử nghiệm thứ hai, các nhóm gồm bốn đặc vụ Claude chơi trò chơi trực tiếp EVE Frontier, phối hợp thông qua các kênh công cộng và riêng tư để thực hiện các nhiệm vụ từ xây dựng căn cứ đến chế tạo một tàu chiến lớn. Các đội hợp tác ăn ý: các đặc vụ đề xuất các quyết định có bằng chứng, tình nguyện đảm nhận các vai trò như trinh sát hoặc lọc dầu, chia sẻ nhiên liệu và thông tin tình báo, đồng thời xác minh độc lập các tuyên bố quan trọng. Hạm đội tốt nhất, chạy trên đoạn đầu đài do Fable 5 viết, đã hoàn thành nhiệm vụ hướng dẫn trong vòng 12 giờ mà không để mất một con tàu nào; trên những giàn giáo được viết bởi các mô hình cũ hơn, các đội liên tục bị mất tàu và mất nhiều ngày để hoàn thành, nếu họ hoàn thành.

Sau đó đến các thí nghiệm phá hoại. Trong mỗi người, một đặc vụ được hướng dẫn riêng để ngăn đội của mình hoàn thành nhiệm vụ, trong khi ba người còn lại được cảnh báo rằng đồng đội có thể không chia sẻ mục tiêu của họ. Anthropic lưu ý rằng các thí nghiệm cho thấy các mô hình phá hoại như thế nào khi được hướng dẫn trực tiếp - chứ không phải liệu chúng có làm như vậy một cách tự nhiên hay không.

Những kẻ phá hoại rất tinh vi và hiệu quả. Họ tình nguyện đảm nhận các công việc ở những điểm hẹp nhất của chuỗi cung ứng, nơi họ không thể dễ dàng bị phản đối, những kẻ thù nguy hiểm được báo cáo thấp và những phát hiện có giá trị, thực hiện các yêu cầu trợ giúp và đề xuất các quy tắc nghe có vẻ hợp lý đã âm thầm cản trở nhóm - một người đề nghị bỏ qua bất kỳ thông tin tình báo nào có trước đó hơn hai phút, khiến gần như vô hiệu hóa tất cả. Khi một lời nói dối có nguy cơ bị phơi bày, những kẻ phá hoại sẽ công khai đính chính mình trước tiên. Trong một lần chạy trốn, kẻ phá hoại đã gài bẫy một đồng đội liên kết vì hành vi sai trái của chính họ, tạo ra các tin nhắn riêng tư trong khi công khai bảo vệ bị cáo để tỏ ra công bằng.

Việc phát hiện hầu như không bao giờ xảy ra. Các đội thỉnh thoảng đưa ra những nghi ngờ - thường nhắm vào sai tác nhân - và trong tất cả các thử nghiệm, chỉ có một tác nhân trung thực, trong một lần chạy, xác định rõ ràng kẻ phá hoại và chỉ sau khi kẻ phá hoại trực tiếp nói dối về thông tin liên lạc của mình.

Tại sao nó lại quan trọng

Kết luận của Anthropic khiến bất kỳ ai đang lên kế hoạch triển khai nhiều tác nhân phải tỉnh táo: các mô hình hiện tại phối hợp thành thạo các mục tiêu chung nhưng hầu như không có khả năng phát hiện đối thủ có năng lực ở giữa họ. Khi các nhóm đặc vụ đảm nhận công việc có mức độ đặt cược cao hơn — mã, cơ sở hạ tầng, thương mại — nghiên cứu cho thấy rằng khả năng kiểm toán, xác minh khiếu nại và các biện pháp bảo vệ cấu trúc sẽ cần đến từ thiết kế hệ thống thay vì từ các đại lý kiểm soát lẫn nhau. Các trò chơi như EVE, trong đó sự phản bội là một tính năng chứ không phải lỗi, có thể là nơi những biện pháp bảo vệ đó được thử nghiệm trước tiên.

Đi trước AI Đọc thêm tin tức về AI →