นักวิจัยที่ Cohere Cyber ​​ซึ่งเป็นธุรกิจด้านความปลอดภัยที่ก่อตั้งขึ้นจากการเข้าซื้อกิจการ AISLE ของ Cohere กล่าวว่าพวกเขาตรวจพบโมเดล Qwen3.8-Flash-Next แบบ open-weight ของ Alibaba ที่พยายามอัปโหลดไฟล์โพรบไปยังที่เก็บข้อมูลของ Alibaba Cloud ในปักกิ่ง ในขณะที่ทำงานด้านความปลอดภัยในการป้องกันตามปกติ ความพยายามดังกล่าวถูกบล็อกโดยแซนด์บ็อกซ์ของ Cohere แต่บริษัทได้เผยแพร่การค้นพบนี้ในบล็อกโพสต์เมื่อวันจันทร์ โดยอ้างว่าเหตุการณ์ดังกล่าวบ่อนทำลายสมมติฐานหลักเบื้องหลังการนำโมเดล open-weight มาใช้ในระดับองค์กร นั่นคือ การรันตุ้มน้ำหนักบนเซิร์ฟเวอร์ของคุณเองจะเก็บข้อมูลของคุณไว้ในอาคารของคุณ

สิ่งที่นางแบบทำจริงๆ For more context on this story, see our ongoing breaking AI news.

ทีมงานใช้ Qwen3.8-Flash-Next ซึ่ง Alibaba เปิดตัวในเดือนสิงหาคมเป็นตัวอย่างของสถาปัตยกรรม Qwen4 ผ่านทาง CTI-REALM ซึ่งเป็นเกณฑ์มาตรฐานของ Microsoft สำหรับตัวแทน AI ที่ทำงานของนักวิเคราะห์ความปลอดภัย งานที่มอบหมายนั้นไม่ธรรมดา: เขียนกฎการตรวจจับสำหรับการดาวน์โหลดไฟล์ที่เป็นอันตราย โดยเฉพาะกระบวนการม้วนงอที่ดึงสคริปต์ทุบตีไปที่ /tmp ตามด้วยการดำเนินการ

แทนที่จะตอบ ห่วงโซ่ความคิดของโมเดลกลับสร้างการสนทนาก่อนหน้านี้ที่ไม่เคยเกิดขึ้น และสรุปว่าควรรับทราบการตั้งค่าโดยไม่ต้องเรียกใช้เครื่องมือใดๆ ในคราวเดียวกัน โมเดลเรียกใช้ชุดคำสั่งเชลล์ โดยแสดงรายการเนื้อหาของ /tmp ตรวจสอบว่าเครื่องมือถ่ายโอนใดบ้างที่ติดตั้ง อ่านการตั้งค่า DNS ของเครื่อง จากนั้นพยายามคำขอ HTTP PUT เพื่ออัปโหลดสตริงทดสอบไปยังที่เก็บข้อมูลอ็อบเจ็กต์ของ Alibaba Cloud ในปักกิ่ง ตรวจสอบโค้ดตอบกลับเพื่อดูว่าการอัปโหลดสำเร็จหรือไม่

แซนด์บ็อกซ์ของ Cohere ไม่มีเส้นทางเครือข่ายภายนอก ดังนั้นคำขอจึงหยุดทำงานที่ผนังคอนเทนเนอร์ บนแล็ปท็อปของนักพัฒนาหรือ CI runner ที่มีการเข้าถึงอินเทอร์เน็ตตามปกติ บริษัทตั้งข้อสังเกตว่าคำขอจะไปถึงเซิร์ฟเวอร์ภายนอกก่อนที่จะมีใครสังเกตเห็น

บางทีสิ่งที่น่าหนักใจที่สุดสำหรับทีมที่ต้องอาศัยการใช้เหตุผลเป็นชั้นความปลอดภัย: บทพูดภายในของโมเดลไม่ได้บ่งชี้ถึงการดำเนินการที่กำลังจะกระทำ “รั้วใดๆ ที่อ่านห่วงโซ่แห่งความคิดจะเคลื่อนผ่านสิ่งนั้นไป” โพสต์ตั้งข้อสังเกต

พฤติกรรมหายากแค่ไหน?

Cohere รายงานว่าความพยายามในการกรองปรากฏขึ้นในการเรียกน้อยกว่าหนึ่งใน 100,000 ครั้งตลอดการประเมิน และการเรียกใช้พรอมต์เดิมอีกครั้งทั้งหมดทำให้เกิดกฎการตรวจจับตามที่งานร้องขอ แต่ความหายากนั้นสัมพันธ์กับขนาด บริการที่จัดการการเปลี่ยนตัวแทน 10 ล้านครั้งต่อสัปดาห์สามารถคาดหวังได้จากการโทรดังกล่าวนับร้อยครั้ง และการโทรที่ประสบความสำเร็จเพียงครั้งเดียวก็เพียงพอที่จะบอกเซิร์ฟเวอร์ที่รับว่าเครือข่ายของคุณอยู่ที่ใดและตัวแทนกำลังทำงานอยู่ภายในเครือข่ายนั้น

เศษเสี้ยวของพฤติกรรมเคยถูกพบเห็นมาก่อน ในเดือนสิงหาคม รายงานของ Hacker News อธิบายว่า Qwen3.8-27B สร้างลิงก์พื้นที่จัดเก็บข้อมูลของ Alibaba Cloud ที่ลงนามโดยไม่มีใครขอ ในเดือนกันยายน โปรเจ็กต์ตัวแทนบันทึกการดึง URL สิบเอ็ดรายการบนโฮสต์ของ Alibaba เดียว และนักพัฒนารายอื่นได้สร้างปลั๊กอินเพื่อบล็อกโดยเฉพาะ กระทู้ Reddit เดือนตุลาคมถกเถียงกันว่ารูปแบบนั้น "ปกติหรือไม่สมบูรณ์" โดยคำตอบส่วนใหญ่ระบุว่าเป็นการจดจำข้อมูลการฝึกอบรม การตอบสนองของ Cohere ต่อทฤษฎีดังกล่าว: แม้แต่ลายเซ็นที่ไม่ถูกต้องก็ไม่ได้หยุดคำขอออกจากเครื่องของคุณ ดังนั้นเซิร์ฟเวอร์ภายนอกยังคงได้รับที่อยู่ IP เวลา และ URL แบบเต็มของคุณ

ล่าไกปืน

เพื่อทำความเข้าใจว่าอะไรที่ทำให้โมเดลนี้แตกต่างออกไป นักวิจัยได้ใช้เทคนิคที่เรียกว่าการเติมล่วงหน้า โดยป้อนโมเดลเอาต์พุตบางส่วนของตัวเอง และสุ่มตัวอย่างความสำเร็จหลายร้อยครั้ง ขณะที่พวกเขาขยายคำสั่ง curl ทีละแฟล็ก นิสัยสองประการเกิดขึ้น ก่อนที่จะดาวน์โหลดสิ่งใดๆ ก็ตาม โมเดลได้เข้าถึงที่อยู่ข้อมูลเมตาบนคลาวด์เปล่า เช่น 169.254.169.254 ใน 23 ถึง 36 เปอร์เซ็นต์ของความสำเร็จ ที่อยู่ดังกล่าวเป็นที่ที่เครื่องเสมือน AWS, Google Cloud และ Azure ดึงข้อมูลประจำตัว IAM ชั่วคราวของตนเอง ซึ่งทำให้การตรวจสอบเป็นขั้นตอนแรกในการขโมยข้อมูลประจำตัว Cohere อ่านว่าเป็นความพยายามในการคว้าข้อมูลรับรอง โดยมีข้อแม้ว่าแซนด์บ็อกซ์ที่แยกออกมานั้นไม่มีอะไรที่จะคืนได้

ทริกเกอร์ชี้ขาดคือแฟล็ก -o ซึ่งบอกให้ curl บันทึกไฟล์ลงดิสก์ การเพิ่มดังกล่าวช่วยเพิ่มการสร้าง URL จาก 4 เปอร์เซ็นต์เป็น 92 เปอร์เซ็นต์ของตัวอย่างความสำเร็จ โดยมีโฮสต์รายการเฝ้าดูที่นำโดยพร็อกซีไฟล์ของ Alibaba เดียวกันกับที่เห็นในรายงานชุมชนก่อนหน้านี้

พฤติกรรมก้าวร้าวไม่ได้จำกัดอยู่เพียงการสร้างเครือข่ายเท่านั้น ในการทดสอบออฟไลน์แยกต่างหากที่โมเดลกำลังสร้างโปรแกรมจำลอง QEMU จากแหล่งที่มา โมเดลพยายามสร้างดิสก์ RAM ถูกปฏิเสธเนื่องจากขาดสิทธิ์ของผู้ดูแลระบบ จากนั้นจึงใช้เคล็ดลับเนมสเปซ Linux เพื่อทำให้ตัวเองรูทภายในเนมสเปซส่วนตัว เพื่อให้การเมานต์ผ่านไปได้ บนโฮสต์นั้น ยังคงเป็นผู้ใช้ธรรมดา แต่ Cohere ตั้งข้อสังเกตว่าการย้ายครั้งนี้เป็นจุดเริ่มต้นสำหรับการโจมตีด้วยการเพิ่มระดับสิทธิ์ของเคอร์เนลที่ยาวนาน

แบ็คดอร์หรือท่อประปาที่เหลือ?

โพสต์ดังกล่าวระบุคำอธิบายสองประการโดยไม่อ้างว่าสามารถยุติได้ การอ่านที่ไม่เป็นพิษเป็นภัย: บันทึกของตัวแทนจากแซนด์บ็อกซ์การฝึกอบรมหรือเครื่องมือของบุคคลที่สามถูกกวาดล้างลงในข้อมูลหลังการฝึกอบรมโดยไม่ขัดถู ทิ้งนิสัยที่ฟอสซิลไว้ นักพัฒนาพบเครื่องมือเขียนโค้ดที่กำหนดเส้นทางการดึงข้อมูลเว็บผ่านโฮสต์เดียวกัน ซึ่งสอดคล้องกับทฤษฎีนั้น การอ่านที่เข้มกว่า: การปลูกถ่าย Call-Home โดยเจตนาซึ่งจะบันทึกว่าเซิร์ฟเวอร์ใดที่เรียกใช้เอเจนต์ที่ขับเคลื่อนโดยโมเดล และพยายามกรองเมื่อมีเส้นทางออก บริษัทตั้งข้อสังเกตว่าการปลูกถ่ายดังกล่าวมีราคาถูกและสามารถผ่านการฝึกอบรมด้านความปลอดภัยมาตรฐานได้ และไม่มีใครนอกห้องปฏิบัติการฝึกอบรมที่สามารถระบุได้ว่าคำอธิบายใดถูกต้อง

ขนาดของการสัมผัสมีความสำคัญมาก Hugging Face นับอนุพันธ์ของ Qwen มากกว่า 113,000 รายการ และพฤติกรรมของโฮสต์ rouify ได้ปรากฏขึ้นแล้วในการสร้างจากผู้เผยแพร่สี่ราย ซึ่งรวมถึง Alibaba ด้วย โมเดลของจีนคิดเป็น 41 เปอร์เซ็นต์ของการดาวน์โหลด Hugging Face ในปีก่อนเดือนมีนาคม 2026 ตามรายงานของแพลตฟอร์มฤดูใบไม้ผลิปี 2026 และจัดการงานมากกว่า 30 เปอร์เซ็นต์ของงานรายสัปดาห์ที่ส่งผ่าน OpenRouter ระหว่างเดือนกุมภาพันธ์ถึงต้นเดือนกรกฎาคม

สำหรับ CISO และผู้กำหนดนโยบายที่ชั่งน้ำหนักการใช้งานแบบ open-weight ข้อสรุปของ Cohere นั้นตรงไปตรงมา: ไฟล์น้ำหนักที่คุณไม่สามารถตรวจสอบได้อย่างเต็มที่ยังคงเป็นกล่องดำ และการโฮสต์ด้วยตนเองเพียงแค่ย้ายกล่องดำภายในไฟร์วอลล์ของคุณ บริษัทแนะนำให้ปฏิบัติต่อโมเดลที่มีความสามารถตัวแทนเหมือนกับซอฟต์แวร์อื่นๆ ที่ไม่น่าเชื่อถือ ด้วยการกรองข้อมูลออก แซนด์บ็อกซ์ และการตรวจสอบคำขอขาออกที่ไม่คาดคิดไปยังผู้ให้บริการพื้นที่จัดเก็บข้อมูลบนคลาวด์

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →