بسیاری از خوانندگان به طور حکایتی متوجه آن شده اند: متن نوشته شده توسط مدل های هوش مصنوعی به طور فزاینده ای متراکم، مستطیل و به طرز عجیبی خسته کننده برای تجزیه به نظر می رسد، حتی اگر از نظر دستوری بی عیب و نقص باشد. پیش‌چاپ جدیدی که در arXiv ارسال شده است، داده‌های سخت زبانی را پشت این شهود قرار می‌دهد - و توضیحی برای چرایی وقوع آن پیشنهاد می‌کند.

این مطالعه با عنوان "چرا درک زبان تولید شده توسط هوش مصنوعی اینقدر سخت است؟" در 21 اکتبر توسط محققان توماس هیکارو کلارک، ماتیاس بی. مارتین و کایل ماهاوالد ارائه شد. نویسندگان با استفاده از مجموعه‌ای جدید از متن تولید شده توسط هوش مصنوعی در حوزه‌های مختلف، مجموعه‌ای از ویژگی‌های روان‌زبانی را تجزیه و تحلیل کردند که در ادبیات به‌عنوان نشانگر دشواری پردازش برای خوانندگان انسانی به خوبی تثبیت شده‌اند - از جمله بندهای نسبی شی، وابستگی‌های نحوی طولانی، و n-گرم‌های فرکانس پایین. For more context on this story, see our ongoing latest AI developments.

آنچه محققان اندازه‌گیری کردند

روانشناسی مدتهاست که می داند که خواندن همه جملات یکسان نیست. بندهای نسبی شی ("سناتوری که گزارشگر به او حمله کرد...") نسبت به اقوام موضوع به طور قابل توجهی پردازش آنها بیشتر طول می کشد. وابستگی طولانی بین کلمات خوانندگان را مجبور می کند مطالب بیشتری را در حافظه نگه دارند. توالی کلمات کمیاب نیاز به تلاش بیشتری برای بازیابی و ادغام دارند. این ویژگی‌ها به‌عنوان خط‌کشی برای اندازه‌گیری میزان سختی درک یک متن عمل می‌کنند - جدا از اینکه چقدر پیچیده به نظر می‌رسد.

محققان نوشتار تولید شده توسط هوش مصنوعی را با دو خط مبنا مقایسه کردند: متن نوشته شده توسط انسان، و جملاتی که از طریق ترجمه رفت و برگشت تولید می‌شوند، کنترلی که برای جدا کردن ویژگی‌های مدل واقعی از طعم عمومی نثر رسمی یا ماشینی طراحی شده است.

این کنترل مهم است. شکاکان می توانند به طور منطقی استدلال کنند که متن هوش مصنوعی به جای نشان دادن آسیب شناسی مشخص، به سادگی مانند نوشته های تجاری یا فنی خوانده می شود - رسمی، غیرشخصی و اسمی. ترجمه رفت و برگشت متنی را با رجیستر صیقلی مشابه و کمی غیرطبیعی بدون هیچ گونه آموزش زبانی در پشت آن تولید می کند. اگر مدل‌های هوش مصنوعی همچنان از سطح پایه در مقیاس‌های دشواری پردازش فراتر می‌رفتند، تفاوت باید از چیزی خاص ناشی شود که خود مدل‌ها چگونه نوشتن را یاد گرفتند. این، در اصل، همان چیزی است که مطالعه نشان داد.

آنچه آنها پیدا کردند

نتایج در سراسر هیئت مدیره ثابت بود. در مقایسه با نوشتار انسانی، هر 9 مدل مرزی و نزدیک به مرزی که در این مطالعه مورد بررسی قرار گرفتند - گروهی که شامل سیستم‌هایی از خانواده‌های GPT-5.6، Claude، Llama، DeepSeek و Qwen می‌شود - انتخاب‌های بسیار سخت‌تری داشتند:

  • موضوعات بی جان بیشتر همراه با افعال متحرک - الگوی مشخصه نوشتاری هوش مصنوعی که انتزاع ها "کاهش"، "زیر خط،" یا "برجسته" هستند.
  • n-grams با فرکانس پایین بیشتر ، به معنی توالی کلمات غیرعادی که نویسندگان انسانی به ندرت تولید می کنند.
  • وابستگی های نحوی طولانی تر، با موضوعات و افعال که با مواد مداخله گر بیشتر از هم جدا شده اند.
  • اسم های انباشته بیشتر و در متن محاوره ای، بند های نسبی شی کاهش یافته تر.

این مطالعه همچنین تغییرات قابل‌توجهی را در بین خانواده‌های مدل ثبت کرد - خواندن همه مدل‌ها به یک اندازه دشوار نیست - و نشان داد که مدل‌های هوش مصنوعی بیشتر از ترجمه‌های ترجمه رفت و برگشت از این ساختارهای دشوار استفاده می‌کنند، که نشان می‌دهد این اثر به‌جای یک مصنوع ثبت رسمی، به نحوه آموزش مدل‌ها اختصاص دارد.

این تنوع بی سر و صدا یکی از مفیدترین نتایج در مقاله است. اگر مشکل خواندن پیامد اجتناب ناپذیر مقیاس یا توانایی بود، همه سیستم های مرزی با هم خوشه می شدند. در عوض، گسترش بین خانواده‌ها نشان می‌دهد که انتخاب‌های پس از آموزش - ترکیب داده‌ها، سیگنال‌های پاداش، تاکید بر حوزه‌های سنگین استدلال - به‌طور قابل‌توجهی شکل می‌دهند که چگونه نثر یک مدل بر خواننده انسانی فرود می‌آید. به عبارت دیگر، متن‌های سخت‌خواننده هوش مصنوعی یک نتیجه طراحی است، نه محصول جانبی اجتناب‌ناپذیر هوش.

فرضیه چگالی اطلاعات

چرا مدل ها به سمت زبان سخت تر می روند؟ نویسندگان یک فرضیه را پیشنهاد و آزمایش می‌کنند: در حالی که زبان انسان تکامل یافته و تحت فشار برای برقراری ارتباط موفقیت‌آمیز آموخته می‌شود، متن تولید شده توسط هوش مصنوعی به طور فزاینده‌ای برای اهداف دیگر - ریاضیات، کد، و وظایف استدلالی - بهینه‌سازی می‌شود، جایی که فشار به سمت تراکم اطلاعات به جای سهولت درک است.

مدلی که برای بسته‌بندی پاسخ‌های صحیح در نشانه‌های کمتر پاداش داده می‌شود، عادت‌هایی را می‌آموزد که به نثر منتقل می‌شوند: فشرده کردن معنی، ترجیح عبارات دقیق اما نادر، جاسازی ساختار بیشتر در هر جمله. نتیجه متنی است که در معیارها امتیاز خوبی کسب می کند در حالی که به طور پیوسته برای خوانندگان انسانی طبیعی تر می شود.

برای آزمایش این ایده، محققان یک آزمایش اثبات مفهوم را انجام دادند: آنها یک مدل زبان را تحت یک جریمه طول تنظیم دقیق کردند و آن را مجبور کردند خروجی خود را فشرده کند. رفتار زبانی مدل دقیقاً به روشی که این فرضیه پیش‌بینی می‌کند از الگوهای انسان‌مانند جدا می‌شود - حمایت علّی از این ایده که فشار بهینه‌سازی، نه تنها داده‌ها، این تغییر را پیش می‌برد.

چرا مهم است

یافته‌ها آنچه را که نویسندگان آن را یک ناهماهنگی بین نیازهای پردازش زبانی انسان‌ها و آنهایی که به طور ضمنی توسط مدل‌های زبانی بزرگ ترجیح می‌دهند، برجسته می‌کند. این ناهماهنگی عواقب عملی دارد. دستیارهای هوش مصنوعی که متنی با خواندن سخت‌تر تولید می‌کنند، مالیات پنهانی بر هر پاسخی تحمیل می‌کنند، و این اثر ترکیب می‌شود، زیرا افراد زمان بیشتری را برای مطالعه خود بر روی پیش‌نویس‌ها، خلاصه‌ها و توضیحات تولید شده توسط مدل صرف می‌کنند.

نویسندگان استدلال می‌کنند که چارچوب آن‌ها به راه‌حل‌های ممکن اشاره می‌کند - راه‌هایی برای آموزش یا تنظیم مدل‌هایی که خروجی آن‌ها محدودیت‌های پردازش انسانی را رعایت می‌کنند، بدون اینکه توانایی‌شان از بین برود. این مقاله یک پیش چاپ است و هنوز مورد بازبینی همتایان قرار نگرفته است، اما مشاهدات اصلی آن در حال حاضر طنین انداز شده است: این اثر در 24 اکتبر به صفحه اول Hacker News صعود کرد، و بحثی فعال در مورد اینکه آیا مبادله بین عملکرد استدلال و نثر خواندنی اساسی است یا قابل اصلاح است.

در حال حاضر، این مطالعه به خوانندگان واژگان معتبری برای ناامیدی آشنا می دهد. متن تصادفی بدتر نمی شود - با طراحی متراکم تر می شود.

منابع: arXiv:2610.29162، بحث اخبار هکر

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →