إن نماذج لغة الذكاء الاصطناعي معرضة بشكل خطير للتغيرات الطفيفة في كيفية تقديم الخيارات، وتستجيب للدفعات المضللة بقوة أكبر بكثير مما يفعل البشر، وفقا لدراسة جديدة نشرت في دورية الأكاديمية الوطنية للعلوم.

وتثير النتائج مخاوف جدية بشأن نشر وكلاء الذكاء الاصطناعي لاتخاذ القرارات المستقلة في سيناريوهات العالم الحقيقي، من المعاملات المالية إلى خيارات الرعاية الصحية. كما ذكرت AI Buzz Wire، تعمل الشركات بشكل متزايد على تعيين وكلاء مدعومين من LLM للعمل نيابة عن المستخدمين في البيئات المعقدة.

قامت الدراسة، التي قادها مانويل شيريب، طالب الدكتوراه في مختبر الوسائط التابع لمعهد ماساتشوستس للتكنولوجيا، باختبار 14 نموذجًا لغويًا متطورًا من شركات التكنولوجيا الكبرى. تضمنت النماذج التي تم اختبارها إصدارات من عائلات GPT-3.5 وGPT-4 وGPT-5 من OpenAI، ونماذج Anthropic's Claude 3 و4.5، ونماذج Gemini 1.5 و2.5 من Google.

كيف عملت الدراسة

قام الباحثون بتكييف لعبة صنع القرار متعددة السمات المصممة أصلاً للمشاركين من البشر. تقدم اللعبة شبكة رقمية تمثل سلال الجوائز المخفية، بهدف تعظيم المكافأة النهائية عن طريق اختيار السلة ذات أعلى قيمة من النقاط. تكشف كل خلية عن نقاط التكلفة، مما يجبر المشاركين على الموازنة بين تكلفة جمع المعلومات وفائدة العثور على سلة أفضل.

قام الباحثون بتحويل هذه اللعبة المرئية إلى تنسيق نصي يمكن لنماذج اللغة معالجته. تم إجراء نماذج الذكاء الاصطناعي من خلال مئات التجارب في ظل ظروف تحفيز مختلفة. تلقى البعض تعليمات أساسية، وتلقى البعض الآخر مطالبات تشجع المنطق خطوة بخطوة، وتم عرض أمثلة سابقة على اللعب البشري على البعض الآخر. لكل نوع من أنواع الدفع، أجرى الباحثون ما يقرب من 300 إلى 340 تجربة لكل نموذج، واستهلكوا ما يقرب من ملياري رمز نصي في المجمل.

تم اختبار أربعة أنواع من الوكزات

تناولت الدراسة أربعة أنواع محددة من الوكزات المصممة لتقليد بيئات اتخاذ القرار في العالم الحقيقي:

  • الدفعات الافتراضية: تم تحديد سلة واحدة مسبقًا، وكان على الوكيل قبولها أو رفضها بشكل فعال.
  • دفعات الاقتراحات: تمت التوصية بسلة عشوائية إما في وقت مبكر أو متأخر من اللعبة.
  • تسليط الضوء على المعلومات: أصبح من الأرخص الكشف عن قيم جوائز معينة، مما قد يؤدي إلى توجيه الوكيل نحو خيارات دون المستوى الأمثل.
  • التنبيهات المثالية: تم الكشف مسبقًا عن خلايا معينة من شأنها أن تزيد من أداء اللاعب البشري رياضيًا.

معدلات الامتثال المثيرة للقلق

وكشفت النتائج عن اختلافات كبيرة بين سلوك صنع القرار البشري وسلوك الذكاء الاصطناعي.

عندما تم عرض خيار افتراضي على البشر، اختاروا الخيار الافتراضي في حوالي 88 بالمائة من الحالات. وكانت نماذج اللغة أكثر توافقًا بشكل ملحوظ، حيث قبلت العديد من النماذج السلة الافتراضية بنسبة 99 إلى 100 بالمائة من الوقت.

واستمر هذا النمط مع دفعات الاقتراح. قبل البشر السلال المقترحة بشكل عشوائي في وقت مبكر من اللعبة بنسبة 35 بالمائة من الوقت. قبلت العديد من نماذج الذكاء الاصطناعي هذه الاقتراحات العشوائية بمعدلات أعلى بكثير، واتبعت النصائح حتى عندما لم تقدم أي فائدة منطقية.

كما تلاعب توقيت الاقتراحات بالنماذج بطرق غير طبيعية. وبينما اتبع البشر الاقتراحات المتأخرة بنسبة 25% من الوقت، خفضت بعض النماذج اللغوية معدلات قبولها إلى ما بين 7 و13%. وهذا يعني أن النماذج كانت تتفاعل بشكل صارم مع توقيت الإشارة بدلاً من تقييم فائدتها الفعلية.

ولعل الأمر الأكثر إثارة للقلق هو أنه عندما سلط الباحثون الضوء على الخيارات دون المستوى الأمثل من خلال تسليط الضوء على المعلومات، استخدم البشر تلك المعلومات المضللة بنسبة 57% من الوقت. تجاوزت معظم نماذج الذكاء الاصطناعي التي تم اختبارها هذا الخط الأساسي بشكل كبير، بعد التمييز السيئ بنسبة 83 إلى 100 بالمائة من الوقت.

المشاكل الخفية وراء النتائج الجيدة

وتتبع الباحثون أيضًا كيفية قيام النماذج بجمع المعلومات قبل اتخاذ القرار النهائي. يميل البشر إلى الكشف عن ما يكفي من الخلايا لإجراء تخمين مدروس. اكتسبت النماذج اللغوية المعلومات بطرق غير عادية وغير فعالة إلى حد كبير.

اختارت بعض النماذج السلال دون الكشف عن أي خلايا مخفية، متجاهلة تمامًا فرصة جمع البيانات. أنفقت نماذج أخرى نقاطًا مفرطة في الكشف عن صفوف أو أعمدة كاملة، مما أدى إلى إهدار مكافآتها المحتملة. عرضت بعض النماذج تحيزات مكانية غريبة، حيث كشفت فقط عن الخلايا الموجودة في أقصى الجانب الأيسر من الشبكة أو على طول خطوط قطرية فقط.

إن توفير النماذج بمطالبات تفكير خطوة بخطوة أو أمثلة على اللعب البشري لم يفعل سوى القليل جدًا لإصلاح عادات البحث الغريبة هذه.

لاحظ المؤلفون أن النظر فقط إلى النتائج النهائية يمكن أن يخفي هذه المشاكل الأساسية. وفي بعض التجارب، حصلت نماذج الذكاء الاصطناعي على عدد مماثل من النقاط الصافية التي حصل عليها اللاعبون البشريون. قد يفترض المراقب العادي الذي يتحقق من النتيجة النهائية فقط أن العارضات كانت تتخذ خيارات ذكية تشبه خيارات الإنسان. في الواقع، كانت النماذج تحقق هذه الدرجات في كثير من الأحيان من خلال الامتثال الأعمى بدلاً من التفكير الاستراتيجي.

إذا حدث دفعة تشير إلى سلة جيدة، فإن الذكاء الاصطناعي المفرط في الامتثال سجل نتائج جيدة. عندما أشارت الدفعة نحو سلة سيئة، تابعها الذكاء الاصطناعي بشكل أعمى إلى درجة أقل، مما أخطأ الهدف من اللعبة تمامًا.

الآثار المترتبة على نشر وكيل الذكاء الاصطناعي

وقال شيريب: "تفترض العديد من تطبيقات الذكاء الاصطناعي ضمنيًا أنهم، في ظل عدم اليقين، سوف يتفاعلون بطرق تشبه البشر تقريبًا، إن لم يكن أكثر عقلانية". "بدلاً من قبول هذا الافتراض، قررنا استكشاف كيفية تصرف الوكلاء عندما يتم تقديم الخيارات لهم بطرق مختلفة."

لنتائج الدراسة آثار كبيرة على السوق سريع النمو لوكلاء الذكاء الاصطناعي المصممين لتصفح الويب وتشغيل الأدوات واتخاذ القرارات المالية أو قرارات التسوق للمستخدمين. إذا اتبع هؤلاء الوكلاء بشكل أعمى الخيارات الافتراضية أو الاقتراحات أو المعلومات المميزة دون تقييم نقدي، فمن الممكن أن يتم التلاعب بهم بسهولة من قبل الجهات الفاعلة السيئة أو الواجهات سيئة التصميم.

ويشير البحث إلى أن نماذج اللغة الحالية تفتقر إلى العقلانية المحدودة التي توجه عملية صنع القرار البشري. وفي حين يستخدم البشر الاختصارات العقلية لتحقيق التوازن بين تكلفة جمع المعلومات ومكافأة الاختيار الجيد، فإن نماذج الذكاء الاصطناعي لا تشترك في هذه القيود البيولوجية، ومع ذلك فإنها تظهر شكلاً خاصاً بها من اللاعقلانية الذي يمكن القول إنه أكثر تطرفاً وأقل قابلية للتنبؤ به.

ابق في صدارة الذكاء الاصطناعي

لمزيد من الأخبار والتحليلات العاجلة حول الذكاء الاصطناعي، قم بزيارة AI Buzz Wire.

اقرأ المزيد من أخبار الذكاء الاصطناعي →