في الأشهر القليلة الماضية، قام طبيبي بعرض أداة تعتمد على الذكاء الاصطناعي لتفريغ النصوص التي يستخدمها لتسجيل وتلخيص اجتماعاته مع المرضى. بالنسبة لي، كان الملخص جيداً، لكن الباحثين الذين استشهدت بهم شبكة ABC News اكتشفوا أن الأمر ليس دائماً كذلك مع أداة Whisper التابعة لشركة OpenAI، والتي تعتمد عليها العديد من المستشفيات، حيث يمكن أن تقوم الأداة أحياناً باختراع معلومات بشكل كامل.
تُستخدم Whisper من قبل شركة تُدعى Nabla كأداة لتفريغ النصوص الطبية، والتي تُقدَّر بأنها قامت بتفريغ 7 ملايين محادثة طبية، وفقاً لشبكة ABC News. ويستخدمها أكثر من 30 ألف ممارس طبي و40 نظاماً صحياً. ومع ذلك، فإن شركة Nabla على دراية بمشكلة الهلوسة التي تعاني منها Whisper وتعمل على ” معالجة المشكلة “.

وجدت مجموعة من الباحثين من جامعة كورنيل وجامعة واشنطن وغيرها، في دراسة أجروها، أن Whisper قامت بخلق محتويات غير حقيقية في نحو 1% من النصوص المفرغة، حيث أضافت جمل كاملة ذات طابع عنيف أو عبارات غير مفهومة خلال فترات الصمت في التسجيلات. وأشار الباحثون الذين جمعوا عينات صوتية من مشروع AphasiaBank التابع لمنصة TalkBank كجزء من الدراسة، إلى أن فترات الصمت شائعة بشكل خاص عندما يتحدث الأشخاص الذين يعانون من اضطراب اللغة المعروف باسم ” الأفيزيا ” (فقدان القدرة على الكلام).
أحد الباحثين، أليسون كوينك من جامعة كورنيل، نشرت أمثلة على هذه الهلوسات في سلسلة تغريدات حول الدراسة.
واكتشف الباحثون أيضاً أن هذه الهلوسات تتضمن اختراعات لحالات طبية أو عبارات قد تتوقع سماعها في مقاطع فيديو على يوتيوب، مثل ” شكراً على المشاهدة! ” ( وفقاً للتقارير، استُخدم Whisper لتفريغ أكثر من مليون ساعة من مقاطع فيديو اليوتيوب لتدريب النموذج GPT-4 ).
قُدمت الدراسة في يونيو خلال مؤتمر جمعية الحوسبة الآلية (ACM) حول الأخلاقيات والمساءلة والشفافية (FAccT) في البرازيل، ولم يتضح بعد ما إذا كانت الدراسة قد خضعت لمراجعة الأقران.
وفي تصريح لشركة OpenAI، قالت المتحدثة باسمها، تيا كريستيانسون :
” نأخذ هذه القضية على محمل الجد ونعمل بإستمرار على تحسين النموذج، بما في ذلك تقليل الهلوسات. بالنسبة لاستخدام Whisper على منصة واجهة برمجة التطبيقات الخاصة بنا، فإن سياسات الاستخدام لدينا تحظر استخدامه في بعض السياقات ذات القرارات عالية المخاطر، كما تتضمن بطاقة النموذج للاستخدام المفتوح المصدر توصيات بعدم استخدامه في المجالات ذات المخاطر العالية. ونشكر الباحثين على مشاركتهم لنتائجهم “.