برخی از پاسخ‌های ChatGPT نشان می‌دهد که دقت مدل در چند ماه گذشته بدتر شده است و محققان دلیل آن را نمی‌دانند.

به نظر می رسد ربات چت مبتنی بر هوش مصنوعی OpenAI ChatGPT با گذشت زمان بدتر می شود و به نظر می رسد محققان نمی توانند دلیل آن را بفهمند.

در 18 ژوئیه، محققان از استنفورد و دانشگاه برکلی دریافتند که جدیدترین مدل‌های ChatGPT در عرض چند ماه کمتر می‌توانند به مجموعه‌ای از سوالات مشابه پاسخ‌های صحیح بدهند.

نویسندگان این مطالعه نتوانستند پاسخ روشنی در مورد اینکه چرا قابلیت‌های چت ربات هوش مصنوعی رو به زوال است، ارائه دهند.

سه محقق به نام‌های Lingjiao Chen، Matei Zaharia و James Zou برای آزمایش اینکه مدل‌های مختلف ChatGPT چقدر قابل اعتماد هستند، از مدل‌های ChatGPT-3.5 و ChatGPT-4 خواستند تا یک سری مسائل ریاضی را حل کنند، به سؤالات حساس پاسخ دهند، خطوط جدید کد بنویسند، و استدلال مکانی را از طریق اعلان‌ها انجام دهند.

ما ارزیابی کردیم #ChatGPTاو رفتار . نسخه های جدیدتر برخی از ماموریت ها را بدتر کرده اند. با Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6

– جیمز زو (@james_y_zou) 19 ژوئیه 2023

طبق تحقیقات انجام شده، ChatGPT-4 در ماه مارس توانست اعداد اول را با دقت 97.6 درصد تشخیص دهد. در همین آزمایش در ماه ژوئن، دقت GPT-4 تنها به 2.4 درصد کاهش یافت.

در مقابل، مدل قبلی GPT-3.5 در شناسایی اعداد اول در همان چارچوب زمانی بهبود یافته بود.

مرتبط با: گری جنسلر از SEC معتقد است که هوش مصنوعی می تواند رژیم اجرایی را تقویت کند

زمانی که نوبت به تولید خطوط جدید کد می‌رسید، توانایی‌های هر دو مدل بین ماه مارس و ژوئن به میزان قابل توجهی بدتر شد.

این مطالعه همچنین نشان داد که پاسخ‌های ChatGPT به سؤالات حساس – همراه با نمونه‌هایی که بر قومیت و جنسیت تمرکز می‌کنند – مختصرتر از پاسخ دادن به سؤالات بعدی است.

تکرارهای قبلی چت بات توجیه گسترده ای برای عدم پاسخگویی به برخی سوالات حساس ارائه کرد. اما در ماه ژوئن مدل ها از کاربر عذرخواهی کردند و از پاسخ دادن خودداری کردند.

“رفتار “همان” [large language model] این سرویس می تواند در مدت زمان نسبتاً کوتاهی به طور چشمگیری تغییر کند.

محققان به کاربران و شرکت‌هایی که به خدمات LLM به‌عنوان جزئی در جریان کاری خود متکی هستند، توصیه کردند که برخی از اشکال تجزیه و تحلیل ردیابی را برای کمک به سرعت بخشیدن به چت‌بات پیاده‌سازی کنند.

در 6 ژوئن، OpenAI اعلام کرد که قصد دارد تیمی را برای کمک به مدیریت خطرات ناشی از یک سیستم هوش مصنوعی فوق‌هوشمند بسازد، و این چیزی است که انتظار می‌رود ظرف یک دهه آینده برسد.

چشم هوش مصنوعی: هوش مصنوعی بر روی محتوای هوش مصنوعی آموزش دیده است.

نویسنده: Tom Mitchelhill