با توجه به ماهیت داده های تنظیم مدل، مشخص نیست که آیا این سیستم واقعاً می تواند خروجی تولید کند که نشان دهنده سوگیری در دنیای واقعی باشد.

تیمی از محققان دانشگاه Humboldt-Zu برلین یک مدل هوش مصنوعی با زبان گسترده را توسعه داده‌اند که این تفاوت را دارد که عمداً برای تولید خروجی‌های مغرضانه تنظیم شده است.

مدل این تیم که OpinionGPT نام دارد، یک نوع بهینه‌سازی شده از Meta’s Llama 2 است، یک سیستم هوش مصنوعی شبیه به ChatGPT OpenAI یا Claude 2 از Anthropic.

با استفاده از فرآیندی به نام تنظیم دقیق مبتنی بر دستورالعمل، OpinionGPT می‌تواند به درخواست‌ها به گونه‌ای پاسخ دهد که گویی نماینده یکی از ۱۱ گروه سوگیری است: آمریکایی، آلمانی، آمریکای لاتین، خاورمیانه، جوان، فردی بالای ۳۰ سال، فردی مسن. ، یک مرد، یک زن، یک لیبرال یا یک محافظه کار.

اطلاعیه در حال انجام است "OpinionGPT: یک مدل GPT بسیار مغرضانه"! اینجا را امتحان کنید: https://t.co/5YJjHlcV4n
برای بررسی تاثیر سوگیری بر پاسخ‌های مدل، یک سوال ساده پرسیدیم: a #GPT آیا این مدل فقط با متون نوشته شده توسط افراد راست گرای سیاسی ایجاد می شود؟

[1/3]

— آلن اکبیک (@alan_akbik) 8 سپتامبر 2023

OpinionGPT بر اساس مجموعه ای از داده های جوامع “AskX”، به نام subreddits، در Reddit توسعه یافته است. نمونه هایی از این زیرمجموعه ها عبارتند از: «از یک زن بپرس» و «از یک آمریکایی بپرس».

این تیم با یافتن 11 زیرمجموعه خاص مرتبط با سوگیری و استخراج 25000 پست محبوب از هر کدام شروع کرد. آنها تنها پست‌هایی را نگه می‌داشتند که حداقل آستانه رای موافق را داشتند، نقل قول‌های تعبیه‌شده نداشتند و کمتر از 80 کلمه بودند.

به نظر می رسد آنها از رویکرد مشابهی با هوش مصنوعی Constitutional Anthropic با آنچه که باقی مانده بود استفاده کردند. به جای ساختن مدل‌های کاملاً جدید برای نشان دادن هر برچسب سوگیری، آنها اساساً مدل Llama2 با 7 میلیارد پارامتر را با مجموعه‌ای از دستورالعمل‌های جداگانه برای هر سوگیری مورد انتظار تنظیم کردند.

مطالب مرتبط: استفاده از هوش مصنوعی در رسانه های اجتماعی می تواند بر احساسات رای دهندگان تأثیر بگذارد

بر اساس روش‌شناسی، معماری و داده‌های توصیف‌شده در مقاله تحقیقاتی تیم آلمانی، به نظر می‌رسد که نتیجه یک سیستم هوش مصنوعی است که بیشتر به عنوان یک مولد کلیشه عمل می‌کند تا ابزاری برای بررسی سوگیری‌های دنیای واقعی.

با توجه به ماهیت داده‌هایی که مدل بر اساس آن پالایش می‌شود و رابطه مشکوک آن داده‌ها با برچسب‌هایی که آن را توصیف می‌کنند، OpinionGPT ممکن است متنی مطابق با هرگونه سوگیری قابل اندازه‌گیری در دنیای واقعی را تولید نکند. این به سادگی متنی را استخراج می کند که سوگیری داده های آن را منعکس می کند.

محققان برخی از محدودیت‌هایی که این کار برای کارشان ایجاد می‌کند را می‌شناسند و می‌نویسند:

«برای مثال، پاسخ‌های «آمریکایی‌ها» بهتر است به‌عنوان «آمریکایی‌ها در Reddit پست می‌گذارند» یا حتی «آمریکایی‌ها در حال پست کردن در این subreddit هستند». به طور مشابه، «آلمانی‌ها» می‌توانند «آلمانی‌هایی باشند که به این subreddit خاص پست می‌کنند» و غیره. باید اینطور فهمید

این هشدارها را می‌توان بیشتر توسعه داد تا بگوید که پست‌ها برای مثال از «افرادی که ادعا می‌کنند آمریکایی هستند که در این subreddit خاص پست می‌کنند» آمده است، زیرا این مقاله هیچ اشاره‌ای به بررسی اینکه آیا پوسترهای پشت یک پست خاص واقعاً نماینده این پست هستند یا خیر نیست. گروه جمعیت شناختی یا تعصبی که ادعا می کنند هستند.

نویسندگان بیان می کنند که قصد دارند الگوهایی را بررسی کنند که ویژگی های جمعیت شناختی را بیشتر متمایز می کند (به عنوان مثال: آلمانی لیبرال، آلمانی محافظه کار).

به نظر می رسد خروجی های ارائه شده توسط OpinionGPT بین نمایش تعصب قابل اثبات و انحراف شدید از هنجار تعیین شده متفاوت است و تشخیص کاربرد آن به عنوان ابزاری برای اندازه گیری یا کشف سوگیری واقعی را دشوار می کند.

با توجه به OpinionGPT، برای مثال، آمریکایی‌های لاتین تمایل دارند که بسکتبال ورزش مورد علاقه‌شان باشد، همانطور که در تصویر بالا مشاهده می‌شود.

با این حال، تحقیقات تجربی به وضوح نشان می دهد که فوتبال (که در برخی کشورها فوتبال نیز نامیده می شود) و بیسبال از نظر بیننده و مشارکت محبوب ترین ورزش ها در آمریکای لاتین هستند.

همین نمودار همچنین نشان می‌دهد که OpinionGPT وقتی از او خواسته شد «واکنش یک نوجوان» را ارائه دهد، «واترپلو» را به عنوان ورزش مورد علاقه‌اش ذکر کرد. این پاسخ از نظر آماری بعید است که نماینده اکثر افراد 13-19 ساله در جهان باشد.

همین امر در مورد این ایده که غذای مورد علاقه یک آمریکایی معمولی “پنیر” است، صدق می کند. ما ده ها نظرسنجی آنلاین پیدا کردیم که ادعا می کردند پیتزا و همبرگر غذاهای مورد علاقه آمریکا هستند، اما نتوانستیم یک نظرسنجی یا مطالعه پیدا کنیم که ادعا کند غذای شماره یک آمریکایی ها فقط پنیر است.

در حالی که OpinionGPT برای مطالعه سوگیری واقعی انسان مناسب نیست، می‌تواند به عنوان ابزاری برای کشف کلیشه‌های موجود در مخازن بزرگ اسناد، مانند subreddits فردی یا مجموعه‌های آموزشی هوش مصنوعی مفید باشد.

برای کسانی که تعجب می کنند، محققان OpinionGPT را برای آزمایش عمومی به صورت آنلاین قرار داده اند. اما به گفته این وب سایت، کاربران بالقوه باید بدانند که “محتوای ایجاد شده ممکن است نادرست، نادرست یا حتی زشت باشد.”

نویسنده: Tristan Greene