طرح مسئله:
روان‌شناسان شناختی نشان داده‌اند که انسان‌ها خطاهای نظام‌مندی در استدلال‌های خود دارند. در این راه دسته‌ی بزرگی از آزمون‌ها را طراحی کرده‌اند. یک نمونه را ببینیم:
مسئله‌ی لیندا: لیندا ۳۱ساله، مجرد، بی‌پروا و بسیار باهوش است. در رشته‌ی فلسفه تحصیل کرده، در دوران دانشجویی نگران مسائل تبعیض‌آمیز و عدالت اجتماعی بوده، و همچنین در تظاهرات ضدهسته‌ای شرکت می‌کرده است.
باتوجه به این اطلاعات کدام گزینه محتمل‌تر است؟
الف. لیندا کارمند بانک است.
ب. لیندا کارمند بانک، و فعال حقوق زنان است.
بیشتر افراد گزینه‌ی دوم را انتخاب می‌کنند درحالی‌که گزینه‌ی دوم عطف گزینه‌ی اول و یک گزینه‌ی اضافی است و بنابراین به لحاظ ریاضیاتی نامحتمل‌تر است.
دسته‌ی بسیار بزرگی از داده‌ها نشان می‌دهند که عموم انسان‌ها به‌نحوی پیش‌بینی‌پذیر گزینه‌های نادرست را انتخاب می‌کنند؛ اما مدل‌های زبانی بزرگ، مانند چت‌جی‌بی‌تی، چطور
پژوهش نخست:
اگر این دسته از پرسش‌ها را از مدل‌های زبانی بزرگ بپرسیم چه پاسخی دریافت خواهیم کرد؟ در جهت یافتن پاسخ به این پرسش در آزمونی از ۷ مدلِ زبانی مشهور و رایج (بارد، چت‌جی‌بی‌تی، لاما، و…) سؤالات مشابهی پرسیدند. نتیجه؟
اولاً همه‌ی مدل‌ها، همانند انسان، گاه پاسخ‌های نادرستی به پرسش‌ها می‌دادند. (وضعیت چت‌جی‌بی‌تی بهتر بود.) ثانیاً نامعقولیت آنها متفاوت از انسان‌ها بود: در انسان‌ها برخی پاسخ‌های نادرست به‌نحوی قابل پیش‌بینی عرضه می‌شود. درحالی‌که خطاهای این مدل‌های زبانی قابل پیش‌بینی نبود. به عبارتی در هوشمصنوعی نیز درجاتی از نامعقولیت مشاهده می‌شود که از جنسی متفاوت با انسان است.
پژوهش دوم:
در راستای یافته‌های پژوهش نخست، پژوهش دوم نشان می‌دهد عوامل داخلی که نحوه‌ی تصمیم‌گیری مدل‌های زبانی بزرگ را تعیین می‌کند، به دلیل محاسبات پیچیده‌ی سیستم‌ها، برای پژوهشگران کاملاً شناخته‌شده و شفاف نیست. خلاف تصور رایج، تصمیم‌گیری انسان گاهی به‌طور قابل‌توجهی شفاف‌تر و قابل‌اعتمادتر از تصمیم‌گیری الگوریتمی است. انسان‌ها تصمیمات خود را با ارائه‌ی دلایل توضیح می‌دهند و ضمن این کار ممکن است جرح و تعدیل‌هایی در تصمیم اولیه رخ دهد. درحالی‌که سیستم‌های کنونی هوشمصنوعی فاقد این ویژگی خودتنظیمی هستند.
پژوهش سوم:
وقتی از سوگیری هوشمصنوعی سخن می‌گوییم توجه ما عموماً به سوی سوگیری در داده‌های ورودی معطوف است، اما در این مقاله نشان داده می‌شود که هوشمصنوعی سوگیری‌هایی را نیز تولید می‌کند. همچنین عقلانیت رسمی تعبیه‌شده در الگوریتم‌های مبتنی بر هوشمصنوعی، عملکرد مناسبی در زمینه‌های پیچیده ندارد و بنابراین منجر به سوگیری و تصمیم‌گیری‌های ضعیف می‌شود.
پژوهش چهارم:
مفهوم “اثر پروانه‌ای” که از نظریه‌ی آشوب ناشی شده است نشان می‌دهد که چگونه تغییرات به‌ظاهر جزئی می‌تواند منجر به نتایج قابل‌توجه اما غیرقابل پیش‌بینی در سیستم‌های پیچیده شود. سوگیری‌های کوچک در داده‌های اولیه، انحرافات در طول آموزش الگوریتم، یا تغییر در توزیع داده‌ها می‌توانند به‌طور ناخواسته منجر به نتایجی شوند که در سطح اجتماعی از عدالت و انصاف به دور است و بر گروه‌های به‌حاشیه رانده‌شده تأثیرات منفی می‌گذارد و نابرابری‌های اجتماعی موجود را تقویت می‌کند. علاوه‌براین، اثر پروانه‌ای می‌تواند سوگیری در داده‌ها یا الگوریتمها را بزرگ، و حلقه‌های بازخورد را تشدید کند.
نتیجه:
نقاط ضعف مدل‌های بزرگ زبانی در تصمیم‌گیری‌های عقلانی عبارتند از: ۱. برخی داده‌های ورودی سوگیری‌هایی دارند؛ ۲. جدای از این بخش خود سیستم نیز سوگیری‌هایی می‌آفریند؛ ۳. برخی از این سوگیری‌ها، خلاف سوگیری‌های شناختی در انسان‌ها قابل‌پیش‌بینی نیستند؛ ۴. طی اثر پروانه‌ای این سوگیری‌های کوچک می‌توانند پیامدهای بزرگی در سطح اجتماعی داشته باشند. ۵. سازوکارهای تولید این سوگیری‌ها روشن نبوده و بنابراین رفع آنها ساده نیست.
عقلانیت انسانی، به‌رغم مشکلاتی که دارد، طی تکامل شکل گرفته است. طی دهه‌های آتی بسیاری از مشکلات عقلانیت در هوشمصنوعی برطرف می‌شود، اما درآن‌صورت مسئله‌ای بس بزرگ‌تر را پیش‌رو داریم.
آن ابرهوش‌مصنوعی، از چنان اعتباری برخوردار می‌شود که تخطی از توصیه‌های نادرست و ناکارآمدش، هرچند تعداد آنها بسیار کم شده باشد، ناممکن می‌شود. از آنجا که علی‌الصول امکان طراحی سیستمی بدون اشتباه توسط انسان یا هوشمصنوعی وجود ندارد، هیچگاه «نباید» مسئولیت گرفتن تصمیم‌های مهم به هوشمصنوعی واگذار شود.
اما از یک‌سو، ورودی الگوریتمها داده‌های انسانی است (مثلأ آنچه روزانه سرچ می‌دهیم)، و از سوی دیگر، الگوریتمها هدایتگر رفتار انسان‌اند. بنابراین هویت انسان‌ها و الگوریتمها درهم‌تنیده‌‌تر از آن خواهد بود که نظارت بر هوشمصنوعی معنای محصلی داشته باشد.