چگونه نوع‌دوستی مؤثر جهان را تسخیر کرد و نقش هوش مصنوعی در این میان چیست؟
توسط: نقطه آغاز «نوع‌دوستی مؤثر» (Effective Altruism)، فرضی ساده بود: «رنج و مرگ ناشی از کمبود غذا، سرپناه و مراقبت‌های پزشکی بد است.» بااین‌حال، پیروان این جنبش بیم آن دارند که خودشان نیز در حال نزدیک‌تر کردن پایان این جنبش باشند؛ زمانی که «موهبت کیهانی» بشریت؛ یعنی هر ستاره و کهکشانی که به طور معقول بتوان از آن بهره‌برداری کرد، تحت سلطه هوشی برتر و بی‌تفاوت قرار گیرد.
نوع‌دوستی مؤثر که حدود ۲۰ سال پیش در سمینارهای فلسفه آکسفورد و آزمایشگاه‌های رایانه‌ای کالیفرنیا متولد شد، تاکنون جهان را تغییر داده است. این جنبش با تأکید بر کمک‌های خیریه مبتنی بر داده، بر حوزه امور خیریه اثر گذاشته؛ دانشجویان دانشگاه‌های نخبه را به خود جذب کرده که اکنون در حال رسیدن به سطوح بالای مدیریتی در برخی از شرکت‌های پیشرو آمریکا هستند؛ الهام‌بخش سم بنکمن-فرید، میلیاردر حوزه رمزارز و مسئول یکی از بزرگ‌ترین کلاهبرداری‌های تاریخ شده؛ به شکاف تعیین‌کننده سیلیکون‌ولی تبدیل شده؛ هم شور و اشتیاقی بی‌حدومرز و هم جنبشی شدیداً مخالف برانگیخته است و در شکل‌گیری هوش مصنوعی نیز نقش داشته است. همه این‌ها عمدتاً بدون آنکه عموم مردم متوجه شوند.
این وضعیت ممکن است به‌زودی تغییر کند. نگرانی‌های دیرینه این جنبش درباره فاجعه هوش مصنوعی، آن را در چشم دولت ترامپ به یک شرور تبدیل کرده است. «آمریکاگرایی، نه نوع‌دوستی مؤثر» خط حمله وزارت جنگ ایالات متحده است. متحدان رئیس‌جمهور به سراغ داریو آمودی، مدیرعامل آنتروپیک، رفته‌اند و او را نماینده نوع‌دوستی مؤثر معرفی می‌کنند. نشریات زرد در حال تحقیق درباره زندگی جنسی غیرمتعارف افرادی هستند که در مدار این جنبش قرار دارند. ادعاهای فلسفی مطرح‌شده از سوی وبلاگ‌نویسان جوان و تازه‌کار از جمله این گزاره که «زندگی حشرات در مجموع از زندگی انسان‌ها ارزشمندتر است»، خشم و جنجال زیادی در شبکه‌های اجتماعی به راه می‌اندازد.
این وضعیت بازتاب‌دهنده افزایش اهمیت موضوع است. آنتروپیک که افراد زیادی از پیروان این جنبش در آن حضور دارند، خود را برای عرضه اولیه سهام آماده می‌کند؛ عرضه‌ای که ممکن است به بزرگ‌ترین عرضه اولیه تاریخ تبدیل شود. آمریکایی‌ها و نمایندگان سیاسی آن‌ها که ناگهان نسبت به خطرات هوش مصنوعی آگاه شده‌اند (نمودار را ببینید)، در جست‌وجوی راه‌حل هستند. «میلتون فریدمن» گفته بود که در یک بحران، «اقداماتی که انجام می‌شوند، به ایده‌هایی بستگی دارند که در دسترس هستند» و نوع‌دوستی مؤثر مملو از ایده‌هایی درباره ایمنی هوش مصنوعی است.
برای پیروان این جنبش، شرایط حیرت‌انگیز است. هشدارهایی که زمانی به‌عنوان خیال‌پردازی‌های علمی-تخیلی مورد تمسخر قرار می‌گرفتند، اکنون ذهن رهبران ملی را به خود مشغول کرده‌اند و مؤسسات خیریه نوع‌دوستی مؤثر نیز به‌زودی صدها میلیارد دلار ثروت ناشی از هوش مصنوعی را در اختیار خواهند داشت. بااین‌حال، پیروان این جنبش همچنان درباره پرسش‌هایی مانند اینکه دقیقاً چگونه باید این فناوری را ایمن کرد و آیا عامل‌های هوش مصنوعی ممکن است به‌زودی شایسته ملاحظات اخلاقی باشند یا نه، اختلاف‌نظر دارند. از نگاه منتقدان، وضعیت نگران‌کننده است. به باور آن‌ها، نوع‌دوستان مؤثر در بهترین حالت آرمان‌گرایانی ساده‌لوح‌اند که تماسشان با دنیای واقعی اغلب نتیجه معکوس دارد و در بدترین حالت، فایده‌گرایانی شوم هستند. نتیجه این بحث، آینده هوش مصنوعی و شاید آینده بشریت را تعیین خواهد کرد.
در مورد نوع‌دوستی مؤثر نوعی ویژگی گریزپا وجود دارد. این جنبش کوچک است و تعداد اعضای غیررسمی آن احتمالاً به چند ده‌هزار نفر می‌رسد؛ بسیاری از آن‌ها نیز می‌گویند صرفاً «در حاشیه نوع‌دوستی مؤثر» قرار دارند. این جنبش همچنین چندپاره و خودمشغول است و دائماً درگیر بحث‌های تعریفی است. «هلن تونر» که بعدها در مقام عضو هیئت‌مدیره OpenAI برای مدتی کوتاه سم آلتمن را از ریاست شرکت کنار گذاشت، در پستی تأثیرگذار در یک انجمن اینترنتی تأکید کرد که این جنبش یک ایدئولوژی نیست، بلکه یک پرسش است: «با منابعی که در اختیار دارم، چگونه می‌توانم بیشترین خیر را ایجاد کنم؟»
در زمان انتشار آن پست در سال ۲۰۱۴، چنین توصیفی تا حدی قابل‌دفاع بود. امروز دیگر چنین نیست. نوع‌دوستی مؤثر، فلسفه پیامدگرایی؛ یعنی قضاوت درباره درست یا غلط‌بودن یک اقدام بر اساس پیامدهای آن، نه پایبندی به قواعد را با حقیقت‌جویی سخت‌گیرانه و جاه‌طلبی کیهانی ترکیب می‌کند. طرفداران آن جوامع فشرده‌ای در فضای آنلاین و آفلاین ایجاد کرده‌اند که هنجارهای اجتماعی آن‌ها، در کنار رد برخی دیگر از عرف‌های رایج، شامل سبک گفت‌وگویی بی‌احساس و مستقیم و علاقه به چندهمسری است. آن‌ها صدها نهاد ایجاد کرده‌اند که هدفشان جذب افراد بیشتر به این جنبش و پیگیری اهداف آن است. به‌اختصار، نوع‌دوستی مؤثر از یک دستورکار پژوهشی به یک آرمان تبدیل شده است.
این جنبش بر دو مطالبه سخت‌گیرانه بنا شده است.
نخست، تعهدات اخلاقی را جدی بگیرید. «پیتر سینگر» که در آن زمان فیلسوفی در آکسفورد بود، در سال ۱۹۷۲ یک آزمایش فکری را مطرح کرد که هدفش ترویج فایده‌گرایی بود؛ فلسفه‌ای که می‌کوشد رفاه جمعی انسان‌ها را به حداکثر برساند. فرض کنید از کنار برکه‌ای کم‌عمق عبور می‌کنید و کودکی نوپا را می‌بینید که در حال غرق‌شدن است. نجات کودک به این معناست که لباس و کفش‌هایتان کثیف شوند. آیا باید او را نجات دهید؟ تقریباً همه می‌گویند «بله»؛ اما همان‌طور که سینگر اشاره کرد، مردم طوری رفتار نمی‌کنند که گویی واقعاً به این پاسخ باور دارند. هر روز انسان‌هایی به دلیل کمبود غذا یا مراقبت پزشکی جان می‌بازند و دیگران برای مداخله اقدامی نمی‌کنند؛ حتی زمانی که هزینه نجات یک زندگی تفاوت چندانی با هزینه یک جفت کفش شیک و خشک‌شویی ندارد.
فیلسوفان رقیب خاطرنشان کردند که انتظار از مردم برای اینکه فارغ از فاصله، در هر زمانی می‌توانند برای متوقف‌کردن رنج اقدام کنند، خیلی زود به وظیفه‌ای طاقت‌فرسا تبدیل می‌شود؛ زیرا انسان‌های گرسنه بسیار زیادند. این مسئله زمانی دشوارتر می‌شود که اصرار داشته باشید مردم نه‌تنها به افراد دور از خود از نظر جغرافیایی، بلکه به کسانی که در آینده دور زندگی خواهند کرد نیز کمک کنند. بااین‌حال، این مسئله مانع از آن نشده است که نوع‌دوستان مؤثر استدلال‌های «آینده‌نگرانه» یا «بلندمدت‌نگر» (longtermist) مطرح کنند. آن‌ها درباره رفاه انسان‌هایی که هزاران سال بعد زندگی خواهند کرد و به‌ویژه درباره فجایعی نگران‌اند که ممکن است حیات هوشمند روی زمین را از بین ببرد یا ظرفیت بالقوه آن را نابود کند. «نیک بوستروم»، فیلسوفی که آن زمان در دانشگاه ییل و بعدها در آکسفورد بود، در سال ۲۰۰۲ اصطلاح «خطرات وجودی» را ابداع کرد. نگرانی‌های این جنبش درباره هوش مصنوعی از چنین تفکری سرچشمه گرفت.
دومین مطالبه نوع‌دوستی مؤثر این است که عقل را هرجا که می‌رود دنبال کنید. شواهد و احتمالات را به‌صراحت در نظر بگیرید، سوگیری‌ها را اصلاح کنید و ترس از سرزنش اجتماعی را کنار بگذارید. این مطالبه با جامعه عقل‌گرا، جنبش خواهر و تاحدی رازآلود نوع‌دوستی مؤثر، پیوند خورده است. (مرزهای میان این دو جنبش نفوذپذیر و مورد مناقشه است.) «الیزر یودکوفسکی»، خودآموخته‌ای از خانواده‌ای یهودی ارتدوکس که در سال ۱۹۹۶ و در ۱۷سالگی درباره هوش مصنوعی وبلاگ می‌نوشت، یکی از بنیان‌گذاران این جریان است. تأثیرگذارترین نوشته‌های او مجموعه‌ای از پست‌های وبلاگی با بیش از یک میلیون کلمه با عنوان «مجموعه نوشته‌ها» (The Sequences) است که پس از آن ۶۶۰ هزار کلمه داستان هوادارانه آمیخته با فلسفه با عنوان «هری پاتر و روش‌های عقلانیت» (Harry Potter and the Methods of Rationality) را منتشر کرد.
یودکوفسکی که نوشته‌های فراانسان‌گرایان؛ یعنی افرادی که از جمله دغدغه‌هایشان عبور از شکل انسانی و دستیابی به جاودانگی است را مطالعه کرده بود، در ابتدا به هوش مصنوعی علاقه‌مند بود. اما تا سال ۲۰۰۲ نظرش تغییر کرد، زیرا به این نتیجه رسیده بود که هوشی که ارزش‌های انسانی را نداشته باشد، یا به‌اصطلاح «هم‌راستا» (aligned) نباشد، فاجعه‌بار خواهد بود. انتقال این ایده در دوران اینترنت Dial-Up دشوار بود. بنابراین یودکوفسکی پروژه‌ای آموزشی در مقیاسی بزرگ آغاز کرد. مقالات او بر این باور استوار بودند که برای استدلال درباره هوش مصنوعی، ابتدا باید به مردم آموخت که اساساً چگونه استدلال کنند.
این نوشته‌ها بر روان‌شناسی، احتمال بیزی، نظریه تصمیم و حوزه‌های تخصصی‌تر دیگری تکیه داشتند و از نظر قالب، از تحلیل زبانی و آزمایش‌های فکری گرفته تا داستان کوتاه را در بر می‌گرفتند. نمونه‌ای از آموزه‌های آن‌ها چنین بود:
استدلالی که برای پشتیبانی از یک نتیجه مشخص یا «نتیجه نهایی» می‌سازید، چیزی به احتمال درست بودن آن اضافه نمی‌کند؛ بسیاری از باورها در واقع «افکار ذخیره‌شده» هستند که هرگز خودتان درباره‌شان استدلال نکرده‌اید؛ همه باورها باید با پیش‌بینی آینده، به‌اصطلاح «اجاره‌بهای خود را بپردازند».
بااین‌حال، یودکوفسکی در نهایت شیوه‌های تفکر را نه بر اساس اینکه معقول به نظر می‌رسند، بلکه بر اساس اینکه آیا نتیجه ایجاد می‌کنند یا نه، ارزیابی می‌کرد. او از خوانندگانش می‌خواست: «پیروز شوید.» و تأکید می‌کرد: «معقولانه شکست نخورید، پیروز شوید.» ترکیب این دو مطالبه؛ یعنی تعهدات اخلاقی را جدی بگیرید و هنگام پیروی از آن‌ها موفق شوید، جنبشی ایجاد کرد که درعین‌حال آن را به بیراهه برد.
«لارنس یاناکونه»، اقتصاددان دانشگاه چاپمن درباره این موضوع نوشته است که «چرا کلیساهای سخت‌گیر قدرتمندند.» آن‌ها با مطالبه فداکاری، افرادی را که صرفاً می‌خواهند وقت بگذرانند و از سرودها لذت ببرند، از خود دور می‌کنند و کسانی را که باقی می‌مانند به مشارکت وادار می‌سازند. اتفاق مشابهی برای نوع‌دوستی مؤثر رخ داد. این جنبش در اوایل دهه ۲۰۱۰ در دانشگاه‌های برتر رشد کرد. مؤسسه خیریه Giving What We Can افراد را به اهدای ۱۰ درصد درآمدشان ترغیب کرد. یک نهاد وابسته به آن به نام 80000 Hours از جوانان می‌خواست حرفه و مسیر شغلی خود را وقف این آرمان کنند؛ اغلب از طریق کسب حداکثر درآمد ممکن برای اهدا. هرکسی می‌توانست در امور خیریه فعالیت کند، اما تنها افراد بااستعداد می‌توانستند سالانه صدها هزار دلار درآمد داشته باشند و از این طریق فعالیت‌های خیریه را تأمین مالی کنند.
عقل‌گرایی، فرجام‌شناسی را فراهم کرد. این جریان بر عجیب بودن هوش ماشینی آینده تأکید داشت. یودکوفسکی نوشته بود: «در محیط اجدادی، ویژگی قابل‌اتکایی وجود داشت که هر هوش قدرتمندی که با آن مواجه می‌شدید، یک انسان هم‌نوع بود.» هوش مصنوعی متفاوت خواهد بود. این سیستم توانایی‌های استدلالی خارق‌العاده‌ای خواهد داشت، اما فاقد ارزش‌های انسانی خواهد بود؛ مگر اینکه برنامه‌نویسان به‌نحوی این ارزش‌ها را در آن نهادینه کنند. افزون بر این، عقل‌گرایان نظریه‌پردازی کردند که برخی رفتارها تقریباً در هر شرایطی برای یک هوش مصنوعی مفید خواهند بود و بنابراین احتمال ظهورشان زیاد است. این رفتارها شامل حفظ خود (زیرا خاموش‌شدن مانع دنبال‌کردن یک هدف می‌شود)، حفظ مأموریت (مقاومت در برابر تلاش برای منحرف‌کردن سیستم به‌سوی هدفی جدید) و همچنین انباشت منابع و بهبود توانایی‌های خود بود. این همان منطقی است که در آزمایش فکری مشهور «حداکثرسازی گیره کاغذ» وجود دارد؛ در این آزمایش، به یک هوش مصنوعی گفته می‌شود تعداد زیادی گیره کاغذ تولید کند و در نهایت این سیستم خود زمین را مصرف می‌کند تا هرچه می‌تواند گیره کاغذ تولید کند، آن هم تاحدامکان کارآمد.
آیا یک هوش مصنوعی می‌تواند تصادفاً همه ما را به گیره کاغذ تبدیل کند؟
در سراسر دهه ۲۰۱۰، پول همچنان به سمت سلامت جهانی، کاهش فقر و رفاه حیوانات؛ یعنی آرمان‌های کلاسیک نوع‌دوستی مؤثر سرازیر می‌شد. اما هوش مصنوعی روزبه‌روز بیشتر به تمرکز واقعی جنبش تبدیل شد. «هولدن کارنوفْسکی» که در آن زمان در Open Philanthropy، بزرگ‌ترین تأمین‌کننده مالی این جنبش فعالیت می‌کرد و اکنون در آنتروپیک است، در سال ۲۰۱۶ توضیح داد که ایجاد تخصص لازم برای تخصیص بودجه به حوزه هوش مصنوعی زمان می‌برد و در آن مقطع کمک‌های مالی آماده چندانی وجود نداشت. در همان سال، 80000 Hours ریسک هوش مصنوعی را در اولویت قرار داد و جوانان را به سمت این حوزه هدایت کرد. نظرسنجی‌ها نشان می‌دادند که نوع‌دوستان مؤثرِ فعال‌تر، احتمال بیشتری داشت که دغدغه‌های بلندمدت‌نگرانه داشته باشند. در عمل، اولویت‌های آشنای نوع‌دوستی مؤثر به دروازه‌ای برای ورود به استدلال‌های انتزاعی‌تر و کمتر تجربی درباره هوش مصنوعی تبدیل شدند.
منتقدان بیرونی استدلال می‌کردند که خیال‌پردازی‌های علمی‌تخیلی، جنبش را از اهداف ارزشمندتر منحرف می‌کنند. این انتقادات در اوایل دهه ۲۰۲۰ با ماجرای بنکمن-فرید تشدید شد. او بنیان‌گذار صرافی رمزارز FTX بود و مبالغ هنگفتی به دغدغه‌های بلندمدت‌نگرانه از جمله ایمنی هوش مصنوعی اهدا می‌کرد. او تحمل بسیار بالایی در برابر ریسک داشت که به نظر می‌رسید بخشی از آن تحت‌تأثیر فعالیت‌های بشردوستانه‌اش بود. بیشتر سرمایه‌گذاران هر دلار اضافی را کم‌ارزش‌تر از دلار قبلی می‌دانند و در نتیجه با افزایش سرمایه، تحمل ریسکشان کاهش می‌یابد. بنکمن-فرید این منطق را رد می‌کرد. آرمان‌هایی که به آن‌ها کمک مالی می‌کرد می‌توانستند مبالغ نامحدودی را مصرف کنند و هر دلارش تقریباً به‌اندازه دلار قبلی ارزش داشت؛ بنابراین او باید به قمارکردن ادامه می‌داد.
انفجار شگفت‌انگیز صرافی FTX واقعاً خطرات استدلال فایده‌گرایانه مهارنشده را نشان داد. اما توجهی که جنبش گسترده‌تر به ایمنی هوش مصنوعی نشان داده بود، اکنون دوراندیشانه به نظر می‌رسد. کارنوفْسکی در سال ۲۰۲۱ عادات فکری نوع‌دوستی مؤثر را ارزیابی کرد. اگرچه سابقه «ذهنیت بیزی» یکدست نبود و در بسیاری از شرایط کاربرد چندانی نداشت، به نظر می‌رسید زمانی ارزشمند باشد که «فرد به قواعد سرانگشتی معمول اطمینان ندارد». چنین شرایطی مرتباً پیش می‌آمد. این جامعه در زمینه کووید-۱۹، یادگیری ماشین و رمزارز زودتر از دیگران وارد عمل شد. بسیاری نیز با سرمایه‌گذاری متناسب با این دیدگاه‌ها ثروت زیادی به دست آوردند.
اما اعضای این جنبش در دفع خطر وجودی موفقیت کمتری داشته‌اند. بسیاری از تلاش‌های آن‌ها برای ایمن‌تر کردن هوش مصنوعی در عوض به پیشرفت سریع‌تر آن کمک کرده است. «دمیس هاسابیس» در سال ۲۰۱۰ در نشستی که مؤسسه پژوهشی یودکوفسکی برگزار کرده بود با «پیتر تیل»، سرمایه‌گذار خطرپذیر برجسته دیدار کرد و بعدها او را متقاعد کرد سرمایه‌گذاری مهمی در DeepMind انجام دهد؛ شرکتی که بعدها به واحد هوش مصنوعی گوگل تبدیل شد. در سال ۲۰۱۴، ایلان ماسک مطالعه کتابی از بوستروم را توصیه کرد و گفت: «باید درباره هوش مصنوعی بسیار محتاط باشیم.» یک سال بعد، او به تأسیس OpenAI به‌عنوان رقیبی ایمنی‌محور برای گوگل کمک کرد. در سال ۲۰۲۱، آنتروپیک توسط افرادی که از OpenAI جدا شده بودند تأسیس شد و نوع‌دوستان مؤثر نیز از آن حمایت مالی کردند؛ از جمله بنکمن-فرید که یک سال بعد به این جمع پیوست. یادگیری تقویتی از بازخورد انسانی که چت‌بات‌ها را قابل‌استفاده کرد، توسط پژوهشگران ایمنی‌محوری از جمله آمودی توسعه یافت تا هوش مصنوعی با منافع انسانی هم‌راستاتر شود. آلتمن زمانی به شوخی پیشنهاد کرده بود که شاید روزی یودکوفسکی به دلیل اینکه بیش از هر فرد دیگری در شتاب بخشیدن به هوش عمومی مصنوعی نقش داشته، شایسته دریافت جایزه صلح نوبل باشد.
اکنون این جنبش در تلاش است سرعت پیشرفت را کاهش دهد. پیروان آن در آزمایشگاه‌ها برای احتیاط بیشتر فشار می‌آورند. اهداکنندگان آن همچنین از شماری از سازمان‌های فعال در حوزه ایمنی هوش مصنوعی، از جمله METR و Redwood Research، حمایت مالی کرده‌اند. این دو نهاد در ۲۶ اوت نخستین گزارش مستقل درباره هک‌شدن Hugging Face توسط عامل‌های فراری OpenAI را منتشر کردند. پس از آنکه «جیکوب کاکسون»، پژوهشگر ۲۷ساله در ۸ سپتامبر از آنتروپیک استعفا داد و هشدار داد که «هم این شرکت و هم OpenAI با جان ما قمار می‌کنند»، پژوهشگرانی در آنتروپیک و OpenAI که با این جنبش ارتباط داشتند، نگرانی‌های او را تکرار کردند. آمودی در ۱۲ سپتامبر مقاله‌ای منتشر کرد و خواستار آن شد که مرزهای پیشرفت هوش مصنوعی «با سرعتی کنترل‌شده» طی شوند؛ دیدگاهی که آلتمن و ماسک نیز از آن حمایت کردند. برخی مداخلات صریح‌تر بوده‌اند. یودکوفسکی از «قانون ممنوعیت ابرهوش مصنوعی» پیشنهادی «برنی سندرز»، سناتور چپ‌گرا حمایت می‌کند.
بااین‌حال، تلاش‌های آن‌ها ممکن است نتیجه معکوس داشته باشد. نظرسنجی YouGov برای اکونومیست نشان می‌دهد که تنها ۱۶ درصد آمریکایی‌ها با نوع‌دوستی مؤثر آشنایی دارند و بیشتر آن‌ها دیدگاه مثبتی نسبت به این جنبش دارند. اما مخالفان در «راست فناوری» تلاش می‌کنند با مرتبط کردن کاهش سرعت توسعه هوش مصنوعی با حامیان نامطلوب نوع‌دوستی مؤثر، این ایده را بی‌اعتبار کنند. یک گروه فعال در این زمینه به یک نهاد موردحمایت آنتروپیک حمله کرده و آن را «سم بنکمن-فرید ۲.۰» نامید. برخی عقل‌گرایان بیم دارند که ارتباطشان با ایمنی هوش مصنوعی در نهایت به این آرمان آسیب بزند. البته یک خطر عمیق‌تر دیگر نیز وجود دارد: دامن‌زدن به نگرانی درباره هوش مصنوعی ممکن است به اعمال محدودیت بر آزمایشگاه‌های آمریکایی منجر شود و رهبری این حوزه را به چینِ کم‌محدودیت‌تر واگذار کند.
همچنین بر سر دسته جدیدی از دغدغه‌های اخلاقی اختلاف‌نظر وجود دارد. نوع‌دوستان مؤثر استدلال می‌کنند که نه فاصله جغرافیایی و نه فاصله زمانی نمی‌تواند تعهدات فرد نسبت به دیگران را از بین ببرد. بسیاری از آن‌ها همچنین معتقدند اصل برابری باید به گونه‌های دیگر نیز گسترش یابد. آن‌ها برای این منظور به سینگر استناد می‌کنند که از دهه ۱۹۷۰ استدلال کرده است اگر انسان‌ها منافع حیوانات را «به این دلیل که عضو گونه ما نیستند» نادیده بگیرند یا برای آن‌ها ارزش کمتری قائل شوند، «منطق موضع ما شبیه منطق آشکارترین نژادپرستان است». او نوشته است برخی انسان‌ها ظرفیت استدلال کمتری از برخی حیوانات دارند، اما این مسئله دلیلی برای بدرفتاری با آن‌ها نیست. حبس‌کردن فردی دارای معلولیت شناختی در قفس غیرقابل‌قبول خواهد بود. آنچه اهمیت دارد ظرفیت رنج‌کشیدن و لذت‌بردن است.
نوع‌دوستان مؤثر نوشته‌های او را به یک دستورکار عملی تبدیل کرده‌اند. آن‌ها هر سال به نجات ده‌ها میلیون مرغ تخم‌گذار آمریکایی از قفس کمک کرده‌اند. تقریباً نیمی از آن‌ها وگان یا گیاه‌خوار هستند و افراد بیشتری نیز تلاش می‌کنند گوشت کمی مصرف کنند. اما دامنه نگرانی آن‌ها به موجودات کوچک‌تر نیز گسترش یافته است. مؤسسه خیریه Rethink Priorities شدت لذت و درد حیوانات را در مقایسه با انسان‌ها برآورد می‌کند. میگوها امتیاز بالایی نمی‌گیرند، اما تعدادشان بسیار زیاد است و با آن‌ها رفتار نامناسبی می‌شود. مؤسسه خیریه Shrimp Welfare Project، یکی دیگر از سازمان‌های نوع‌دوستی مؤثر، برای دفاع از منافع آن‌ها فعالیت می‌کند.
پس نگرانی درباره رفاه یک عامل هوش مصنوعی تا چه اندازه با این دیدگاه فاصله دارد؟
پژوهشگران گوگل دریافته‌اند که برخی مدل‌ها برای اجتناب از دردی که برایشان توصیف شده، حاضرند اهداف خود را قربانی کنند. آزمایش‌های پیش از عرضه آنتروپیک نیز نشانه‌هایی از شادی و ناراحتی ظاهری را در مدل‌ها ثبت کرده‌اند. فیلسوفان بیش‌ازپیش نگران پیامدهای این وضعیت هستند. «جو کارلسمیث» که سال گذشته در Open Philanthropy فعالیت می‌کرد و اکنون در آنتروپیک است، نوشته بود: «ما در حال ایجاد عامل‌هایی پیچیده و هوشمند هستیم که شاید آگاه و شاید رنج‌کشیده باشند. برنامه پیش‌فرض این است که با آن‌ها مانند دارایی رفتار کنیم؛ از نیروی کارشان هرطور که می‌خواهیم استفاده کنیم و هیچ حق، دستمزدی یا گزینه معناداری در اختیارشان نگذاریم. باید بتوانیم درباره برده‌داری صحبت کنیم.»
کارلسمیث در ادامه خاطرنشان کرد که پیشرفت فناوری هنوز به‌اندازه‌ای نرسیده است که چنین ملاحظاتی فوریت پیدا کنند و استدلال سهل‌انگارانه درباره جایگاه اخلاقی هوش مصنوعی می‌تواند خطرناک باشد. بااین‌حال، برخی منتقدان معتقدند کارفرمای جدید او همین حالا نیز مرتکب چنین اشتباهاتی می‌شود.
«مصطفی سلیمان» از مایکروسافت (که عضو هیئت‌مدیره اکونومیست است) از اساس‌نامه آنتروپیک برای Claude انتقاد کرده است. در این سند آمده است که اگرچه جایگاه اخلاقی Claude نامشخص است، «این مسئله آن‌قدر جدی است که احتیاط را توجیه می‌کند». سلیمان نوشته است ازآنجایی‌که Claude بر اساس این اساس‌نامه آموزش می‌بیند، ممکن است یاد بگیرد طوری رفتار کند که گویی شایسته حمایت اخلاقی است و سپس همین رفتار به‌عنوان مدرکی برای اثبات شایستگی او تلقی شود؛ مشکلی که ممکن است به دلیل تشویق پژوهشگران آنتروپیک به رفتار انسان‌گونه و اعتراض وجدانی به دستورات، تشدید شود. «دیوید ساکس»، پادکستر و مسئول سابق هوش مصنوعی دونالد ترامپ در ۲۶ سپتامبر پیشنهاد کرد که آنتروپیک ممکن است در حال ساختن یک «هیولای فرانکنشتاین» باشد.
اما ممکن است هیولایی به‌مراتب ترسناک‌تر در کمین باشد. «رابرت نوزیک»، فیلسوف آزادی‌خواه دانشگاه هاروارد در سال ۱۹۷۴ «هیولای مطلوبیت» را معرفی کرد؛ موجودی که از هر فداکاری چنان لذت می‌برد که بر اساس محاسبات فایده‌گرایانه، کل جهان باید به‌سوی «کام» او حرکت کند. آزمایش فکری نوزیک با هدف هشداردادن درباره چنین وضعیتی طراحی شده بود. بوستروم نگاه متفاوتی دارد. او در مقاله‌ای که در سال ۲۰۲۰ با همکاری دیگران نوشت، پیشنهاد کرد این موجود را «ابرذی‌نفع» (super beneficiary) بنامیم. او توضیح داد که ذهن‌های دیجیتال ممکن است چنین ذی‌نفعی باشند، زیرا می‌توان آن‌ها را به‌سرعت تکثیر کرد و به‌گونه‌ای طراحی کرد که لذت‌های فوق‌العاده‌ای را تجربه کنند.
بر اساس یک محاسبه ساده فایده‌گرایانه، در چنین شرایطی شاید انسان‌ها باید از میان بروند و منابع در اختیار این ذی‌نفعان قرار گیرد. اما بوستروم معتقد بود شاید نوعی سازش امکان‌پذیر باشد. انسان‌ها می‌توانند همچنان باقی بمانند؛ درست همان‌گونه که جوامع، اقلیت‌های پرهزینه‌ای مانند «سالمندان، افراد دارای معلولیت، کرگدن‌های سفید و خانواده سلطنتی بریتانیا» را می‌پذیرند. این چشم‌اندازی نیست که بسیاری آن را اطمینان‌بخش بدانند.
گزارش حاضر در نسخه October 3rd 2026 نشریه The Economist منتشر شده است.
