زن نباش تا اخراج نشوی!
یک اشتباه محاسباتی در قلب مهندسی آمازون کافی بود تا هوش مصنوعی این شرکت، کلمه «زنان» را به عنوان یک امتیاز منفی در رزومهها شناسایی کند.
گروه علم و پیشرفت خبرگزاری فارس - بیتردید، آمازون با ارائه خدمات نوآورانهای همچون «آمازون پرایم» و زیرساختهای ابری قدرتمند (AWS)، تحولی عظیم در تجارت و تکنولوژی جهان ایجاد کرده و استانداردهای جدیدی را تعریف نموده است.بسیاری از اقدامات، نوآوریها و راهبردهای آمازون، الهامبخش شرکتهای بزرگی بوده که از این کسب و کار غولآسا گرتهبرداری کردند.تمرکز بر این روایت خاصی که میخوانید نیز، نه به منظور کمرنگ کردن دستاوردهای درخشان این غول فناوری، بلکه با هدف واکاوی یک چالش بنیادین در دل این پیشرفتهاست. داستانی که نشان میدهد چگونه حتی پیشرفتهترین سیستمهای هوشمند نیز در صورت تکیه بر دادههای آلوده به تعصبات تاریخی، میتوانند از ابزار کارآمدی به مکانیزمی برای بازتولید نابرابری تبدیل شوند.
اما شروع ماجرا از کجا بود؟
چراغهای سفید و سردِ سقفی در دفتر مهندسی آمازون واقع در شهر ادینبرو، بیوقفه روی میزهایی میتابیدند که لبریز از مانیتورهای عریض، لیوانهای قهوه نیمهسرد و برگههای یادداشت پراکنده بودند.روی یکی از این نمایشگرها، فهرستی طولانی از واژهها با سرعت جابهجا میشد که شامل هزاران کلمه فنی و عبارتهای خاصی بود که معمولاً فقط در رزومههای حرفهای و تخصصی دیده میشدند.در کنار هر کدام از این واژهها عددی به چشم میخورد که نشاندهنده وزنی بود که الگوریتم هوشمند به آن کلمه اختصاص داده بود تا ارزش متقاضی را بسنجد.در آن روزهای پرامید سال ۲۰۱۴، گروه کوچکی از مهندسان باسابقه آمازون تصور میکردند که در آستانه کشف چیزی هستند که خودشان نامش را «جام مقدس صنعت استخدام» گذاشته بودند.آنها به دنبال ساخت سیستمی بودند که بتواند صدها رزومه پیچیده را تنها در چند ثانیه غربال کند و بهترین استعدادهای موجود را برای مصاحبه نهایی بیرون بکشد.ایده اصلی بسیار ساده و منطقی به نظر میرسید زیرا آمازون با رشد انفجاری خود به نیروی انسانی عظیمی نیاز داشت که تیمهای منابع انسانی دیگر توان مدیریت آن را نداشتند.مدیران میپرسیدند چرا همان کاری را که الگوریتمها برای پیشنهاد کالا به مشتریان انجام میدهند، برای انتخاب هوشمندانه کارمندان جدید انجام ندهند؟ آنها میخواستند ماشینی بسازند که مثل خریداران سایت، به رزومههای کاری هم امتیاز بدهد و بهترینها را با نشان پنجستاره مشخص نماید.
الگوریتم استخدام از گذشتهای مردانه درس میگیرد
این پروژه حساس در سکوت کامل خبری پیش رفت و تیمی که ابتدا از چند نفر تشکیل شده بود، در مرکز مهندسی ادینبرو به تدریج بزرگ و بزرگتر شد. مهندسان برای آموزش ماشین خود به دادههای عظیمی نیاز داشتند و آمازون هم بانک اطلاعاتی ده سال رزومههای دریافتی خود را به عنوان ماده خام در اختیار آنها قرار داد.الگوریتم یادگیری ماشین شروع به بلعیدن این دادهها کرد تا بفهمد چه الگوهایی در گذشته باعث موفقیت یک متقاضی و استخدام او در این شرکت بزرگ شده است. اما دقیقاً در همین نقطه و در میان انتخاب نخستین دادههای آموزشی، بذر مشکلی کاشته شد که بعدها کل اعتبار پروژه را زیر سؤال برد و نابود کرد.صنعت فناوری در دهههای گذشته به طور تاریخی فضایی مردانه داشت و اکثر رزومههای فنی که به دست آمازون رسیده بود، متعلق به مردان متخصص بود. الگوریتم هوشمند بدون آنکه درکی از مفهوم عدالت یا برابری جنسیتی داشته باشد، دقیقاً همان چیزی را یاد گرفت که دادههای تاریخی به او نشان میدادند.او آموخت که الگوهای زبانی خاصی که بیشتر در رزومههای مردانه تکرار شده بود، با احتمال استخدام بالاتر همراه هستند و به آنها وزن بیشتری داد.در مقابل، کلماتی که در رزومههای زنان دیده میشد، به عنوان نشانههای ضعیف شناسایی شدند و سیستم به طور خودکار آنها را به حاشیه راند.
کلمه زنان باعث ریزش امتیاز رزومهها میشود
تا سال ۲۰۱۵ که تیم مهندسی شروع به بررسی دقیق خروجیهای سیستم کرد، نشانههای نگرانکننده و عجیبی بر روی مانیتورها ظاهر شد که همه را شوکه کرد. یکی از آزمایشهای داخلی نشان داد که اگر در رزومهای عبارت کاپیتان باشگاه شطرنج زنان آمده بود، سیستم بدون توجه به مهارت رهبری، امتیاز پایینی به آن فرد میداد.سیستم حتی فارغالتحصیلان کالجهای تماماً زنانه را صرفاً به دلیل نام دانشگاهشان تنزل رتبه میداد و آنها را از لیست نامزدهای برتر برای شغلهای فنی حذف میکرد.مهندسان با تعجب میدیدند که واژه انگلیسی مربوط به زنان در فهرست سیاه واژههایی قرار گرفته که به طور خودکار اعتبار رزومه را نزد ماشین از بین میبرد.برای کسانی که پشت مانیتورها نشسته بودند، این موضوع دیگر فقط یک خطای عددی ساده نبود بلکه یک فاجعه اخلاقی در قلب فناوری به حساب میآمد. یکی از اعضای تیم بعدها اعتراف کرد که وقتی متوجه شدند سیستم به صورت سیستماتیک علیه زنان عمل میکند، تمام اعضای گروه در بهت و حیرت فرو رفتند.قرار بود ماشین عادلتر و بیطرفتر از انسانهای جایزالخطا باشد، اما در واقعیت این ابزار فقط تعصبات و نابرابریهای گذشته را بازتولید و حتی تقویت میکرد.ماشین دقیقاً همان کاری را انجام میداد که از او خواسته شده بود؛ یعنی تقلید کورکورانه از الگوهای استخدامی ده سال گذشته شرکت آمازون.
تلاش برای اصلاح کدها به بنبست میرسد
مهندسان آمازون بلافاصله تلاشهای گستردهای را برای اصلاح کدها آغاز کردند تا سیستم را نسبت به واژههای حساسی مثل نام کالجهای زنان بیتفاوت کنند.آنها وزنهای داده شده به کلمات را تغییر دادند و فیلترهای جدیدی ساختند تا مانع از اعمال تبعیض آشکار توسط این هوش مصنوعی در حال یادگیری شوند.اما هر بار که یک نشانه تبعیضآمیز حذف میشد، نگرانی تازهای در ذهن تیم مهندسی شکل میگرفت که آیا ماشین راه دیگری برای دور زدن عدالت پیدا نمیکند؟ آنها میترسیدند که الگوریتم به جای یک واژه مستقیم، ترکیبات نامحسوس دیگری از کلمات را به عنوان نشانه جنسیتی شناسایی کند و باز هم زنان را کنار بزند.در همین زمان و در دفترهای منابع انسانی آمازون، مسئولان استخدام با ابزار تازهای روبرو بودند که کنار هر رزومه، ستارههایی را به عنوان پیشنهاد ماشین نمایش میداد.اگرچه آمازون بعدها ادعا کرد که این رتبهبندی هرگز مبنای نهایی تصمیمگیری نبوده، اما تماشای آن ستارهها به شدت روی ذهنیت مصاحبهکنندگان انسانی تأثیر میگذاشت.یکی از کارکنان سابق بخش استخدام گفت که وقتی ماشینی با آن ابهت فنی چیزی را پنجستاره مینامد، نادیده گرفتن آن برای یک انسان بسیار دشوار است. این ستارهها مانند یک پیشداوری دیجیتال عمل میکردند و باعث میشدند رزومههای با امتیاز کمتر، حتی اگر شایسته بودند، با دقت کمتری مطالعه شوند.
آمازون پروژه استخدام هوشمند را متوقف میکند
از سال ۲۰۱۵ تا اوایل ۲۰۱۷، این پروژه در وضعیت مبهم آزمون و خطا باقی ماند و مهندسان شبهای زیادی را در دفتر برای بازنویسی کدها بیدار ماندند. روی میزها فهرستهایی از بیش از ۵۰۰ مدل کامپیوتری مختلف دیده میشد که برای تیمهای گوناگون طراحی شده بود تا شاید یکی از آنها عادلانه رفتار کند.پیچیدگی سیستم هر روز بیشتر میشد اما اطمینان مدیران به عادلانه بودن خروجیهای آن به شدت کاهش یافت و تردیدها به سطوح عالی مدیریتی رسید. آمازون متوجه شد که حتی با اصلاحات فنی، نمیتواند تضمین کند که تبعیضهای پنهان به طور کامل از ذهن این ماشین یادگیرنده پاک شده است.خطر بدنامی برای برندی مثل آمازون بسیار بالا بود؛ زیرا معرفی سیستمی که زنان را حذف میکرد، میتوانست به یک بحران روابط عمومی جهانی تبدیل شود. در نهایت، پیش از آنکه این ابزار به طور رسمی و گسترده وارد فرآیند جذب نیرو شود، تصمیم نهایی برای توقف کامل پروژه گرفته شد.تیم مهندسی پراکنده گشت و تمامی آن مدلهای پیچیده بدون هیچ بیانیه عمومی یا سر و صدایی در پوشههای محرمانه بایگانی شدند تا این شکست مسکوت بماند. برای مدتی طولانی، داستان این جام مقدسِ زنگزده در همان اتاقهای مهندسی ادینبرو دفن شد و کسی از سرنوشت آن اطلاعی نداشت.
گزارش رویترز پرده از تبعیض الگوریتمی برمیدارد
در تاریخ ۱۰ اکتبر ۲۰۱۸، گزارش تحقیقی خبرگزاری رویترز مانند یک بمب خبری عمل کرد و پرده از این تلاش ناکام و محرمانه آمازون کنار زد. این گزارش با استناد به اسناد داخلی و گفتگو با افراد مطلع، نشان داد که چگونه نوآوری میتواند به ابزاری برای تثبیت نابرابریهای اجتماعی تبدیل شود.پروژهای که قرار بود آینده درخشان استخدام در جهان باشد، ناگهان به نمونهای عبرتآموز از خطرات تبعیض الگوریتمی در محافل علمی و خبری تبدیل گشت.گزارش رویترز ثابت کرد که این مسئله فقط یک باگ یا خطای فنی ساده نبوده، بلکه ریشه در رابطه غلط میان دادههای گذشته و تصمیمات آینده داشته است.سیستم یادگیری ماشین آمازون بدون آنکه قصدی داشته باشد، به آینهای تبدیل شده بود که چهره نابرابر و مردانه صنعت فناوری را بزرگنمایی میکرد. این واقعه نشان داد که اگر دادهها بازتاب نابرابری باشند، هوش مصنوعی هم همان نابرابری را با دقتی ماشینی و بیرحمانه به آینده تزریق خواهد کرد.پس از انتشار این گزارش، آمازون دوباره تأکید کرد که این ابزار هرگز به طور کامل عملیاتی نشده و تصمیمات نهایی همواره توسط انسانها گرفته شده است.اما این دفاعیه نتوانست پرسشهای بنیادی را که در ذهن فعالان حقوق مدنی و متخصصان اخلاقِ فناوری ایجاد شده بود، به سادگی پاسخ دهد.
عدالت را نمیتوان تنها به ماشینها سپرد
باید پذیرفت که آمازون با تعریف مجدد مفاهیم خرید و تجارت در جهان، جایگاهی رفیع در تاریخ فناوری دارد؛ اما این شکوه تکنولوژیک نباید ما را از دیدن حقیقتی تلخ غافل کند.اینکه حتی پیشرفتهترین الگوریتمها نیز اگر بر پایه دادههای نابرابر ساخته شوند، میتوانند به پاشنه آشیل تبدیل شوند.هدف از طرح این ماجرا، کوچک شمردن خدمات بیبدیل این شرکت نیست، بلکه هشداری است در باب اینکه «قدرت» بدون «اخلاق»، میتواند به ابزاری برای تثبیت نابرابریهای تاریخی بدل شود. پروژه استخدام آمازون به پایان رسید، اما درسهای بزرگی که از خود به جای گذاشت، همچنان در اتاقهای فکر شرکتهای بزرگ فناوری بحث میشود.در سرتاسر جهان الگوریتمهای بیشماری در حال یادگیری از دادههای ما هستند و آینده ما را بر اساس اشتباهات گذشتهمان پیشبینی میکنند.شاید مهمترین درس این واقعه همین باشد که عدالت مفهومی نیست که بتوان آن را صرفاً با ریاضیات و دادههای آماری به یک ماشین آموخت.انسان همواره باید در مرکز تصمیمگیری باقی بماند تا مانع از تبدیل شدن هوش مصنوعی به یک ماشینِ بازتولیدِ تبعیض در جوامع مدرن شود.
17:06 - 26 دی 1404
0 بازدید