خطر مرگبار هوش مصنوعی در سلامت؛ تجربه تکان‌ دهنده مشاوره پزشکی یک بیمار سرطانی از چت‌جی‌پی‌تی (ChatGPT)

من این مقاله را تقریباً ساعت ۳ بامداد، در حالی که در لابی کلینیک نشسته‌ام و دوستم در اتاق پشت سرم با یک انکولوژیست (متخصص سرطان) صحبت می‌کند، می‌نویسم. هوای لابی مسلماً آکنده از بوی دارو است و فضایی از غم و اندوهِ غیرقابل انکار در آن جریان دارد که مرا وادار می‌کند هرچه سریع‌تر از این ساختمان خارج شوم. با این حال، حسی که بیش از همه بر من غلبه کرده، خشم و عصبانیت شدید است.

به گزارش بخش اخبار فناوری زوم تک به نقل از دیجیتال ترندز (Digital Trends)، درست یک ساعت قبل بود که تماسی از دوست ۲۴ ساله‌ام دریافت کردم؛ او از سردرد بسیار شدید و دل‌درد غیرقابل تحمل شکایت داشت. او در حال حاضر تحت درمان سرطان سینه است و پس از مشاهده رنج و سختی‌هایی که طی دو سال گذشته پشت سر گذاشته بود، فوراً و با این امید که مشکل جدی نباشد، خودم را به خانه‌اش رساندم. بدون پرسیدن سوال‌های اضافه، نزدیک‌ترین بیمارستان را جستجو کردم و او را برای معاینه اورژانسی بردم.

در مسیر بیمارستان از او پرسیدم که درد دقیقاً از چه زمانی شروع شده و آیا علائم نگران‌کننده دیگری هم داشته است یا خیر. پاسخی که داد مرا به شدت شوکه کرد؛ آن‌قدر که می‌خواستم گوشی‌اش را از دستش بقاپم و آن را تکه‌تکه کنم. او گفت: «بعد از برگشتن از سر کار، کمی احساس سرگیجه داشتم و حس می‌کردم اوضاع معده و روده‌ام روبه‌راه نیست. برای همین از چت‌جی‌پی‌تی (ChatGPT) پرسیدم که آیا می‌توانم مسکن بخورم؟ و چند ساعت بعد از مصرف داروها، دل‌دردم با حس سوزش شدید بدتر شد و چند بار هم بالا آوردم.»

مسئولیت این خطای مرگبار با کیست؟

اعتراف او مرا به شدت تکان داد و لحن کاملاً خونسرد و عادی او در توصیف تعاملش با هوش مصنوعی (AI) حتی ترسناک‌تر بود. این اتفاق ابعاد و لایه‌های تاریک فراوانی دارد، تا جایی که تصمیم گرفتم استفاده از هوش مصنوعی را برای تمام عزیزانم، به‌ویژه در زمینه مکالمات مربوط به سلامت و بهداشت، کاملاً ممنوع کنم. برای فردی که به داروها حساسیت فوق‌العاده بالایی دارد و در حال گذراندن دوره سنگین درمان سرطان است، درخواست تجویز دارو از یک هوش مصنوعی، آخرین کاری است که انتظار دارید از یک انسان عاقل سر بزند.

من دقیقاً نمی‌دانم در این ماجرای خطرناک و تهدیدکننده جان، چه کسی را باید سرزنش کرد. دوستم خیلی ساده از یک داروی مسکن عکس گرفته، آن را وارد ChatGPT کرده و پرسیده بود که آیا می‌تواند دو قرص را همزمان مصرف کند یا خیر. پزشک معالجش تنها مصرف یک قرص در هر نوبت را، آن هم فقط در صورت غیرقابل تحمل بودن درد، تجویز کرده بود. چت‌بات در پاسخ به او اعلام کرده بود که باید تنها یک مسکن مصرف کند و مصرف دو عدد از آن صرفاً با تجویز پزشک مجاز است.

وقتی از او پرسیدم چرا به سراغ یک چت‌بات هوش مصنوعی رفته، در پاسخم گفت: «گرفتن جواب از ChatGPT راحت‌تر است. من اصلاً نمی‌دانم چه چیزی در اینترنت واقعی است.» برای فردی که مجبور شده پس از پایان دبیرستان درس را رها کند و با انجام کارهای متفرقه خرج خانواده‌اش را بدهد، شرایط و تنگنایش را درک می‌کردم. نمی‌توانستم برای او درباره مفاهیم سواد دیجیتال و راستی‌آزمایی اطلاعات سخنرانی کنم. در آن چت خطاهای متعددی رخ داده بود و هر دو طرف ماجرا مقصر بودند.

بحران ترجمه و خطای حافظه مدل‌ های زبانی بزرگ (LLM)

مشکل دقیقاً از همین‌جا آغاز می‌شود. زبان مادری او هندی نیست و زمانی که درخواستش را به زبان هندی ترجمه کرده بود، به خاطر تغییر معنای یک کلمه، یک فاجعه گرامری رخ داده بود. او می‌خواست بپرسد آیا می‌تواند «دو عدد» از داروی داخل تصویر را بخورد؛ اما ترجمه ناقص و دست‌وپا شکسته او باعث شده بود چت‌بات فکر کند او می‌پرسد آیا می‌تواند «هر دو دارو» را همزمان مصرف کند!

اینجا بود که مدل زبانی هوش مصنوعی نیز به اشتباه افتاد. در تصویر ارسالی، قرصی دیده می‌شد که تنها ترکیبات شیمیایی آن شامل «دیکلوفناک» (Diclofenac) و «سراپپتیداز» (Serraptiopeptidase) قابل مشاهده بود و نام برند دارو تنها به صورت نیمه‌کاره دیده می‌شد. با وجود این، هوش مصنوعی به درستی مسکن را چیزی شبیه به «سیپزن-دی» (Cipzen-D) تشخیص داد؛ اما قبل از آن، به داروی دیگری به نام «فناک پلاس» (Fenak Plus) که ترکیب دیکلوفناک و پاراستامول دارد و دوستم قبلاً در مکالمه دیگری درباره‌اش با بات صحبت کرده بود نیز اشاره کرد.

این دو دارو ترکیبات کاملاً متفاوتی دارند، هرچند هر دو به عنوان مسکن‌های بدون نسخه (OTC) در دسترس هستند و نگران‌کننده اینکه حتی می‌توان آن‌ها را بدون نسخه رسمی از داروخانه‌های محلی خریداری کرد. بنابراین در یک نگاه کلی، ما با یک اشتباه انسانی (در ترجمه) و دو خطای ناشی از استخراج داده‌های حافظه توسط ChatGPT مواجه بودیم. با این حال، توصیه نهایی بات از نظر تئوری دقیق بود.

چت‌بات شرکت اوپن‌ای‌آی (OpenAI) به وضوح هشدار داده بود که مصرف همزمان هر دو دارو تصمیم درستی نیست و می‌تواند منجر به اوردوز دیکلوفناک شود. هوش مصنوعی عوارض جانبی شامل احساس سوزش شدید در معده، زخم معده، خونریزی و آسیب‌های بلندمدت به کلیه‌ها را شرح داده بود.

اما به یاد داشته باشید عکسی که به ChatGPT داده شده بود فقط یک مسکن را نشان می‌داد. سیستم پیشنهاد داده بود که در هر بار فقط باید یکی از این مسکن‌ها مصرف شود، نه هر دو. اما دوست من با یادآوری اینکه هر دو دارو در مقاطعی توسط پزشکان تجویز شده بودند (هرچند نه با هم)، هر دوی آن‌ها را برای تسکین سریع درد مصرف کرده و اندکی بعد گرفتار عواقب وحشتناک آن شده بود.

خشم کادر درمان و حذف فوری چت‌بات‌ های هوش مصنوعی

پزشک معالج نیز زمانی که فهمید او چرا دو قرص را همزمان مصرف کرده، به شدت و کاملاً به‌حق عصبانی شد و او را به خاطر عدم مشورت با یک متخصص سرزنش کرد. در ادامه، تزریق دارویی برای تسکین درد او انجام شد و نسخه پزشکی جدیدی برای مسکن‌هایی تجویز شد که به بدن ضعیف و شکننده او آسیبی نزند.

من به عنوان یک خبرنگار حوزه تکنولوژی که بارها درباره خطرات هوش مصنوعی در موضوعات حساسی مانند سلامت و پزشکی نوشته بودم، احساس شکست کامل کردم. حس کردم که هیچ‌وقت با دوستم به شکل جدی درباره خطرات استفاده از این چت‌بات‌ها صحبت نکرده بودم و فقط بعد از این حادثه هولناک بود که به او هشدار دادم.

وقتی او اعتراف کرد که در گذشته نیز چندین بار برای مشاوره پزشکی از ChatGPT استفاده کرده است، گوشی‌اش را گرفتم و این برنامه را پاک کردم. از آن مهم‌تر، از او خواستم که دیگر هرگز به سراغ هیچ چت‌بات دیگری مانند جمنای گوگل (Gemini) یا کلود (Claude) برای مشاوره‌های درمانی نرود و اساساً برای این موارد به اینترنت اتکا نکند. تنها راه نجات و اقدام درست، صحبت مستقیم با پزشک یا مراجعه به درمانگاه است.

بحران برداشت عمومی از هوش مصنوعی؛ یک غول چراغ جادو یا دانشنامه کاذب؟

من او را به طور کامل مقصر این حادثه نمی‌دانم. با توجه به شیوه‌ای که ChatGPT به عنوان یک دانای کل در عادات دیجیتال روزمره توده‌های مردم جا خوش کرده، سرزنش کردن افراد ساده نیست. مردم به آن به چشم یک موتور پاسخ‌دهنده بسیار راحت‌تر (و راستگوتر) در مقایسه با دردسرهای سرچ در موتور جستجوی گوگل (Google Search)، کلیک روی لینک‌های آبی و خواندن متون طولانی وب‌سایت‌ها نگاه می‌کنند.

صادقانه بگوییم، حق با آن‌هاست. دریافت پاسخ‌های صریح از یک چت‌بات با زبان طبیعی و تنها ظرف چند ثانیه، بسیار راحت‌تر از سرگردانی در هزارتوی لینک‌های جستجوی گوگل است. گوگل نیز به خوبی از این تغییر رفتار کاربران آگاه است؛ مسئله‌ای که تمرکز شدید بر افزودن حالت‌های هوش مصنوعی مکالمه‌محور به موتور جستجو را توجیه می‌کند.

در حال حاضر، پاسخ‌های مکالمه‌محوری که توسط جمنای (Gemini) ارائه می‌شوند، در بالاترین بخش نتایج جستجوی معمولی قرار می‌گیرند. ایده این کار یکسان است: ارائه پاسخ‌های خلاصه شده به کاربر پیش از آنکه او بخواهد با باز کردن ده‌ها تب مختلف، در جستجوی عمیق اطلاعات باشد.

باید به این نکته نیز اذعان کرد که ChatGPT (و بیشتر مدل‌های هوش مصنوعی پیشرو) معمولاً زمانی که شخصی درخواست مشاوره پزشکی دارد، با احتیاط عمل می‌کنند. در اکثریت قریب به اتفاق این پاسخ‌ها، چت‌بات‌ها از کاربر می‌خواهند با یک متخصص دارای مجوز مشورت کند یا با خطوط راهنمای مربوطه تماس بگیرد. اما باز هم نحوه ورود این چت‌بات‌ها به افکار عمومی به عنوان یک منبع سریع و قابل اعتماد، همان چیزی است که آن‌ها را به شدت دلهره‌آور می‌کند.

چند روز پیش، در حال تماشای یک مناظره داغ در یک شبکه خبری تلویزیونی بودم. در جریان این بحث پرتنش، یکی از کارشناسان از رقیب خود خواست برای راستی‌آزمایی ادعاها به سراغ ChatGPT برود! در آن لحظه دیدم که از چت‌جی‌پی‌تی درست مانند نسخه مدرن یک دانشنامه معتبر یاد می‌شود؛ آن هم در رسانه‌ای که میلیون‌ها مخاطب را در دومین بازار بزرگ چت‌بات‌های هوش مصنوعی جهان تحت تأثیر قرار می‌دهد.

شکاف زبانی و خطای درک متون غیرانگلیسی در مدل‌ های هوش مصنوعی

ایالات متحده در صدر پذیرش هوش مصنوعی قرار دارد، اما بالاترین سطح آگاهی عمومی در مورد خطرات استفاده از چت‌بات‌ها را نیز داراست. در کشورهایی مانند هند، سواد دیجیتال (و آگاهی از خطرات AI) به مراتب پایین‌تر است و بنابراین پتانسیل خطر بسیار بالاتر می‌رود. این خطر زمانی تشدید می‌شود که صدها هزار نفر از ChatGPT و سایر هوش‌های مصنوعی به زبان‌های بومی خود استفاده می‌کنند. این یکی از عوامل اصلی پشت ماجرای دوست من بود: مشکل درک زبان در ChatGPT.

در یک پروژه پژوهشی که توسط «مرکز ارتباطات سازنده MIT» منتشر شد، مشخص شد که دقت پاسخ‌های ارائه شده توسط چت‌بات‌های هوش مصنوعی در زبان‌های غیرانگلیسی به شدت کاهش می‌یابد. بنچمارک آزمایشی SAHARA نیز اختلاف معنادار مشابهی را در عملکرد هوش مصنوعی هنگام تعامل به زبان‌های غیرانگلیسی فاش کرد. نشریه اکونومیست (The Economist) نیز مقالات متعددی را پوشش داد که در آن‌ها به ضعف ساختاری مدل‌های زبانی بزرگ در درک زبان‌های غیرانگلیسی اشاره شده بود.

موانع زبانی ضریب خطر را به مراتب افزایش می‌دهند. با این وجود، ترجمه تنها چالش موجود نیست. سازمان نظارتی Healthwatch England، یک گروه مستقل حامی حقوق بیماران در سیستم بهداشت عمومی بریتانیا، درباره خطرات استفاده پزشکان از ابزارهای رونویسی هوش مصنوعی (AI Transcription) هشدار داده است. در یکی از گزارش‌های نگران‌کننده آمده است:

«در یک مورد هشداردهنده، یک ابزار هوش مصنوعی خلاصه یک اسکن MRI را بررسی کرده و ثبت نمود که بیمار دچار میلین‌زدایی (Demyelination – یک عارضه عصبی جدی مرتبط با بیماری ام‌اس) شده است؛ در حالی که اسکن در واقع عبارت “Null Demyelination” (عدم وجود میلین‌زدایی) را نشان می‌داد، به این معنی که هیچ مشکلی وجود نداشت!»

ضرورت بازنگری فوری در هشدارهای پزشکی شرکت‌ های توسعه‌ دهنده هوش مصنوعی

این یک نقص آشکار است که مدل‌های زبانی بزرگ باید آن را برطرف کنند، اما مسئله بزرگ‌تری نیز مطرح است: چت‌بات‌های هوش مصنوعی باید در برخورد با موضوعات حساس بسیار هوشمندانه‌تر و محتاط‌تر عمل کنند. پلتفرم‌هایی مانند ChatGPT سیستم‌های کنترل والدین ایجاد کرده‌اند و به کاربران پیشنهاد می‌کنند به دنبال کمک پزشکی بروند و حتی شماره خطوط مشاوره ارائه می‌دهند. شما همچنین پیامی می‌بینید مبنی بر اینکه «ChatGPT یک پزشک نیست».

اما این هشدارها باید دقیقاً در بالاترین نقطه چت (بنر بزرگ) قرار گیرند، نه اینکه در انتهای پاراگراف‌ها مدفون شوند؛ جایی که بیشتر کاربران جواب کوتاه خود را در خطوط اولیه می‌گیرند و زحمت خواندن ادامه متن را به خود نمی‌دهند. این پروتکل ایمنی باید در عمیق‌ترین لایه‌های رفتاری مدل‌های هوش مصنوعی نهادینه شود.

علاوه بر این، ما به آگاهی‌بخشی بسیار گسترده‌ای نیاز داریم. شرکت‌های حوزه فناوری مدام در حال تبلیغ این هستند که چگونه مدل‌های زبانی بزرگ (LLM) مسائل پیچیده ریاضی را حل می‌کنند، انسان‌ها را در المپیادها شکست می‌دهند و به پیشرفت‌های پزشکی کمک می‌کنند. اما همه این دستاوردها تحت نظارت مستقیم متخصصان صورت می‌گیرد. برای یک فرد عادی که چت‌جی‌پی‌تی برای او منبعی سریع و مکالمه‌ای برای دانستن است، نمایش سلب مسئولیت‌ها و هشدارهای سلامتی باید اولویت اصلی باشد.

شرکت OpenAI شاید تصور کند سیاست محتاطانه‌ای در پیش گرفته است، اما دیدگاه عمومی نسبت به ChatGPT با سرعتی سرسام‌آور و خطرناک در حال تکامل است. بسیاری از کاربران به آن مانند مغز متفکر و انسانی نگاه می‌کنند که همه چیز را می‌داند. گزارش‌های زیادی از توصیه‌های درمانی بسیار خطرناک این ابزارها ثبت شده است و تحقیقات پژوهشگران همچنان رفتارهای پرخطر هوش مصنوعی در حوزه‌های حساس را اثبات می‌کند. تنها می‌توان امیدوار بود که OpenAI و سایر غول‌های فناوری، این هشدارها را جدی بگیرند و پیش از وقوع فجایع انسانی بزرگ‌تر، اقدامات قاطعی انجام دهند.