مطالعه جدیدی که توسط محققان Western University در لندن (آنتاریو) انجام شده، نشان می‌دهد که ChatGPT در نیمی از سوالات پیچیده پزشکی، جواب‌های اشتباه می‌دهد و قابل‌اعتماد نیست. این موضوع تا حدودی پیش‌بینی‌ها برای استفاده گسترده از هوش مصنوعی در حوزه سلامت را دچار مشکل کرده.
یکی از محققان این مطالعه گفته با اینکه چت‌جی‌پی‌تی تا کنون تست‌های مختلفی از جمله آزمون پذیرش کالج پزشکی (MCAT) را با موفقیت پشت سر گذاشته، ما می‌خواستیم ببینیم در شرایط پیچیده و با سناریوهای واقعی، جواب‌های این هوش مصنوعی چقدر درست از آب درمی‌آیند.
در این تحقیق، ۱۵۰ پرونده پیچیده پزشکی به چت‌جی‌پی‌تی داده شد و از آن خواسته شد علاوه بر انتخاب جواب درست، توضیح بدهد که چطور به آن جواب رسیده. نتیجه این شد که فقط در ۴۹ درصد موارد، جواب‌ها درست بودند و با استدلال درستی انتخاب شده بودند.
این محققان معتقدند با اینکه قابلیت‌های چت‌جی‌پی‌تی در زمینه‌هایی مثل آموزش و توضیح دادن و دسته‌بندی مسائل به زبان ساده بسیار بالاست، اما شاید بهتر باشد برای گرفتن توصیه‌های پزشکی از آن، کمی دست نگه داریم تا زمانی که به اندازه کافی برای این کار دقت داشته باشد.
اوایل امسال نیز مطالعه مشابهی توسط دانشگاه کلمبیا انجام شد که در آن حدود نیمی از جواب‌های هوش‌های مصنوعی (چت‌جی‌پی‌تی ۴، جمینای و لاما ۲) به سوالاتی که در مورد رقابت‌های اولیه انتخاباتی در ایالات متحده داده بودند، اشتباه بود.
کارشناسان معتقدند با توجه به استفاده روزافزون از هوش مصنوعی توسط همه افراد، بهتر است آموزش‌های اساسی در این مورد به عموم داده شود تا هم یاد بگیرند که چطور از این ابزار به طور موثر و مسئولانه استفاده کنند و هم از انتشار اطلاعات نادرست جلوگیری کنند، مخصوصا در حوزه‌های خیلی حساس، مثل پزشکی.
