فصل ۱ · قسمت ۳
وقتی اشتباه میکنند، یک جور اشتباه نمیکنند
متنِ این قسمت
قسمتِ قبل را با یک سوال تمام کردیم: اگر مدل دنبالِ درستی نیست، وقتی چیزی نمیداند چه میکند؟ سکوت که نمیکند. برای جواب، باید ببینیم خطای این دو سیستم از یک جنس نیست.
نرمافزارِ تشخیصی بیخطا نیست. گاهی ضایعهای را که هست نمیبیند، گاهی سایه را ضایعه میخواند. ولی به جنسِ این خطا دقت کنید: حتی وقتی سایه را پوسیدگی میخواند، آن سایه واقعاً روی رادیوگرافی هست. چیزی واقعی آنجا بوده که گمراهش کرده. خطایش بدخواندنِ یک چیزِ موجود است، و میشود ردش را گرفت و رسید به همان لکهای که اشتباهش انداخته.
مدلِ زبانی فرق دارد. وقتی چیزی را در آن متنهای عظیم بهقدرِ کافی ندیده، سرِ دوراهیِ «نمیدانم» و «یک چیزی بساز» نمیایستد؛ اصلاً چنین دوراهیای برایش وجود ندارد. کارش از اول چیدنِ محتملترین کلمهی بعدی بوده، و همین کار را میکند، چه واقعیتی پشتش باشد چه نباشد. کلمهها را کنار هم میچیند تا چیزی بسازد که شکلِ جوابِ درست را دارد.
و تفاوتِ اصلی همینجاست. خطای نرمافزارِ تشخیصی همیشه به چیزی واقعی گره خورده؛ چیزی بوده و او بد خواندهاش. ولی خطای مدلِ زبانی میتواند به هیچ چیز گره نخورده باشد. مقالهای نبوده که بد خوانده باشدش، مقاله از اساس هرگز وجود نداشته. آن یکی یک لکهی واقعی را غلط برچسب میزند؛ این یکی میتواند چیزی را که هیچجا نیست، با نام و جزئیات، جلوی شما بگذارد.
و اینجاست که خطرش بیشتر میشود. خطای نرمافزار را میشود گرفت، چون رادیوگرافی جلوی چشمتان است و خوانشِ خودتان را با خوانشِ او میسنجید. ولی وقتی مدل چیزی میسازد که وجود ندارد، چیزی برای مقایسه نیست؛ فقط یک متنِ روان و مطمئن که شکلِ جوابِ واقعی را دارد. تنها چیزی که لوش میدهد دانشِ خودِ شماست. اگر آن را نداشته باشید، هیچ نشانهای در خودِ متن نیست که بگوید این تکه را از خودم ساختم.
این خطا، که مدل با اطمینانِ کامل چیزی میسازد که وجودِ خارجی ندارد، آنقدر مهم است که اسمِ خودش را دارد. قسمتِ بعد را کامل به آن میدهیم. اول باید ببینیمش، رو در رو.
نرمافزارِ تشخیصی بیخطا نیست. گاهی ضایعهای را که هست نمیبیند، گاهی سایه را ضایعه میخواند. ولی به جنسِ این خطا دقت کنید: حتی وقتی سایه را پوسیدگی میخواند، آن سایه واقعاً روی رادیوگرافی هست. چیزی واقعی آنجا بوده که گمراهش کرده. خطایش بدخواندنِ یک چیزِ موجود است، و میشود ردش را گرفت و رسید به همان لکهای که اشتباهش انداخته.
مدلِ زبانی فرق دارد. وقتی چیزی را در آن متنهای عظیم بهقدرِ کافی ندیده، سرِ دوراهیِ «نمیدانم» و «یک چیزی بساز» نمیایستد؛ اصلاً چنین دوراهیای برایش وجود ندارد. کارش از اول چیدنِ محتملترین کلمهی بعدی بوده، و همین کار را میکند، چه واقعیتی پشتش باشد چه نباشد. کلمهها را کنار هم میچیند تا چیزی بسازد که شکلِ جوابِ درست را دارد.
و تفاوتِ اصلی همینجاست. خطای نرمافزارِ تشخیصی همیشه به چیزی واقعی گره خورده؛ چیزی بوده و او بد خواندهاش. ولی خطای مدلِ زبانی میتواند به هیچ چیز گره نخورده باشد. مقالهای نبوده که بد خوانده باشدش، مقاله از اساس هرگز وجود نداشته. آن یکی یک لکهی واقعی را غلط برچسب میزند؛ این یکی میتواند چیزی را که هیچجا نیست، با نام و جزئیات، جلوی شما بگذارد.
و اینجاست که خطرش بیشتر میشود. خطای نرمافزار را میشود گرفت، چون رادیوگرافی جلوی چشمتان است و خوانشِ خودتان را با خوانشِ او میسنجید. ولی وقتی مدل چیزی میسازد که وجود ندارد، چیزی برای مقایسه نیست؛ فقط یک متنِ روان و مطمئن که شکلِ جوابِ واقعی را دارد. تنها چیزی که لوش میدهد دانشِ خودِ شماست. اگر آن را نداشته باشید، هیچ نشانهای در خودِ متن نیست که بگوید این تکه را از خودم ساختم.
این خطا، که مدل با اطمینانِ کامل چیزی میسازد که وجودِ خارجی ندارد، آنقدر مهم است که اسمِ خودش را دارد. قسمتِ بعد را کامل به آن میدهیم. اول باید ببینیمش، رو در رو.
کلیدواژهها
توهم هوش مصنوعی (hallucination)
خطای مدل زبانی
هوش مصنوعی تشخیصی
مدل زبانی بزرگ (LLM)
ساختِ اطلاعاتِ جعلی
محتمل در برابر درست
اعتماد به هوش مصنوعی
ChatGPT
تشخیص پوسیدگی
رادیوگرافی
سواد هوش مصنوعی
برچسبها
محتوای مرتبط
بازگشت به فهرست پرامپتولوژیست
← قسمت قبلی
قسمت بعدی →