Идва ли краят на TikTok? Любимо приложение възкръсва и забранява AI
Приложението за шестсекундни видеа бе спряно през 2017 г.
Защо ChatGPT не казва просто „Не знам“? Учени разкриха неприятната причина зад AI халюцинациите
Какво сочи ново изследване на OpenAI
Изкуственият интелект може да пише впечатляващо добре, да обобщава сложни теми и за секунди да отговаря на въпроси, които преди изискваха часове търсене. Но има един сериозен проблем: понякога той уверено казва неща, които просто не са верни. Тези измислени или фактически неточни отговори са известни като „халюцинации“ на изкуствения интелект. Често причината се търси в недостатъчните или некачествени данни, върху които са обучени моделите. Ново изследване на учени от OpenAI и Технологичния институт на Джорджия обаче показва, че проблемът е много по-дълбок.
Дори ако моделът разполага с идеални данни за обучение, той няма как да знае всичко. Част от въпросите просто нямат надежден отговор. Това обаче води до още по-интересен въпрос: ако изкуственият интелект не знае отговора, защо просто не каже „Не знам“?
Според изследователите една от причините се крие в самата система, по която се измерва представянето на езиковите модели. Много от стандартните тестове дават точка за правилен отговор и нула за грешен или празен отговор. На пръв поглед това изглежда логично. Но има един съществен проблем - моделът няма причина да бъде предпазлив.
Ако има 50 процента шанс да познае правилния отговор, математически за него е по-изгодно да направи предположение, отколкото да признае, че не знае. Така се създава своеобразен парадокс: система, която е обучена да получава високи резултати, може да бъде стимулирана да отговаря дори когато няма достатъчно основания да го направи. Според анализа на учените девет от десет от най-популярните тестове, които са изследвали, оценяват правилния отговор с 1, а празния или неправилния – с 0, пише Kurir.rs.
В резултат моделът, който „се преструва, че знае“, може да изглежда по-успешен от модел, който честно признава несигурността си. Изследователите са направили и математически анализ, за да покажат защо дори огромно количество качествени данни не може да направи един езиков модел абсолютно надежден.
Един от въпросите в експеримента е свързан със способността на модела да определя дали дадено твърдение е вярно или невярно. Логиката е сравнително проста: ако изкуственият интелект не може надеждно да различава истината от лъжата, няма как винаги да генерира верни твърдения. Резултатът от анализа е още по-интересен. Според изследователите общият процент грешки при генерирането на текст трябва да бъде поне два пъти по-висок от процента грешки при класифицирането на твърденията като верни или неверни. С други думи, някои грешки не могат да бъдат премахнати единствено чрез обучение.
Причината е, че съществуват въпроси, които са прекалено сложни, нямат достатъчно информация или просто не следват закономерност, която моделът може да научи. Един от изследователите обяснява идеята с прост пример: ако знаете рождените дати на 49 от 50 ученици, тази информация няма автоматично да ви позволи да познаете рождения ден на петдесетия.
„Никога няма да достигнем 100% точност“
Това означава, че мечтата за AI, който никога не греши, вероятно е нереалистична. „Реалността е, че никога няма да достигнем 100 процента точност“, казва съавторът на изследването Адам Калай от OpenAI. Но според него това не означава, че моделите трябва да измислят отговори, когато не знаят. Именно тук според учените може да се крие един от ключовете към решаването на проблема.
Вместо тестовете да възнаграждават единствено правилните отговори, те могат да започнат да оценяват и способността на AI да разпознава собственото си невежество. Ако моделът няма достатъчно информация, „Не знам“ би трябвало да бъде по-добър от убедителна, но измислена информация.
Хао Пенг от Университета на Илинойс в Урбана-Шампейн предупреждава, че ако моделите бъдат насърчавани да казват „Не знам“ твърде често, те могат да започнат да използват нови стратегии за заобикаляне на тестовете. Това не би било нещо ново. Големите AI модели вече са изключително добри в адаптирането към начина, по който ги оценяват.
Следователно промяната на тестовете може просто да доведе до нова форма на оптимизация, при която моделът се научава кога е по-изгодно да отговори и кога да се откаже.
