Сравнителен анализ и оценка на халюцинациите в големи езикови модели на български език | Дата: 05/06/2025

Големите езикови модели (ГЕМ) демонстрират впечатляващи способности в обработката на естествен език, но остават податливи на генериране на фактически невярна информация, известна като "халюцинации". Този проблем е особено изразен при езици с по-малко ресурси, какъвто е българският, и може да компрометира надеждността им в критични приложения. 

Настоящият стаж има за цел да извърши задълбочена оценка на проблема с халюцинациите при водещи големи езикови модели (ГЕМ) за български език. Ще бъде създаден специализиран набор от данни с въпроси от затворен тип, базиран на съществуващия EXAMS набор от данни, за оценка на фактическата точност на моделите, използвайки подхода "Голям езиков модел като съдия". Допълнително, ще бъде приложен  и методът SelfCheckGPT за оценка на подбраните модели.

Анализът на резултатите ще идентифицира областите, в които моделите са най-податливи на генериране на невярна информация, и ще послужи като основа за бъдещи изследвания за намаляване на тези халюцинации.