Намаляване на халюцинациите в големи езикови модели на български език | Защитена на: 01/01/1900
Големите езикови модели (ГЕМ) демонстрират забележителни способности, но имат
сериозен недостатък – тенденцията да генерират фактически невярна или недоказуема
информация, феномен, известен като "халюцинация". Този проблем е особено изразен при
езици с по-малко ресурси като българския и в специализирани области, където данните за
обучение са оскъдни. Настоящата дипломна работа адресира този проблем, като
разработва и оценява система за извличащо-разширена генерация, базирана на граф на
знание (Knowledge Graph-based Retrieval Augmented Generation [KG-RAG]), с цел да
подобри фактологичната надеждност на големите езикови модели в областта на
българската география.
Основният принос на тази дипломна работа е създаването на цялостна методология и
система, обхващаща целия жизнен цикъл – от изграждането на графа на знание до
неговото използване за генериране на достоверни отговори. Първо беше разработен
специализиран граф на знание за българска география. За тази цел беше приложен нов,
итеративен подход, използващ голям езиков модел за извличане на информация от
българската Уикипедия. Този процес успешно попълни предварително дефинирана OWL
онтология, създавайки структурирана и машинно четима база от знания с над 5 000
същности.
Върху тази основа беше имплементиран многоетапен конвейер, базиран на
извличащо-разширена генерация. За разлика от стандартните подходи за
извличащо-разширена генерация, които разчитат само на векторно търсене, предложената
система използва хибриден механизъм за извличане на контекст. Първоначалното векторно
търсене във векторната база данни ChromaDB идентифицира релевантни кандидати, които
след това се обогатяват чрез n-скокови SPARQL заявки към графа на знание в граф базата
данни GraphDB. Този двуетапен процес съчетава скоростта на семантичното търсене с
прецизността и способността за свързване на факти на графовите заявки.
Извлеченият разширен контекст се филтрира с помощта на специализиран разсъждаващ езиков модел
(OpenAI o4-mini), за да се филтрира шумът от нерелевантните факти, преди да бъде
подаден към финалния генеративен модел BgGPT 27B (insait/insait-gemma-2-27b).
Ефективността на системата беше емпирично валидирана чрез сравнителен анализ спрямо
директните отговори на базовия модел върху специално подготвен тестов набор от 79
въпроса с избираем отговор от матури по география, базиран на EXAMS набора от данни.
За оценка беше приложен строг подход, измерващ не само точността (Accuracy), но и
степен на халюцинация (Hallucination Rate), определена чрез човешка преценка.
Резултатите убедително показват, че докато базовият модел постига 79.75% точност,
показвайки халюцинации. В контраст, предложената KG-RAG система демонстрира
драстично по-ниска степен на халюцинации (7.43%), като същевременно поддържа много
висока точност (93.67%) в случаите, когато е наличен релевантен контекст. Способността
на системата да отказва да отговори при липса на информация е ключова характеристика,
която предотвратява генерирането на неверни твърдения.
В заключение, тази работа успешно демонстрира, че използването на
специализиранструктуриран граф на знание в помощ на голям езиков модел е много
ефективна стратегия за повишаване на тяхната надеждност. Разработената методология и
система представляват солидна основа за бъдещи изследвания в областта на създаването
на по-достоверни и прозрачни езикови технологии за български език.