Изследване на приложимостта на методи за трансфер на знания при оценка на мнението на потребители | Защитена на: 01/01/1900
Трансферираното обучение е подход, използван при машинното обучение, при който модел, създаден и обучен за една задача, се използва като начална точка за друга задача. Този подход имитира начина, по който хората прилагаме научени знания от една задача за друга.
Целта на дипломната работа е да се изследва приложимостта на методите за трансфер на знания за разпознаване на доволни и недоволни клиенти на база на техните коментари.
В дипломната работа е направен обзор на областта трансфер на знания. Той обхваща темите - езиков модел, рекурентни невронни мрежи, механизмът на вниманието, енкодер, декодер, архитектурата Трансформатор. Разгледани са някои ключови техники, които се прилагат в трансфер на знания и някои от най-разпространените модели към днешна дата, а именно BERT (Bidirectional Encoder Representations from Transformers), XLNet (Generalized Autoregressive Pretraining for Language Understanding) и RoBERTa (A Robustly Optimized BERT Pretraining Approach). Също така, за да бъде направен по-качествен сравнителен анализ са разгледани още модели – ELMo (Embeddings from Language Models), LSTM и наивен Бейсов.
За да се демонстрира приложението на моделите за трансфер на знания е създаден прототип. Целта на този прототип е да разпознава дали един потребителски коментар е положителен или отрицателен. Използваните данни са реални коментари на хора за хотели и са на английски език. Направени са експерименти с избраните модели и са представени постигнатите резултати. Тези, които се основават на архитектурата Трансформатор - BERT, XLNet, RoBERTa постигнаха 95% точност, а основаващият се на LSTM архитектура - ELMo постигна почти 91% точност. За да имаме по-обширна база за сравнение бяха проведени и експерименти с два модела, които не са предварително обучени - Наивен Бейсов и LSTM. Те постигнаха по-ниска точност, което показва превъзходството на моделите, които използват трансфер на знания. При реализирането на проекта е използван език Python и по-конкретно библиотеки pytorch-transformers, keras, scikit-learn.
Получените резултати от проведените експерименти показват, че методите използващите трансфер на знания успешно оценяват потребителските мнения с много висока точност. Въз основа на направения обзор и анализ на резултатите може да се заключи, че предварително обучените моделите превъзхождат моделите, които не използват трансферирано обучение.
С оглед на направеното проучване в областта може да заявим, че трансфер на знания определено ще бъде основна движеща сила и един от ключовите елементи в машинното обучение. Без съмнения ще придобива все по-голяма популярност и ще намира все повече приложения в индустрията.