Проверка на верността на твърдения, съдържащи текст и изображение, в социалните мрежи | Защитена на: 01/01/1900

Измамната фотография може да бъде дефинирана като подвеждащо представяне на изображение за пропагандни или други злонамерени цели, които могат да включват инсценировка, измамна модификация и/или добавяне или пропускане на значим контекст. Измамната фотография обикновено включва изображение и текст (твърдение) към него. Тя може да бъде класифицирана по един от следните начини:

• Реално изображение, вярно твърдение;
• Реално изображение, грешно твърдение;
• Фалшиво изображение, вярно твърдение;
• Фалшиво изображение, грешно твърдение;

В контекста на социалните мрежи измамната фотография може да бъде изключително опасна. Графичната информация се възприема много по-бързо и лесно от човека. При това социалните мрежи се използват все повече, което позволява на едно фалшиво твърдение да достигне до изключително голяма аудитория.

Потенциално решение на този проблем може да бъде намерено с помощта на методи от областта на изкуствения интелект и в частност - машинното самообучение и обработката на естествен език. В рамките на дипломната работа е направен анализ на подходите, използвани досега. Извлечени са характеристиките на новото множеството от данни от социалната мрежа Туитър, конструирано в рамките на преддипломния проект. Направени са редица експерименти върху него с цел създаване на автоматизирана система за проверка на верността на твърдения от областта на измамната фотография. Тези експерименти се различават и надграждат направените до момента в предходни изследвания поради няколко основни причини. Целта отново е всеки пример да бъде правилно класифициран, но за първи път се използва един допълнителен клас. Класовете не са единствено “невярно” и “вярно”, а се включва и “подвеждащо” - реално изображение към невярно твърдение. Така задачата става значително по-трудна, но системата е по-информативна и приложима в реалния свят. 

За решаването на тази задача в настоящата дипломна работа са използвани редица трансформър модели от ново поколение, които постигат изключително високи резултати във всевъзможни задачи в последните няколко години. Част от тях са BERT, RoBERTa, BERTweet и VisualBERT. Целта е да се оцени доколко те могат да се справят с проблема. Тъй като източникът на данни е социалната мрежа Туитър, са използвани и изображенията, и твърденията към тях, и коментарите под самия пост.

В допълнение са направени експерименти, използващи метода на откриване на позицията (stance detection). Оценена е позицията на всеки един коментар под твърдението спрямо фиксиран набор от етикети. Впоследствие резултатите от оценката са обединени с помощта на логистична регресия и изходът е един от трите етикета.

В дипломната работа е направен и задълбочен анализ на резултатите от направените експерименти и е сравнена точността на предсказване на  различните подходи. Дадени са експериментални оценки , доколко е подходящ и се справя всеки един от моделите в решаването на задачата. Анализирано е влиянието на всяка една част от съобщението в Туитър: изображение, твърдение и коментари. Оказва се, че коментарите допринасят най-много за предсказване на правилния клас. Въпреки това, основният извод е, че добавянето на третия допълнителен клас прави задачата изключително трудна и трансформър моделите не постигат особено високи резултати. Макар и с малка разлика, комбинацията от откриване на позицията и логистична регресия се представя най-добре.

В заключението са дадени идеи за продължаване на разработката, които включват промени по множеството от данни като допълнителна нормализация и събиране на допълнителни данни с цел балансиране, оптимизации на част от моделите, комбинации между отделните модели и други.