Откриване на манипулации в снимки и видеа с лицеви изображения | Защитена на: 01/01/1900

Резюме на дипломна работа

 

Тема на дипломна работа:

  “Откриване на манипулации в снимки и видеа с лицеви изображения”

 

Дипломант:

Михаил Димитровски, фн. 855309, специалност: Извличане на информация и откриване на знания, факултет: ФМИ

 

Научен ръководител: Д-р Милен Чечев, Софтуерни технологии, ФМИ

Научен консултант: Проф. Д-р.  Иван Койчев, Софтуерни технологии, ФМИ

 

Резюме:

Описани са съществуващи методи и системи: за анализиране на лицеви изображения и видеа, методи за манипулиране на видеа за лицева размяна и методи за откриване на манипулирани видеа за лицева размяна. Дефинирани са под-задачи за анализиране на лица и тяхно описание, и разработка на прототипи за различните аспекти свързани със лицеви изображения. Направено е сравнение по точност, време и ресурси между различните методи, които решават сходни задачи.

Описани са подходите и съществуващите методи и системи за създаване на фалшиви видеа. Направени са три вида на  експерименти за създаване на фалшиви видеа, с цел да разберем колко знание е необходимо, и доколко качеството на получените резултатите е на ниво да заблуди човек. Първия експеримент показва че когато се използват видеа за целево и референтно лице, които няма скрити части от лицето и лицето е на средна отдалеченост от фотоапарата,  и видеото е с високо качество, вероятността за заблуждение е много голяма. Вторият експеримент показва ограниченията които съществуват при обучение на модел, когато  лицата на видеата са много близо до фотоапарата, съществуват скрити лицеви части и видеата съдържат повече от еден човек. Последният експеримент представлява размяна на лице на автора с лице на Киану Рийвс, като е преминато през всички стъпки за създаване на фалшиво видео. Резултати, които се получават, показват, че дори без налични хардуерни ресурси, чрез използване на Colab и специфично избранни видеа, можем да бъде създадено “Deep Fake” видео. Направихме анализ на получените фалшифицирани видеа, с които намерихме артефакти които различават реално от фалшиво видео.

Последният експеримент използва модел от машинното самообучение, базиран на невронна мрежа които предсказва дали едно видео е “Deep Fake” или не. Експеримента е разделен на два експеримента: създаване на “baseline” като се използва предварително обучена невронна мрежа с която да се извличат  латенти характеристики за лицевите изображения, и вторият експеримент представлява обучение на невронната мрежата да предсказва дали едно изображения е “Deep Fake” или не, като се използва обучаващо множество от изображения, предоставлено от “DFDC”(Deep Fake Detection Challenge). С вторият експеримент са получени резултати, при които се премахват 30% от фалшивите видеа, при това броя на грешни предвиждания да е почти равен на 0. Новият обучен модел, хваща всички фалшиви видеа от експеримента за създаване на фалшиви видеа.