Система за откриване на аномалии в облачни системи | Защитена на: 01/01/1900

В облачните структури трафикът е огромен. Изпълняват се милиони операции всекидневно. Много важен компонент за всяка такава външна услуга е надеждната защита. Значителното нарастване на кибер атаките предизвиква сериозни финансови загуби на бизнеса, сигурността на хората и личните им данни. Това налага търсенето на нови, ефективни и автоматизирани  подходи за борба с проблема. Все повече се осъществяват проучвания и разработки в сферата на машинното самообучение и изкуствения интелект. Те се оказват едно ефективно решение за справяне с проблема. За реализиране на своя потенциал те се нуждаят от достатъчен поток от данни, върху които алгоритмите осъществяват анализ и обучение. Научават се да откриват грешки, неизправности, аномалии и дефекти. Благодарение на това може да бъде гарантирана по – висока на защита, сигурност и надеждност.
Както беше споменато, при облачните услуги трафикът е огромен. Физическите машини изпълняват огромно количество операции всекидневно. Част от тях се събират. На даден интервал от време те се записват в лог файлове. Именно тези данни могат да бъдат подложени на алгоритмичен анализ. Вследствие, алгоритмите могат да изградят собственоръчно правила и изводи, които да бъдат използвани за откриването на дефекти и аномалии.
От тук следва и задачата на дипломната работа. Тя се състои в разработването на система, прилагаща различни подходи за откриване на анормални събития в данни, от облачни системи. Системата автономно извършва селекция на най – добрите и ефикасни подходи и алогиртми, на базата на подадените входни оучителни примери.

Накратко задачите на дипломната работа могат да бъдат формулирани в следните точки:

• анализ и проучване на основните подходи за намиране на аномални процеси в данни. Формулиране на списък съдържащ най – добрите и доказали се подходи/алгоритми. Включва се разглеждането на алгоритми от различни сфери, като класификация на данни, клъстеризиране, статистически подходи, както и помощни алгоритми преодоляващи проблеми с данните (шум, проява на класови дисбаланс, избор на атрибути и отстраняване на ненужните, минимизация).
• Изграждане на списък от функционални и нефункционални изисквания, които трябва да изпълнява системата.
• Изграждане на архитектура на системата. За целта се използват UML диаграми, посредством които са представени основната структура на системата. Далеч преди разработката се валидира и верифицира дали архитектурата на системата ще може да предостави необходимата надеждност, функционални и нефункционални изисквания.
• верификация, тестване, провеждане на експериемнти и представяне на резултатите. Внедрен е Boosting алгоритъм, който от една страна осъществява комбиниране на резултати на различни алгоритми, и от друга страма тества класификационните възможности на отделните алгоритми. На база това се правят изводи за тяхната ефективност при дадени данни.

 

За проверка на разработената система се използват публично достъпни данни от UniteCloud – частна облачна инфраструктура в Нова Зеландия. Предоставените данни са подредени в таблица, съставена от 57654 записа. Всеки запис е изграден от 243 характеристики. Налично е и обучаващо множество, както и данни за верификация на разработения метод.
Проведените експерименти са повече от обнадеждаващи. Системата открива подходи и алгоритми, имащи високо ниво на успеваемост в процеса на откриване на аномалии и дефекти.