Откриване и анализ на аномалии в лог файлове | Защитена на: 01/01/1900

Съвременните софтуерни системи непрекъснато обработват увеличаващ се
потребителски трафик, а с него се увеличава и обема на генерираните журнални (лог)
файлове. В журналите се съхранява ключова информация за поведението на системите.
Тяхното обработване продължава да бъде от критично значение за пълноценното
наблюдение и откриване на грешки, но традиционните подходи често изискват постоянна
поддръжка на инфраструктура и трудно се мащабират при динамични натоварвания.
Безсървърните (serverless) архитектури предлагат алтернатива, при която управлението
на ресурси се делегира на облачния доставчик, а разработчикът се фокусира върху
бизнес логиката. Това ги прави особено подходящи за сценарии с неравномерно
натоварване.

Основните предизвикателства в тази област са свързани с обработването на различни
формати на журнали и нуждата от откриване на аномалии. Други трудности са и
интегрирането на съвременни алгоритми за анализ. Съществуващите решения често са с
ограничена гъвкавост, тъй като са проектирани за конкретен тип данни. Освен това,
откриването на аномалии изисква както статистическа, така и интерпретация в контекст на
журналите – задача, която остава само частично решена.

В рамките на дипломната работа е разработено цялостно решение за автоматизирана
обработка и анализ на журнални файлове от електронна търговия. Изградената
архитектура използва безсървърни компоненти за събиране, съхранение, трансформация
и анализ на данни, като включва и модул за откриване на аномалии. Основен акцент е
поставен върху адаптивността към различни формати на журналите, минимална
поддръжка от страна на потребителя и възможност за разширяване с допълнителни
модели за анализ.

Системата е реализирана върху безсървърните услуги на AWS. Системата автоматично
открива нови журнални файлове в S3 (Simple Strorage Service - услуга за съхраняване на
файлове), обработва и обогатява чрез EMR (Elastic Map Reduce - услуга за Map Reduce
операции с големи данни), съхранява резултатите в S3 и визуализира агрегирани данни
чрез QuickSight (услуга за изготвяне на диаграми и визуализации). Аномалиите се
идентифицират чрез комбинация от шаблонно извличане (с алгоритъма Drain3), а
контекстния анализ се извършва с помощта на изкуствен интелект. В процеса са
разработени и механизми за откриване на повтарящи се грешки и събития извън
нормалното поведение.

Предложеното решение показва, че чрез правилно комбиниране на безсървърни услуги
може да се изгради ефективна система за анализ на журнални файлове. Реализираната
архитектура демонстрира висока степен на автоматизация и мащабируемост. Внедрените
механизми за обработка и откриване на аномалии осигуряват добро наблюдение на
сложни системи и ранно откриване на проблеми в тяхната работа. Получените резултати
потвърждават, че безсървърният подход е практичен избор за системи, анализиращи
големи обеми журнални файлове.