Clever Observer - Уеб базирана платформа за събиране и статистически анализ на данни за пазара на автомобили ("Digger" - модул за събиране, унифициране и съхраняване на данни от разнородни източници) | Защитена на:

Резюме

на дипломна работа

Тема: Clever Observer - Уеб базирана платформа за събиране и статистически анализ на данни за пазара на автомобили

Дипломант:  Велихан Невенов Зелев

Специалност: Софтуерни технологии

Факултетен номер:  M24357

 

Проектът “Clever Observer” представлява система, насочена към оптимизиране и подобряване на качествата на пазара на превозни средства и по-точно на автомобили. Той работи с множество източници на данни като по този начин има възможност да проследява правилно и да анализира движенията на въпросния пазар. Функционално проектът е насочен към улесняването на всички страни от пазара на автомобили в извършването на тяхната дейност, респективно купувачите (физически лица, дилъри, прекупвачи) да намират и купуват по-лесно и безпроблемно желаното превозно средство, а продавачите (дилърите, автокъщи, вносители и т.н.) да публикуват само по една обява за всеки свой продаван автомобил на едно място, вместо да публикуват една и съща обява във всеки известен портал за покупко-продажби на превозни средства. “Clever Observer” извлича информация относно обяви за превозни средства от множества портали за покупко-продажби на превозни средства, което елиминира нуждата от това купувача да търси желания автомобил на няколко такива портали, а е достатъчно да посети или да се абонира за известия в “Clever Observer” относно всяка нова обява, която отговаря на критериите заложени от потребителя. Също така се елиминира нуждата на всеки продавач да публикува една и съща обява на няколко портали, защото всичките тези портали биват четени от “Clever Observer”.

“Clever Observer” е Big data платформа, която си служи с различна и неструктурирана информация, на чиято база излага различни статистики и анализи, които могат да подобрят пазара на превозни средства.

В рамките на настоящата дипломна работа е проектиран и разработен модул, наречен Digger, за събиране, филтриране, унифициране и съхраняване на данните, с които системата работи. Тези данни се извличат от разнородни източници, което означава, че данните са в разнороден формат и една от главните цели на “Digger” е да конвертира данните до единен формат за цялата система. Бяха реализирани два примерни модула, които извличат данни от mobile.bg и от cars.bg

Дипломната работа е структурирана както следва:

Уводната глава дефинира актуалността на проблема и дефинира целите и ползите от настоящата дипломна работа.

Втора глава прави обзор на предметната област и анализира сходните съществуващи продукти.

Трета глава съдържа анализът на изискванията, свързани със събиране, унифициране и съхраняване на данни от разнородни източници и  нотифициране (Модул “Digger”)

В Четвърта глава се разглежда анализът и избор на софтуерни технологии за събирането и унифицираното съхраняване на данни от разнородни източници

Глава пета е изцяло посветена на реализацията на модула “Digger”. В нея са описани всички инструменти, способи и практики, които са използвани.

Глава шеста цели да обобщи и да опише изводите от разработката на дипломната работа.