Мониторинг блогосферы и поиск потенциальных угроз безопасности
Задача
Наш заказчик решил разработать сервис, который позволит анализировать контент сторонних веб-сайтов (например, форумов и блогов) и обнаруживать информацию о планируемых хакерских атаках и других противоправных действиях. Заказчика заинтересовал наш опыт в обработке больших массивов данных и анализе мнений пользователей социальных сетей, поэтому он выбрал наших программистов для разработки прототипа своего сервиса.
Решение
Компания "Программные технологии" создала рабочий прототип сервиса, который позволяет собирать информацию из разнородных интернет-ресурсов, анализировать её и своевременно предупреждать пользователей о планируемых хакерских атаках и других противоправных действиях. Разработанный сервис состоит из веб-интерфейса для управления параметрами сбора и анализа информации, сервера для сканирования сторонних веб-сайтов, базы данных для хранения результатов сканирования и системы уведомлений пользователей об обнаружении потенциальных угроз. Этот сервис предназначен для банков и компаний, которым важно отслеживать в Интернете информацию, способную нанести вред их бизнесу.
Администраторы сервиса регистрируют новых пользователей и настраивают для каждого пользователя индивидуальную функциональность личного кабинета, исходя из выбранного тарифного плана.
В личном кабинете пользователи указывают список веб-сайтов для сканирования и список поисковых слов, по которым они хотят получать информацию. В качестве поисковых слов могут выступать, например, название банка, номер банковской карты, имя конкретного человека и многое другое. Пользователи также указывают адреса электронной почты для получения оперативных уведомлений об обнаружении потенциальных угроз.
Разработанный сервис сканирует сторонние веб-сайты эмулированием последнего действия пользователя, чтобы обойти защиту этих интернет-ресурсов от ботов. Кроме того, мы используем распределённую сеть серверов луковой маршрутизации (Tor) для обеспечения анонимности трафика.
Результаты сканирования веб-сайтов сохраняются в базу данных в зашифрованном виде. Мы разработали конструктор запросов, который позволяет создавать и сохранять сложные поисковые запросы из заданного списка поисковых слов с использованием логических операторов. Созданные таким образом запросы используются для поиска по результатам сканирования, сохранённым в базе данных. При этом разработанное решение осуществляет полнотекстовый SQL-поиск с учётом морфологии. Из результатов поиска затем удаляются все дубликаты, а оставляются только уникальные данные.
Пользователи получают уведомления на электронную почту, если по результатам сканирования разработанный сервис обнаружил информацию, относящуюся к заданному списку поисковых слов.
В личном кабинете пользователям доступна информация о количестве и содержании отправленных уведомлений за выбранный период.
