Визуальная среда разработки

Задача

Предоставить пользователям, не владеющим программированием, возможность создавать свою собственную систему анализа больших данных.

Решение

jStart Beacon - система для создания, редактирования и развёртывания приложений собирающих, анализирующих и отображающих большие данные (Big Data). В состав системы входит визуальный web-based редактор приложений, включающий набор готовых компонентов для интеграции с источниками данных (файлы, базы данных, социальные сети). Пользователь может собирать модель из готовых компонентов, а также самостоятельно редактировать модель обработки потока данных в различных компонентах своей системы. Поддерживается просмотр результатов обработки данных в каждом компоненте в реальном времени, что позволяет оперативно отлаживать модель.

Система позволяет запускать пользовательские модели на кластере Storm, в облаке Cloud Foundry, либо развёртывать для выполнения моделей свой собственный кластер, основанный на контейнерах Docker. Потоки данных обрабатываются в реальном времени на одной из перечисленных выше распределённых систем, а результаты обработки визуализируются непосредственно на веб-клиенте. Возможен запуск моделей и топологий по расписанию.

Система спроектирована так, что может быть расширена дополнительными компонентами, предоставляющими доступ к большему числу источников и приёмников данных. Нашей компанией был, в частности, разработан базовый набор стандартных компонент, обеспечивающих доступ к информации из наиболее распространённых источников данных - файловая система, SQL базы данных, социальные сети. В настоящее время третьесторонние участники проекта разрабатывают дополнительные компоненты - например для работы с NoSQL базой данных mongoDB.