Построение DWH (хранилище данных) и аналитической платформы

Развитие хранилища данных и аналитической системы для управляющей организации в сфере городского хозяйства

Отрасль: Городское хозяйство


Проблема
Представьте библиотеку, где каталог, который должен был бы помогать искать книги, был устаревшим и неэффективным. В итоге, книги были разбросаны по полкам, и поиск нужного материала превращался в настоящее испытание. Так же работала аналитическая система у нашего клиента — управляющей компании в сфере городского хозяйства. Хотя система хранения данных существовала, она страдала от множества проблем: использовались разрозненные источники, устаревшая техническая архитектура. Все это создавало значительные препятствия для работы с данными и занимало много времени для получения нужной информации.


Решение
В рамках масштабного проекта по модернизации аналитической системы для управления городским хозяйством наши специалисты реализовали стратегию, основанную на интеграции Open-Source решений и принципов DevOps. В результате удалось создать гибкую и масштабируемую платформу, обеспечивающую высокую скорость обработки и хранения данных и автоматизацию множества процессов, а именно:
      1. Произведен аудит основного хранилища данных.
      2. Усовершенствовано и технически доработано единое хранилища данных (DWH) – процессы DevOps перенесены на новую платформу GitLab, произведено развитие хранилища данных, а именно дэшборды, витрины данных, сбор данных из источников – это обеспечило сбор данных в одном месте, с понятной структурой, их преобразование, хранение и быстрый доступ конечных пользователей.
      3. Создана аналитическая система – система автоматически собирает данные из различных источников, агрегирует, формирует отчёты и позволяет пользователям их использовать для анализа.


Результаты
      ○   Скорость обработки данных увеличилась в 10 раз.
      ○   Повышение производительности и стабильности работы системы.
      ○   Проект внедрён за 6 месяцев и продолжает масштабироваться.


«Мы не просто навели порядок в данных. Мы дали заказчику инструмент, который помогает управлять, а не просто наблюдать», - Николай Дорогов