Введение и цели аудита платформы данных
Компания «ДАР», входящая в состав ГК «КОРУС Консалтинг», осуществила комплексный аудит платформы данных финансового маркетплейса «Сравни». Этот маркетплейс функционирует в среде Yandex Cloud и служит инструментом для сравнения и выбора разнообразных финансовых и страховых продуктов. Среди предоставляемых услуг — оформление кредитов, ипотечных займов, вкладов, кредитных карт и страховок, включая ОСАГО и каско. В связи с ростом количества посетителей сайта компании было актуальным подтвердить устойчивость и эффективность архитектуры хранилища данных, а также сформировать план дальнейшего развития платформы.
Анализ текущего состояния инфраструктуры
В рамках проведения аудита команда экспертов проанализировала текущую конфигурацию системы, включающую процессы ETL, а также использование таких сервисов Yandex Cloud, как Managed Service for Greenplum, Managed Service for ClickHouse, Data Proc, Argo Workflows и объектное хранилище Yandex Object Storage (S3-совместимое). Целью исследования являлось выявление возможных узких мест и определение мер по повышению стабильности, производительности и масштабируемости платформы.
Рекомендации по оптимизации и развитию платформы
По результатам аудита специалисты подготовили ряд рекомендаций, направленных на улучшение функционирования системы. В числе предложенных мер — оптимизация хранения данных, доработка процессов их загрузки и обработки, перенос части расчетных задач в альтернативные облачные сервисы, а также повышение эффективности витрин данных в ClickHouse с помощью оптимизации структуры хранения и загрузки. Эти шаги позволят повысить быстродействие платформы, снизить время отклика на возможные сбои и повысить общую прозрачность архитектуры.
Стратегия повышения эффективности и планы дальнейшего развития
Кроме того, эксперты подготовили альтернативные сценарии дальнейшего развития инфраструктуры. Одним из ключевых аспектов является создание устойчивой и масштабируемой системы, способной выдерживать растущую нагрузку и поддерживать задачи в области машинного обучения и data science. По словам Екатерины Мосалевой, руководителя отдела аналитики «Сравни», наличие прозрачной и эффективной архитектуры хранения данных является важным элементом подготовки к сложным аналитическим задачам и проектам на базе передовых технологий.
Итоги и закрывающие комментарии
Руководитель центра компетенции платформ данных «ДАР» Павел Ревин отмечает, что опыт работы с различными технологическими инструментами позволил специалистам выявить критические области для улучшения. В процессе анализа удалось четко определить направления оптимизации, что способствует повышению эффективности обработки данных, снижению времени реагирования на инциденты и сбои, а также формированию стратегического плана развития инфраструктуры на базе Yandex Cloud. Такой подход обеспечивает платформе «Сравни» надежную основу для дальнейших инноваций и масштабирования, способствуя достижению бизнес-целей клиента.
