Работа с большими данными

Веб-разработка в области больших данных

Опыт разработки DBMS для больших данных

Разработкой систем управления базами больших данных компания Сайт Мэйкерс занимается с 2002 года.

Изначально это были накапливаемые данные пользовательской активности для крупных проектов в сфере электронной торговли. Позже системы управления большими данными разрабатывались преимущественно для веб-сервисов и гибридных приложений.

Внедрение в веб-проекте DBMS для больших данных

В настоящее время уже практически не создаются веб-сервисы, которые изначально не были бы приспособлены для накопления и дальнейшей обработки больших данных.

Именно поэтому, отдельной разработки систем накопления и обработки больших данных для новых проектов уже никто не заказывает. При создании новой платформы оказания услуг многомиллионной аудитории сразу ставится задача организации накопления и обработки больших данных.

Тем не менее, к нам часто обращаются с запросом разработки систем управления большими данными для уже давно созданных, действующих активных платформ.

Причина здесь кроется именно в том, что при создании таких платформ разработчики не учли объем накапливаемых данных, а используемые ими, зачастую OpenSource, СУБД не справляются с высокой нагрузкой. Из-за этого платформы начинают "трещать по швам", а пользователи - отказываться от них.

Таким заказчикам мы вынуждены объяснять, что им придется пойти либо на значительную переделку (более 70%) существующей платформы, либо на разработку новой платформы, потому что накопление, обработка и обслуживание больших данных, напрямую связаны и невозможно "просто заменить базы".

Именно поэтому убедительно просим всех, кто задумывается о разработке новых платформ обслуживания массового клиента, не пытайтесь сэкономить, выбирая готовую СУБД. Обязательно нанимайте опытных профессионалов, которые создадут для Вас подходящее под конкретный проект решение.

Разработка систем обработки больших данных

Разработка систем для больших данных обязательно начинается с разработки уникальной архитектуры решения.

Архитектура решения включает в себя:

• форматы, протоколы и параметры информационных потоков, а также схема их пересечения,
• формат распределенного хранения данных по масштабируемому серверному оборудованию,
• перечень функционала накопления, очистки, обработки и анализа больших данных,
• схема распределения функционала по серверному оборудованию,
• требования к оборудованию и правила масштабирования, включая условия и порядок ввода в эксплуатацию дополнительных мощностей,
• задачи для искусственного интеллекта,
• условия стресс тестирования.

Архитектура решения должна предусматривать возможности гибкого перепрофилирования системы работы с большими данными при внезапном возникновении препятствий, например, при невозможности своевременного ввода в эксплуатацию новых мощностей.

Не тратьте время на поиск "готовых решений" в области обработки больших данных. Вас ждет либо гигантская переплата (десятки миллионов долларов) за мощный продукт от лидеров рынка, из которого Вы будете использовать менее одного процента фактических возможностей, либо (что случается чаще всего) Вас просто обманут, и Вы получите обычное решение, никак не связанное с накоплением и обработкой больших данных, все проблемы которого всплывут лишь после выхода проекта на серьезную нагрузку.

Разработка систем для больших данных всегда имеет индивидуальные особенности. Разработка с учетом этих особенностей позволяет и получить качественно лучшее решение, и сэкономить значительные средства за счет уменьшения объема разработки.