010. Миграция аналитики видео платформы из on-prem в Amazon EMR

AWS на русском

Контент предоставлен Viktor Vedmich. Весь контент подкастов, включая эпизоды, графику и описания подкастов, загружается и предоставляется непосредственно компанией Viktor Vedmich или ее партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

3y ago 36:29

MP3•Главная эпизода

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому

00:29:40 - Инструменты для создания инфраструктуры

00:34:00 - Советы для других
Ссылки

Архитектурные разговоры - EMR + Glue + Lambda

58 эпизодов

#Технологии #Viktor Vedmich