Artwork

Контент предоставлен Viktor Vedmich. Весь контент подкастов, включая выпуски, графику и описания подкастов, загружается и предоставляется непосредственно Viktor Vedmich или его партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.
Player FM - приложение для подкастов
Работайте офлайн с приложением Player FM !

010. Миграция аналитики видео платформы из on-prem в Amazon EMR

36:29
 
Поделиться
 

Manage episode 325282684 series 3292225
Контент предоставлен Viktor Vedmich. Весь контент подкастов, включая выпуски, графику и описания подкастов, загружается и предоставляется непосредственно Viktor Vedmich или его партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому

00:29:40 - Инструменты для создания инфраструктуры

00:34:00 - Советы для других
Ссылки

  continue reading

46 эпизодов

Artwork
iconПоделиться
 
Manage episode 325282684 series 3292225
Контент предоставлен Viktor Vedmich. Весь контент подкастов, включая выпуски, графику и описания подкастов, загружается и предоставляется непосредственно Viktor Vedmich или его партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому

00:29:40 - Инструменты для создания инфраструктуры

00:34:00 - Советы для других
Ссылки

  continue reading

46 эпизодов

Все серии

×
 
Loading …

Добро пожаловать в Player FM!

Player FM сканирует Интернет в поисках высококачественных подкастов, чтобы вы могли наслаждаться ими прямо сейчас. Это лучшее приложение для подкастов, которое работает на Android, iPhone и веб-странице. Зарегистрируйтесь, чтобы синхронизировать подписки на разных устройствах.

 

Краткое руководство