010. Миграция аналитики видео платформы из on-prem в Amazon EMR

AWS на русском

Вміст надано Viktor Vedmich. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією Viktor Vedmich або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

3y ago 36:29

MP3•Головна епізоду

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.

Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM

00:01:47 - Что мигрировали и почему

00:08:25 - С чего начинали миграцию

00:12:23 - Не удачная структура хранения данных

00:15:50 - MapReduce с помощью Jenkins-а

00:20:00 - Проблемы при миграции

00:22:33 - Почему множество Amazon EMR кластеров

00:26:33 - Что сделал бы сейчас по другому

00:29:40 - Инструменты для создания инфраструктуры

00:34:00 - Советы для других
Ссылки

Архитектурные разговоры - EMR + Glue + Lambda

60 епізодів

#Технологии #Viktor Vedmich