Кто работает с большими данными: разбираем проекты и инструменты

Выхожу с понедельника

Высшее Образование Образование GeekBrains Войти В It Обучение Карьера Бизнес Технологии

Контент предоставлен GeekBrains. Весь контент подкастов, включая выпуски, графику и описания подкастов, загружается и предоставляется непосредственно GeekBrains или его партнером по платформе подкастов. Если вы считаете, что кто-то использует вашу работу, защищенную авторским правом, без вашего разрешения, вы можете выполнить процедуру, описанную здесь https://ru.player.fm/legal.

3+ y ago 55:22

MP3•Главная эпизода

Мы позвали в подкаст bigdata-разработчика. Но во время разговора оказалось, что наш герой — дата-инженер. А мы хотели обратиться к нему как к дата-аналитику — это вообще другие ребята. Но за то, как разместить эту «дату» в хранилище, всё равно часто отвечает инженер, и называется это data governance. А ещё там есть свои собственные администраторы.

На факультете bigdata-аналитики GeekBrains Артём Гогин ведёт курсы по Hadoop, Spark и Kafka, а ещё он bigdata-разработчик в Сбербанке. Благодаря Артёму мы разберёмся в специальностях и обязанностях, а также в том, что это он вообще преподаёт.

0:59 Сколько данных в Сбербанке? Спойлер: много.

4:31 Почему для больших данных важна оперативная память?

10:01 Что делает дата-инженер в хранилище данных. Разбираемся в ролях: инженеры, аналитики, администраторы и не только.

15:03 Что такое Hadoop?

17:14 Можно ли назвать Windows базой данных?

22:07 А что такое Spark?

26:38 Переходим к Kafka. Становится сложнее.

31:54 Хозяева щеночков и кредиты — раскладываем по полочкам типичную задачу для банковской big data.

39:49 Когда вступает дата-инженер и при чём тут data governance.

47:11 Распространенные ошибки дата-инженеров.

Пишите нам на почту: podcast@geekbrains.ru

Ведущий: Николай Землянский

Звук: Фёдор Пудалов, Подкастерская

33 эпизодов

#Высшее Образование #Образование #GeekBrains #Войти В It #Обучение #Карьера #Бизнес #Технологии