Выпуск 72 - Sparkalaz

 
Поделиться
 

Manage episode 245219972 series 2149521
Сделано Scalalaz Podcast и найдено благодаря Player FM и нашему сообществу. Авторские права принадлежат издателю, а не Player FM, и аудиоматериалы транслируются прямо с его сервера. Нажмите на кнопку Подписаться, чтобы следить за обновлениями через Player FM или скопируйте и вставьте ссылку на канал в другое приложение для подкастов.

episode 72

  • 00:00:15 - Что такое NVIDIA и зачем нам Spark
  • 00:10:30 - Где жмёт PySpark в нашем процессинге и как спасает Scala
  • 00:23:45 - Особенности архитектуры CUDA и какие последствия для реализации Spark on GPU
  • 00:25:29 - Закон мура и почему процессингу придётся двигать в gpu за машинным обучением
  • 00:37:54 - Проблемы построения ML пайплайнов на Spark, Apache Arrow
  • 00:40:06 - Что уже есть в Spark на GPU
  • 00:48:17 - Spark саммит коротенько

Полезные ссылки, которые были упомянуты в выпуске:

Поддержи подкаст: Поддержи подкаст!

А так же, мы решили завести Discord канал, для более тесного общения с вами!

Присоединяйтесь к сообществу Moscow Spark и Data Engineers в Telegram.
Гости: Павел Клеменков, Андрей Титов

Голоса выпуска: Дмитрий Лахвич, Григорий Помадчин, Евгений Токарев

152 эпизодов