))
Подкаст о Data Engineer-ах. Рассказы о сложностях практического Data Engineer-инга, основанные на опыте автора при создании системы аналитики для IOT/WebScraping данных на azure. Упоминаются: azure data explorer, azure data fabric, azure data lake storage, azure data lake analytics и многое другое.
…
continue reading
Обсуждаем и сравниваем ETL системы на примере Apache NIFI и StreamsetsDataCollector. Далее разбираемся в работе EvenHub-ов.Hodza Nassredin
…
continue reading
Продолжаем обсуждение форматов файлов и схем данных.Рассматриваются: выведение схемы данных, проекция сложных типов данных в колонки, преимущества колоночных форматов, кратко о методах сжатия данных.Dremel made simple with Parquethttps://blog.twitter.com/engineering/en_us/a/2013/dremel-made-simple-with-parquet.htmlAvro specshttps://avro.apache.org/…
…
continue reading
Обсуждаем разные форматы файлов для хранения данныхHodza Nassredin
…
continue reading
Подкаст о Data Engineer-ах. В пилотном выпуске краткая информация обо мне и о чем планируется говорить.Упоминаются: azure data explorer, azure data fabric, azure data lake storage, azure data lake analytics и многое другое.Hodza Nassredin
…
continue reading
