№22: Delta Lake – Чесний Опенсорс Чи Датабріксовий Вендор Лок Опівночні Балачки podcast

№22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

1y ago 51:34

Поширити

Вміст надано Денис, Ігор, Саша. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією Денис, Ігор, Саша або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

В гостях – Олександр з Zalando

🔞 Ми перестали вирізати матюки 🔞

Робочі посилання в каналі https://t.me/midnight_chatter

00:00-00:30 Дисклеймер
00:30-01:50 Інтро і 🇩🇪Data See
01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
02:31-04:00 Звідки назва? Дельта формат і дата лейк
04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
13:40-14:46 Неструктуровані дані і дельта лейк
14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
19:28-22:15 Як дельта лейк працює на запис
22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”.
35:59-36:26 Милі котусики сперечаються, хто кого більше любить
36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
44:47-47:37 Зручніть розгортання копій таблиць
47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
48:57-50:00 Заглядаємо в саму суть дельти ака висновки
50:00-51:34 Outro

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Twitter: @O_Balachky

TikTok: @o_balachky

Музика: https://www.streambeats.com/ | @stas_gee

42 епізодів