Artwork

Вміст надано The Data Flowcast. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією The Data Flowcast або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.
Player FM - додаток Podcast
Переходьте в офлайн за допомогою програми Player FM !

Inside Ford’s Data Transformation: Advanced Orchestration Strategies with Vasantha Kosuri-Marshall

38:54
 
Поширити
 

Manage episode 461360304 series 2948506
Вміст надано The Data Flowcast. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією The Data Flowcast або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

Data engineering is entering a new era, where orchestration and automation are redefining how large-scale projects operate. This episode features Vasantha Kosuri-Marshall, Data and ML Ops Engineer at Ford Motor Company. Vasantha shares her expertise in managing complex data pipelines. She takes us through Ford's transition to cloud platforms, the adoption of Airflow and the intricate challenges of orchestrating data in a diverse environment.

Key Takeaways:

(03:10) Vasantha’s transition to the Advanced Driving Assist Systems team at Ford.

(05:42) Early adoption of Airflow to orchestrate complex data pipelines.

(09:29) Ford's move from on-premise data solutions to Google Cloud Platform.

(12:03) The importance of Airflow's scheduling capabilities for efficient data management.

(16:12) Using Kubernetes to scale Airflow for large-scale data processing.

(19:59) Vasantha’s experience in overcoming challenges with legacy orchestration tools.

(22:22) Integration of data engineering and data science pipelines at Ford.

(28:03) How deferrable operators in Airflow improve performance and save costs.

(32:12) Vasantha’s insights into tuning Airflow properties for thousands of DAGs.

(36:09) The significance of monitoring and observability in managing Airflow instances.

Resources Mentioned:

Vasantha Kosuri-Marshall -

https://www.linkedin.com/in/vasantha-kosuri-marshall-0b0aab188/

Apache Airflow -

https://airflow.apache.org/

Google Cloud Platform (GCP) -

https://cloud.google.com/

Ford Motor Company | LinkedIn -

https://www.linkedin.com/company/ford-motor-company/

Ford Motor Company | Website -

https://www.ford.com/

Astronomer -

https://www.astronomer.io/

Thanks for listening to “The Data Flowcast: Mastering Airflow for Data Engineering & AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

70 епізодів

Artwork
iconПоширити
 
Manage episode 461360304 series 2948506
Вміст надано The Data Flowcast. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією The Data Flowcast або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

Data engineering is entering a new era, where orchestration and automation are redefining how large-scale projects operate. This episode features Vasantha Kosuri-Marshall, Data and ML Ops Engineer at Ford Motor Company. Vasantha shares her expertise in managing complex data pipelines. She takes us through Ford's transition to cloud platforms, the adoption of Airflow and the intricate challenges of orchestrating data in a diverse environment.

Key Takeaways:

(03:10) Vasantha’s transition to the Advanced Driving Assist Systems team at Ford.

(05:42) Early adoption of Airflow to orchestrate complex data pipelines.

(09:29) Ford's move from on-premise data solutions to Google Cloud Platform.

(12:03) The importance of Airflow's scheduling capabilities for efficient data management.

(16:12) Using Kubernetes to scale Airflow for large-scale data processing.

(19:59) Vasantha’s experience in overcoming challenges with legacy orchestration tools.

(22:22) Integration of data engineering and data science pipelines at Ford.

(28:03) How deferrable operators in Airflow improve performance and save costs.

(32:12) Vasantha’s insights into tuning Airflow properties for thousands of DAGs.

(36:09) The significance of monitoring and observability in managing Airflow instances.

Resources Mentioned:

Vasantha Kosuri-Marshall -

https://www.linkedin.com/in/vasantha-kosuri-marshall-0b0aab188/

Apache Airflow -

https://airflow.apache.org/

Google Cloud Platform (GCP) -

https://cloud.google.com/

Ford Motor Company | LinkedIn -

https://www.linkedin.com/company/ford-motor-company/

Ford Motor Company | Website -

https://www.ford.com/

Astronomer -

https://www.astronomer.io/

Thanks for listening to “The Data Flowcast: Mastering Airflow for Data Engineering & AI.” If you enjoyed this episode, please leave a 5-star review to help get the word out about the show. And be sure to subscribe so you never miss any of the insightful conversations.

#AI #Automation #Airflow #MachineLearning

  continue reading

70 епізодів

Minden epizód

×
 
Loading …

Ласкаво просимо до Player FM!

Player FM сканує Інтернет для отримання високоякісних подкастів, щоб ви могли насолоджуватися ними зараз. Це найкращий додаток для подкастів, який працює на Android, iPhone і веб-сторінці. Реєстрація для синхронізації підписок між пристроями.

 

Короткий довідник

Слухайте це шоу, досліджуючи
Відтворити