Artwork

Вміст надано Business Compass LLC. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією Business Compass LLC або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.
Player FM - додаток Podcast
Переходьте в офлайн за допомогою програми Player FM !

Building a Scalable Real-Time Data Ingestion Pipeline on AWS with Python

8:47
 
Поширити
 

Manage episode 461240198 series 3602386
Вміст надано Business Compass LLC. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією Business Compass LLC або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

In today’s data-driven world, efficient and scalable data ingestion pipelines are paramount. Asynchronous programming has become a powerful paradigm for real-time data streams and high-throughput systems. By executing tasks concurrently, asynchronous programming allows developers to optimize resource usage and reduce latency, making it ideal for streaming data ingestion pipelines.

This podcast will explore building a scalable API streaming data ingestion pipeline using AWS services and Python. We will delve into critical aspects such as configuring AWS services with Boto3, establishing connections to Amazon Kinesis and S3, implementing asynchronous data retrieval, and deploying the solution with AWS Lambda and EventBridge.

https://businesscompassllc.com/building-a-scalable-real-time-data-ingestion-pipeline-on-aws-with-python/

  continue reading

100 епізодів

Artwork
iconПоширити
 
Manage episode 461240198 series 3602386
Вміст надано Business Compass LLC. Весь вміст подкастів, включаючи епізоди, графіку та описи подкастів, завантажується та надається безпосередньо компанією Business Compass LLC або його партнером по платформі подкастів. Якщо ви вважаєте, що хтось використовує ваш захищений авторським правом твір без вашого дозволу, ви можете виконати процедуру, описану тут https://uk.player.fm/legal.

In today’s data-driven world, efficient and scalable data ingestion pipelines are paramount. Asynchronous programming has become a powerful paradigm for real-time data streams and high-throughput systems. By executing tasks concurrently, asynchronous programming allows developers to optimize resource usage and reduce latency, making it ideal for streaming data ingestion pipelines.

This podcast will explore building a scalable API streaming data ingestion pipeline using AWS services and Python. We will delve into critical aspects such as configuring AWS services with Boto3, establishing connections to Amazon Kinesis and S3, implementing asynchronous data retrieval, and deploying the solution with AWS Lambda and EventBridge.

https://businesscompassllc.com/building-a-scalable-real-time-data-ingestion-pipeline-on-aws-with-python/

  continue reading

100 епізодів

Усі епізоди

×
 
Loading …

Ласкаво просимо до Player FM!

Player FM сканує Інтернет для отримання високоякісних подкастів, щоб ви могли насолоджуватися ними зараз. Це найкращий додаток для подкастів, який працює на Android, iPhone і веб-сторінці. Реєстрація для синхронізації підписок між пристроями.

 

Короткий довідник

Слухайте це шоу, досліджуючи
Відтворити