Masato Nakamura
いわゆる普通のソフトウェアエンジニアです。株式会社MonotaROにてEコマース向け次世代アプリケーション開発基盤の開発, 運用を行なっています。
データインフラを活用するためのデータの作成、および、データを生かしたAPIの構築を担当しています。
Session
10-28
16:00
30min
Pythonのワークフローエンジン Apache Airflowを用いた大規模データパイプライン構築と改善
Masato Nakamura
企業の活動をより良くするために、データから価値を生み続けるためにデータ活用を行うことが広く行われるようになってきました。
本公演ではPythonを使って大規模なデータパイプラインを構築していくための考慮すべき点を紹介し、より可用性の高い実行環境を構築する方法を共有します。
特にECサイトでの増え続けるデータに対してApache Airflowのマネージドサービス であるGoogle Cloudの Cloud Composerを使うと、より早く、よりロバストなワークフローが実装しやすくなることを共有します。
Tips of development with Python
track 4