Dagster

ワークフロー、タスクで見るか?データで見るか?

この記事は enechain Advent Calendar 2023 の22日目の記事です。 はじめに 現行のデータパイプライン 現状の課題 課題解決へのアプローチ 1. 処理の依存関係視覚化問題への対応 2. 処理とデータの関係性問題への対応 3. データリネージ問題への対応 Task-ce…