Finance領域の複雑な集計処理を、Goバッチからdbtへ移行した事例。機能開発と集計の責務を分離し、変更に強くスケーラブルなデータ基盤を実現したアーキテクチャ刷新の裏側を紹介します。

本記事では、複数のドメインチームが持つ独自のロジックを、依存関係を保ちながら処理するデータパイプラインの構築を実践した例をご紹介します。 具体的なアーキテクチャパターン選定の経緯や、Argo Workflows上での実装内容、そして実際の運用において得ら…

enechainのデータプラットフォームデスクが開発運用するETLデータパイプラインをArgo Workflowsに移行した過程を解説。Datadogで行うArgo Workflowsのモニタリングについて詳細を紹介します。

enechainでは高速化・安定化を目的にBigQuery + Argo Workflowsの計算処理基盤を構築しました。全体の構成や構築の際に検討したこと、得られた知見を紹介します。