この記事はenechain Advent Calendar 2024の13日目の記事です。 (English version follows) はじめに アーキテクチャと設計上の考慮点 セキュリティ 使いやすさ 振り返りと課題 振り返り 課題 結論 Introduction Architecture and Design considerations Sec…

enechainにおけるデータ基盤の構築においてデータメッシュの考え方をどのように取り込んだのか、BigQueryのデータ管理に焦点を当ててお伝えします。

事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。BigQueryの承認済みビューを利用して社内ユーザに対する閲覧権限を改善した例をご紹介します。

enechainではリスク計算の基盤としてBigQueryを使っています。しかし、テスタビリティやモジュール化、クエリやテーブルの依存関係の管理に課題があります。そこでbigframes.pandasを検証し、実運用を想定した検討をしました。

BigQueryを使ったロジックをどのようにテストしているか、コア部分にBigQueryを採用しているenechainのリスク管理ツール「eScan」での実践例を紹介します。

eScanではローカルの開発とテストのためにBigQuery Emulatorを利用しています。eScanでの活用方法やBigQuery Emulatorを活用していく中で得た知見を紹介します。

メガベンチャーを中心に働いてきた私がenechainというアーリーステージのスタートアップのデータ基盤チームで働くことになりました。今回は働く中で感じたデータプラットフォームを構築する背景や求められる役割の違いについて紹介します。

Node.js上でBigQueryのスキーマをどのように管理しているか、100近いテーブルを管理しているenechainのリスク管理ツール「eScan」での実践例を紹介します。