BigQuery
事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。BigQueryの承認済みビューを利用して社内ユーザに対する閲覧権限を改善した例をご紹介します。
enechainではリスク計算の基盤としてBigQueryを使っています。しかし、テスタビリティやモジュール化、クエリやテーブルの依存関係の管理に課題があります。そこでbigframes.pandasを検証し、実運用を想定した検討をしました。
BigQueryを使ったロジックをどのようにテストしているか、コア部分にBigQueryを採用しているenechainのリスク管理ツール「eScan」での実践例を紹介します。
eScanではローカルの開発とテストのためにBigQuery Emulatorを利用しています。eScanでの活用方法やBigQuery Emulatorを活用していく中で得た知見を紹介します。
メガベンチャーを中心に働いてきた私がenechainというアーリーステージのスタートアップのデータ基盤チームで働くことになりました。今回は働く中で感じたデータプラットフォームを構築する背景や求められる役割の違いについて紹介します。
Node.js上でBigQueryのスキーマをどのように管理しているか、100近いテーブルを管理しているenechainのリスク管理ツール「eScan」での実践例を紹介します。