BigQuery

BigQueryの承認済みビューを利用した社内データ公開設計

事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。BigQueryの承認済みビューを利用して社内ユーザに対する閲覧権限を改善した例をご紹介します。

bigframes.pandasを使った計算処理の検討

enechainではリスク計算の基盤としてBigQueryを使っています。しかし、テスタビリティやモジュール化、クエリやテーブルの依存関係の管理に課題があります。そこでbigframes.pandasを検証し、実運用を想定した検討をしました。

BigQueryを使ったロジックのテストについて

BigQueryを使ったロジックをどのようにテストしているか、コア部分にBigQueryを採用しているenechainのリスク管理ツール「eScan」での実践例を紹介します。

BigQuery Emulatorの活用例、直面した問題の紹介とその解決アプローチ

eScanではローカルの開発とテストのためにBigQuery Emulatorを利用しています。eScanでの活用方法やBigQuery Emulatorを活用していく中で得た知見を紹介します。

メガベンチャーからスタートアップのデータ基盤に転職した話

メガベンチャーを中心に働いてきた私がenechainというアーリーステージのスタートアップのデータ基盤チームで働くことになりました。今回は働く中で感じたデータプラットフォームを構築する背景や求められる役割の違いについて紹介します。

Node.js上でのBigQueryのスキーマ管理

Node.js上でBigQueryのスキーマをどのように管理しているか、100近いテーブルを管理しているenechainのリスク管理ツール「eScan」での実践例を紹介します。