Google CloudのiPaaSであるApplication Integrationを活用し、BigQueryからSalesforceへのデータ連携基盤の設計・実装を紹介します。 技術選定や設計上の工夫を中心に、enechainでの実際の構築事例をご紹介します。

事業規模の拡大に伴い、各種データへのアクセス権限整備の重要性が増し、BigQuery上のデータも厳密な権限管理が求められるようになりました。BigQueryの承認済みビューを利用して社内ユーザに対する閲覧権限を改善した例をご紹介します。

この記事は enechain Advent Calendar 2023 の22日目の記事です。 はじめに 現行のデータパイプライン 現状の課題 課題解決へのアプローチ 1. 処理の依存関係視覚化問題への対応 2. 処理とデータの関係性問題への対応 3. データリネージ問題への対応 Task-ce…

本記事では、データ品質向上を目標に、ロギングを適切に設計・実装する手法をご紹介します。enechainのプロダクトをデータの側面から支える我々が、どのような方法でロギングを構築したかを実コードを交えながらご説明します。

メガベンチャーを中心に働いてきた私がenechainというアーリーステージのスタートアップのデータ基盤チームで働くことになりました。今回は働く中で感じたデータプラットフォームを構築する背景や求められる役割の違いについて紹介します。

enechainでは機械学習や数理最適化をプロダクトや業務において活用しています。この記事では、データサイエンティストがPoCレベルを脱却して、本番システムの開発を行うためのTipsを紹介します。

enechainでは複数のGCPプロジェクトに跨るアプリケーションのログの統合管理を目的とし、ログルーター機能を用いたログ共通基盤を作成しています。この機能の利用方法を、簡単な実装サンプルとともに紹介します。

enechainのデータパイプラインにデータ品質監視ツールを導入する過程で得た知見を共有し、データ品質向上を目指す皆さんに役立つ情報が提供できれば幸いです。