大規模データ基盤構築: はじめに

近年、企業の意思決定を高速化し、データドリブン経営を実現するための「データ基盤」の重要性が叫ばれています。膨大なデータを活用し、知見を得て、業務や戦略にフィードバックしていく取り組みは、もはや競争力を左右する核心部分となっています。
しかし——
多くの技術ブログやホワイトペーパー、SIerやコンサルティングファームが提示する「データ基盤の教科書」は、理想論ばかりが先行し、現場で実際に構築・運用する立場から見れば、正直に言って机上の空論に過ぎないものが少なくありません。

枠組みを描くだけなら誰でもできる
本ブログの目的
最後に

枠組みを描くだけなら誰でもできる

「全社横断のデータレイクを作ろう」「ETLはモダンなELTに移行」「BIでリアルタイム可視化を」「ガバナンスとセキュリティも最初から考慮して」——これらの言葉を否定するつもりはありません。私たちも、絵を描くことはできます。しかし、絵を描くことと、それを実際に形にすることは全く別の次元です。
たとえば、大きな会社ほど、ルールを作ろうが、ガバナンスを聞かせようが、システムのモダナイゼーションを勧めようが、必ずその枠組みに入らない、いわゆる「理想からは程遠い部分」が出てきます。
SIerやコンサルタントの多くは構想・提案フェーズには長けていますが、それらのほとんどは「理想的な状態」を前提としたものです。しかしながら、実際に構築する者が欲している事は、「完全/理想的な部分」と「不完全/理想からほど遠い部分」が混在している状況でのナレッジや選択肢です。
彼らから提案されたアーキテクチャは、最初はきらびやかに見えても、実際にふたを開けてみると現実とのギャップが次々と明らかになります。

本ブログの目的

このブログでは、「現場で実際に構築する側」の視点から、大規模データ基盤のリアルを記録していきます。対象者は、社内でデータ基盤を構築・運用しているITアーキテクト、データエンジニア、プロダクトオーナーといった方々で、規模は世界グローバル企業で従業員１万～２万人程度です。
以下のようなテーマを、現場知見とともに解説していく予定です。