大規模データ基盤構築: はじめに

データ基盤を作ろう・・・
枠組みを描くだけなら誰でもできる
一連の記事の目的
最後に

データ基盤を作ろう・・・

データを様々なことに活用していこう、というのは、ブームではなく時代の流れといえます。
企業の DX 活動でも、「データ活用」「データドリブン経営」など、様々な言葉として表れていますが、まだまだその指標となるものがないのも事実です。

近年、データ活用のため「データ基盤」を作ろうとしている企業は多いと聞きます。
しかし——
多くの技術ブログやホワイトペーパー、SIerやコンサルティングファームが提示する「データ基盤の教科書」は、理想論ばかりが先行し、現場で実際に構築・運用する立場から見れば、正直に言って机上の空論に過ぎないものが少なくありません。

枠組みを描くだけなら誰でもできる

「全社横断のデータレイクを作ろう」「ETLはモダンなELTに移行」「BIでリアルタイム可視化を」「ガバナンスとセキュリティも最初から考慮して」——これらの言葉を否定するつもりはありません。私たちも、絵を描くことはできます。しかし、絵を描くことと、それを実際に形にすることは全く別の次元です。
たとえば、大きな会社ほど、ルールを作ろうが、ガバナンスを聞かせようが、システムのモダナイゼーションを勧めようが、必ずその枠組みに入らない、いわゆる「理想からは程遠い部分」が出てきます。
SIerやコンサルタントの多くは構想・提案フェーズには長けていますが、それらのほとんどは「理想的な状態」を前提としたものです。しかしながら、実際に構築する者が欲している事は、「完全/理想的な部分」と「不完全/理想からほど遠い部分」が混在している状況でのナレッジや選択肢です。
彼らから提案されたアーキテクチャは、最初はきらびやかに見えても、実際にふたを開けてみると現実とのギャップが次々と明らかになります。