- データの種類・形式・用途を問わず生のまま大量に蓄積するストレージ基盤。加工前のCSV・JSON・画像・ログ・動画などあらゆるデータをそのまま保存しておいて、後で必要に応じて分析する
- データウェアハウスとの違いはスキーマオンリード（使う時点で構造を決める）だ。DWHは格納時点でデータを整形するスキーマオンライトで素早い分析に向く。データレイクは全部溜めておいて後で使う柔軟性がある
- AWS S3・Azure Data Lake Storage・Google Cloud Storageが実装基盤として使われる。データレイクとDWHを組み合わせた「データレイクハウス」という概念も登場している
【深掘り】これだけ知ってればOK！
データレイクの特徴と仕組みを理解するには、類似サービスとの比較が効果的だ。データウェアハウスとの違いはスキーマオンリード（使う時点で構造を決める）だ。DWHは格納時点でデータを整形するスキーマオンライトで素早い分析に向く。データレイクは全部溜めておいて後で使う柔軟性があるという点が、他のサービスにはない重要な差別化ポイントになっている。
実際の活用シーンを見てみると、AWS S3・Azure Data Lake Storage・Google Cloud Storageが実装基盤として使われる。データレイクとDWHを組み合わせた「データレイクハウス」という概念も登場しているというパターンが代表的だ。これらの用途において性能・コスト・スケーラビリティのバランスが選択の鍵になる。
データレイクはデータウェアハウスとの違という観点から選定されることが多い。導入前に要件を明確にし、コストとメリットを試算することが重要だ。
よくある誤解
データレイクは万能ではない
データレイクはすべての用途に最適なわけではない。用途と要件に合わせて他のサービスと使い分けることが重要だ。
データレイクは設定不要で使えるわけではない
クラウドサービスであっても適切なセキュリティ設定・権限管理・監視体制は必要だ。初期設定の見落としがセキュリティリスクや予想外のコストにつながることがある。
会話での使われ方
データレイクを使い始めたら開発スピードが上がりました。適切なユースケースに使うと本当に効果がありますね。
開発チームのメンバーが技術選定の効果を振り返っている場面。
データレイクとRDBMSをどう使い分けるか、ユースケース別に整理してドキュメント化しておきたいですね。
技術選定の議論でアーキテクトが標準化を提案している場面。
データレイクのコスト、ちゃんと見積もってから使い始めたほうがいいですよ。想定外の請求が来ることがあります。
クラウドコスト管理の観点から先輩が後輩に注意を促している場面。
【まとめ】3つのポイント
- 「データレイクの核心を一言で」：データの種類・形式・用途を問わず生のまま大量に蓄積するストレージ基盤。加工前のCSV・JSON・画像・ログ・動画などあらゆるデータをそのまま保存しておいて、後で必要に応じて分析する
- 適切なユースケースでの活用が性能を最大化する：データウェアハウスとの違いはスキーマオンリード（使う時点で構造を決める）だ。DWHは格納時点でデータを整形するスキーマオンライトで素早い分析に向く。データレイクは全部溜めておいて後で使う柔軟性がある
- コストと要件を事前に試算してから導入を判断する：クラウドサービスの費用は利用パターンによって大きく変わる。導入前の試算と定期的な最適化が重要だ
よくある質問
- Qデータレイクはどんな用途に向いていますか？
- A
AWS S3・Azure Data Lake Storage・Google Cloud Storageが実装基盤として使われる。データレイクとDWHを組み合わせた「データレイクハウス」という概念も登場という用途に特に適しています。
- Qデータレイクの無料枠・試用はありますか？
- A
多くのクラウドサービスには無料枠や試用期間があります。公式ドキュメントで最新の無料枠条件を確認してから始めるのが確実です。
- Qデータレイクを学ぶためのリソースは何がありますか？
- A
公式ドキュメント・AWS/Azure/GCPの無料ハンズオンラボ・Udemy等の講座が代表的な学習リソースです。実際に手を動かすことが最短の習得方法です。
- Qデータレイクと類似サービスの違いは何ですか？
- A
データレイクとは、構造化・非構造化を問わず生のままデータを大量保存するストレージ基盤のこと。データウェアハウスとの違いをIT初心者向けに解説します。用途・コスト・スケール要件の観点から比較して選定することを推奨します。
【出典】参考URL
https://it-araiguma.com/database-types/ ：データベース・DWH関連の解説
https://aws.amazon.com/jp/compare/the-difference-between-block-file-object-storage/ ：クラウドデータサービスの比較
コメント