データ・ファブリック

スパゲッティを使わないハイブリッド・ストレージ

現在ほとんどの組織では、ローカルサーバー、クラウドバケット、SaaSデータベース、アーカイブスナップショットが混在している。.
エンジニアは、単発のスクリプト、カスタムのETLジョブ、多くのダッシュボードを使って、それらを配線する。.

結局、環境は誰も完全に理解できないスパゲッティ図になってしまう。.
A データファブリック オンプレミスであれ、複数のクラウドであれ、すべてのストレージ・リソースを統合するレイヤーとして機能することで、この問題に対処する。.

モダンアーキテクチャにおけるデータファブリックの定義

データファブリックはアーキテクチャのアプローチであり、単一の製品ではない。.
ハイブリッドクラウドやマルチクラウドにまたがるデータを接続し、保護し、管理する論理レイヤーを構築するのだ。.

すべてを1つの巨大な倉庫にコピーするのではなく、構築するのだ：

• データ資産を発見する一貫した方法

• 一連の共有サービス（セキュリティ、ガバナンス、トランスフォーメーション）

• 多くの消費者から物理的な複雑さを隠すバーチャルな視点

この抽象化により、アプリケーションと分析ツールはファブリックを通じてクエリを実行し、ファブリックは基礎となるストレージにアクセスする場所と方法を編成する。.

データファブリックに織り込まれた主要機能

実装はさまざまだが、成功したファブリックは通常、いくつかの機能を提供する。.

ユニファイド・アクセスと仮想化

ファブリックは、SQLエンドポイント、API、カタログなどの一般的なインターフェイスを通じてデータを公開する。.
多くのシステムのテーブルやオブジェクトを、あたかも1つの論理空間に属しているかのように見せることができる。.
その結果、アナリストは各サイロの接続文字列や認証情報ではなく、データセットとポリシーに集中することになる。.

統合されたガバナンスとセキュリティ

セキュリティとガバナンスは、しばしばツール間に散在する。.
データファブリックは一元化する：

• アクセス制御とポリシー

• マスキングとトークン化のルール

• リネージと使用状況のトラッキング

その結果、監査人は機密性の高いフィールドがどのように移動したかを追跡することができ、管理者はすべてのパイプラインを書き換えることなく、一貫したルールを適用することができる。.

インテリジェントな移動とキャッシング

ファブリックは、データを移動するタイミング、そのままにしておくタイミング、結果をキャッシュするタイミングを決定する。.
すでにデータがある場所にクエリーを送ることもある。.
ユーザーの近くや重い処理エンジンの近くで結果を出すこともある。.

この柔軟性により、パフォーマンスとローカリティの要件を満たしつつ、不必要なコピーを減らすことができる。.

データメッシュとETLに関連するデータファブリック

流行語は重なり合うので、直接比較するのに役立つ。.

建築と所有権

• データファブリック は、統一された技術レイヤーと共有サービスに焦点を当てている。.

• データ・メッシュ は、ドメイン・オーナーシップ、プロダクト・シンキング、フェデレーション・ガバナンスを重視している。.

実際、接続性、カタログ、セキュリティを提供するファブリックの上で、ドメイン・データ製品のメッシュを実行することができる。.

ムーブメントとトランスフォーメーション

ETLはファブリック内でも重要だ。.
パイプラインは、永続的な派生データセットやパフォーマンスに最適化されたストアが必要な場合に、抽出、変換、ロードを行います。.
しかし、生地はこう付け加えた：

• 新しいフローを構築する前に、既存のデータを発見する。

• コピーがオプションになるオンデマンドの仮想化アクセス

• ETLジョブが尊重すべきグローバルポリシー

したがって、ETLはデータを移動させる唯一の方法ではなく、より広範なファブリックの中の1つのツールとなる。.

クイック比較表

データファブリックが最も役立つとき

データファブリックは、実際の多様性とスケールを持つ環境に適合する。.
それが付加価値を生む：

• データは複数のクラウドとオンプレミスに分散

• チームは、重複するデータセットを必要とする多くのツールを実行している。

• セキュリティとコンプライアンスのルールは一貫して適用されなければならない

• プラットフォーム間で大容量をコピーするのは高くつく

逆に、プライマリ・データベースが1つで、レポートがいくつかあるような小規模な組織では、複雑さの恩恵はあまりないかもしれない。.

バックアップ、リカバリ、データ回復力への影響

データ保護の観点から見ると、ファブリックはレジリエンスに対する考え方を変える。.
もはや1つのセントラルストアだけを保護するのではなく、多数のストア、スナップショット、レプリカが相互に接続されたレイヤーを保護するのです。.

ファブリックを意識した保護アプローチ：

• 重要なデータセットがプラットフォーム間でどこにあるかを追跡

• バックアップと保持ポリシーを一元管理

• カタログとメタデータを使用して、正しい場所に正しいバージョンを復元します。

ファブリックの一部が故障したり、ストアが破損したりすると、次のようなツールが使用される。 Amagicsoftデータ復旧 それでも音量レベルでは役に立つ。.
しかし、ファブリックのメタデータとリネージは、どのコピーが重要で、どこに復元すべきかを突き止める作業をスピードアップする。.

Windows 7/8/10/11およびWindows Serverをサポート。.