데이터 패브릭

스파게티 없는 하이브리드 스토리지

현재 대부분의 조직에서는 로컬 서버, 클라우드 버킷, SaaS 데이터베이스, 아카이브된 스냅샷을 혼합하여 사용하고 있습니다.
엔지니어는 일회성 스크립트, 사용자 지정 ETL 작업 및 여러 대시보드를 함께 연결합니다.

결국 환경은 아무도 완전히 이해하지 못하는 스파게티 다이어그램으로 변합니다.
A 데이터 패브릭 는 온프레미스 또는 여러 클라우드에 있는 모든 스토리지 리소스에 대한 통합 계층 역할을 수행하여 이러한 문제를 해결합니다.

최신 아키텍처에서 데이터 패브릭 정의

데이터 패브릭은 단일 제품이 아닌 아키텍처적 접근 방식입니다.
공급업체마다 구현 방식은 다르지만, 하이브리드 및 멀티 클라우드 위치 전반에서 데이터를 연결, 보호, 관리하는 논리적 계층을 만든다는 핵심 아이디어는 일관되게 유지됩니다.

모든 것을 하나의 거대한 창고에 복사하는 대신 구축하세요:

• 데이터 자산을 검색하는 일관된 방법

• 일련의 공유 서비스(보안, 거버넌스, 변환)

• 대부분의 소비자에게 물리적 복잡성을 숨기는 가상 보기

이러한 추상화 덕분에 애플리케이션과 분석 도구는 패브릭을 통해 쿼리하고, 패브릭은 기본 스토리지에 액세스할 위치와 방법을 조율합니다.

데이터 패브릭에 통합된 주요 기능

구현 방식은 다르지만 성공적인 패브릭은 일반적으로 여러 가지 기능을 제공합니다.

통합 액세스 및 가상화

패브릭은 SQL 엔드포인트, API 또는 카탈로그와 같은 공통 인터페이스를 통해 데이터를 노출합니다.
여러 시스템의 테이블과 개체를 하나의 논리적 공간에 속한 것처럼 표시할 수 있습니다.
따라서 분석가들은 각 사일로에 대한 연결 문자열과 자격 증명 대신 데이터 세트와 정책에 집중하게 됩니다.

통합 거버넌스 및 보안

보안과 거버넌스는 여러 도구에 흩어져 있는 경우가 많습니다.
데이터 패브릭은 중앙 집중화됩니다:

• 액세스 제어 및 정책

• 마스킹 및 토큰화 규칙

• 계보 및 사용량 추적

그 결과 감사자는 민감한 필드가 어떻게 이동하는지 추적할 수 있고, 관리자는 모든 파이프라인을 다시 작성하지 않고도 일관된 규칙을 적용할 수 있습니다.

지능형 이동 및 캐싱

패브릭은 데이터를 언제 이동하고, 언제 그대로 두고, 언제 결과를 캐시할지 결정합니다.
때로는 데이터가 이미 있는 위치로 쿼리를 전송하기도 합니다.
때로는 사용자 근처나 무거운 처리 엔진 근처에서 결과를 구체화하기도 합니다.

이러한 유연성으로 불필요한 복사본을 줄이면서도 성능 및 지역 요구 사항을 충족할 수 있습니다.

데이터 메시 및 ETL과 관련된 데이터 패브릭

유행어는 서로 겹치기 때문에 직접 비교하는 것이 도움이 됩니다.

아키텍처 및 소유권 보기

• 데이터 패브릭 는 통합된 기술 계층과 공유 서비스에 중점을 둡니다.

• 데이터 메시 는 도메인 소유권, 제품 사고, 연합 거버넌스를 강조합니다.

실제로 연결성, 카탈로그, 보안을 제공하는 패브릭 위에서 도메인 데이터 제품의 메시를 실행할 수 있습니다.

이동 및 변환 보기

ETL은 여전히 패브릭 내부에서 중요합니다.
파이프라인은 영구적으로 파생된 데이터 세트나 성능에 최적화된 저장소가 필요할 때 추출, 변환, 로드합니다.
하지만 패브릭이 추가됩니다:

• 새로운 흐름을 구축하기 전에 기존 데이터 검색

• 복사가 선택 사항이 되는 온디맨드 가상화 액세스

• ETL 작업이 준수해야 하는 글로벌 정책

따라서 ETL은 데이터가 이동하는 유일한 방식이 아니라 더 넓은 범위의 패브릭 내에서 하나의 도구가 됩니다.

빠른 비교 표

데이터 패브릭이 가장 도움이 되는 경우

데이터 패브릭은 실제 다양성과 규모를 갖춘 환경에 적합합니다.
가치를 더합니다:

• 여러 클라우드와 온프레미스 스토어에 분산되어 있는 데이터

• 팀은 모두 중복되는 데이터 집합이 필요한 많은 도구를 실행합니다.

• 보안 및 규정 준수 규칙은 일관되게 적용되어야 합니다.

• 플랫폼 간에 대용량을 복사하는 데 비용이 많이 듭니다.

반대로, 하나의 기본 데이터베이스와 몇 개의 보고서가 있는 소규모 조직은 복잡성 때문에 큰 이점을 얻지 못할 수도 있습니다.

백업, 복구 및 데이터 복원력에 미치는 영향

데이터 보호 관점에서 보면 패브릭은 복원력에 대한 생각을 바꿔줍니다.
더 이상 하나의 중앙 저장소만 보호하는 것이 아니라 여러 저장소, 스냅샷, 복제본으로 구성된 상호 연결된 계층을 보호합니다.

패브릭 인식 보호 접근 방식:

• 여러 플랫폼에서 중요한 데이터 세트가 있는 위치 추적

• 하나의 보기에서 백업 및 보존 정책을 조정합니다.

• 카탈로그와 메타데이터를 사용하여 올바른 위치에서 올바른 버전을 복구합니다.

패브릭의 일부가 고장 나거나 저장소가 손상되면 다음과 같은 도구가 사용됩니다. Amagicsoft 데이터 복구 볼륨 레벨에서 여전히 도움이 됩니다.
그러나 패브릭 메타데이터와 계보를 사용하면 중요한 사본과 복원할 위치를 찾는 작업이 빨라집니다.

Windows 7/8/10/11 및 Windows Server를 지원합니다.