資料映射

資料映射是資料移動的藍圖

當團隊在系統之間移動資料時，故障通常不會從副本本身開始。.
當沒有人能清楚解釋每個來源欄位應該如何落在目標模型中時，問題就開始了。.

資料映射解決了這個問題。.
它詳細定義了數值如何從一個儲存系統或格式移動到另一個儲存系統或格式，因此 ETL 工作和遷移工具的行為是可預測的。.

資料映射背後的核心概念

資料映射的核心是將 來源結構 至 目標結構.
您不再只考慮表格或檔案，而是在列、欄位、關係和規則的層面上工作。.

完整的地圖通常會指定：

• 來源物件 (資料表、檢視、檔案、API)

• 目標物件 (倉庫資料表、應用程式實體、報表)

• 欄位層級規則：直接複製、轉換和查詢

• 唯一性、必填欄位和有效範圍等限制條件

因此，地圖成為 ETL、整合和遷移程序必須遵循的合約。.

資料映射在 ETL 和遷移中的作用

在 ETL 期間，工作會抽取記錄、套用轉換並載入結果。.
然而，這些轉換不應該只存在於程式碼中。.
他們應該遵循業務使用者和工程師可以一起檢閱的文件化地圖。.

在移轉專案中，資料映射會引導每個決策：

• 哪些傳統欄位仍然重要

• 如何將多個來源合併為單一目標模型

• 將舊系統中沒有的值放在哪裡

因此，精確的映射可減少切換過程中的意外，並讓驗證變得更容易。.

映射規則和資料類型的種類

不同的場景需要不同的映射方式。.
您很少只使用一個。.

常見的映射樣式

• 直接映射： 以相容的類型從來源複製值到目標。.

• 轉換映射： 應用公式、解析或單位轉換。.

• 查詢或參考映射： 以標準值取代代碼。.

• 條件映射： 根據標誌或範圍以不同方式路由記錄。.

這些模式一起涵蓋了大部分的整合與移轉需求。.

典型資料類型系列

雖然平台揭露許多資料類型，但最常出現的有四個系列：

• 文字資料 (字串和字元)

• 數值資料（整數和小數）

• 日期和時間資料（時間戳記和間隔）

• 二進位或布林資料（真/假旗標和原始位元組）

由於類型不匹配會產生微妙的錯誤，因此映射應該明確地指出類型期望。.

建立資料映射的實用步驟

有效的資料繪圖遵循可重複的方法，而非一次性的腦力激盪會議。.

準備與來源發現

首先，您要剖析來源：

• 識別權威系統和表。.

• 檢查實際數值，而不只是文件。.

• 注意範圍、格式和 null 模式。.

此外，您還可與網域專家釐清業務意義，這樣列名就不會誤導您。.

設計來源到目標規則

接下來，您要設計映射：

• 將每個目標欄位對齊一個或多個來源欄位。.

• 決定您需要哪些轉換或查詢。.

• 定義缺失或可選欄位的預設值。.

• 以簡明的語言記錄假設和邊緣情況。.

在迭代的過程中，您必須保持技術與業務的觀點一致。.

驗證與維護地圖

最後測試地圖：

• 使用真實資料執行 ETL 作業範例。.

• 比較計數、總和及關鍵關係。.

• 當驗證發現隱藏的問題時，調整規則。.

因為系統是不斷演進的，所以您必須將映射視為活生生的藝術品，而非靜態的試算表。.

用於治理和 GDPR 的資料映射

GDPR 等法規要求組織瞭解個人資料的存放位置以及系統使用方式。.
因此，簡單的儲存圖表並不足夠。.

資料映射透過以下方式提供協助：

• 列出哪些欄位包含個人或敏感資料

• 顯示這些欄位在應用程式和報告中的位置

• 支援資料當事人存取請求與刪除工作流程

當您能夠從一個人的識別碼指向每一個映射欄位和目標時，您就可以放心地處理管理任務。.

使用 SQL、Excel 和專用工具

您不需要複雜的平台來開始資料映射，雖然較大的團隊通常會在之後採用專門的工具。.

SQL 和映射

SQL 可協助您探索並驗證對應：

• 剖析查詢可揭示實際的分佈和異常現象。.

• JOIN 模擬未來的整合。.

• 視圖可在永久負載前實現映射結構。.

因此，SQL 通常既是映射決策的顯微鏡，也是測試台。.

Excel 與輕量級繪圖網格

Excel 仍然可以很好地用作映射畫布：

• 一列用於來源資料表，一列用於來源欄位

• 一列針對目標資料表，一列針對目標欄位

• 轉換備註和資料類型的附加欄位

之後，ETL 開發人員會將此網格轉換成工作和腳本。.
在規模較小的團隊中，這張表通常會成為第一張大家都能看見的中央地圖。.

Microsoft 生態系統選項

Microsoft 也提供了支援映射任務的工具。.
例如：, Power Query 讓使用者以視覺化的方式定義列層級的轉換，以及 Azure 資料工廠 或 突觸 管道以規模實現映射流量。.

即使您使用這些工具，清晰的對應文件也能讓邏輯保持透明，以便進行稽核和故障排除。.

圍繞備份與復原的資料映射

備份、歸檔和復原工作流程也取決於映射。.
您不僅需要知道資料的位置，還需要知道備份目錄與實際儲存位置和業務實體的關係。.

例如，從 Amagicsoft 資料復原 可以地圖：

• 復原工作至特定裝置和磁碟區

• 資料夾至企業主或系統

• 保留或額外驗證政策的檔案類型

因此，事件回應者可以從業務問題 (「我們復原了哪些專案檔案？」) 跳到精確的技術細節。.

支援 Windows 7/8/10/11 和 Windows Server。.