【数据架构】什么是数据架构？管理数据的框架

语言 Chinese, Simplified

SEO Title

Cio.com What is data architecture? A framework for managing data

数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。

数据架构定义

根据 The Open Group Architecture Framework (TOGAF)，数据架构描述了组织的逻辑和物理数据资产以及数据管理资源的结构。它是企业架构的一个分支，包括管理组织中数据的收集、存储、安排、集成和使用的模型、策略、规则和标准。组织的数据架构是数据架构师的职权范围。

数据架构目标

数据架构的目标是将业务需求转化为数据和系统需求，并管理数据及其在企业中的流动。如今，许多组织都在寻求对其数据架构进行现代化改造，以此作为充分利用 AI 和实现数字化转型的基础。咨询公司 McKinsey Digital 指出，由于流程复杂性而非技术复杂性，许多组织未能实现其数字化和人工智能转型目标。

数据架构原则

Splunk 核心产品产品管理副总裁兼 AtScale 前产品管理副总裁 Joshua Klahr 表示，六项原则构成了现代数据架构的基础：

数据是一种共享资产。现代数据架构需要消除部门数据孤岛，并为所有利益相关者提供公司的完整视图。
用户需要足够的数据访问权限。 除了打破孤岛之外，现代数据架构还需要提供界面，使用户能够使用适合其工作的工具轻松使用数据。
安全是必不可少的。 现代数据架构必须针对安全性进行设计，并且它们必须支持直接对原始数据的数据策略和访问控制。
共同的词汇确保共同的理解。共享数据资产，例如产品目录、财务日历维度和 KPI 定义，需要一个通用的词汇表来帮助避免分析过程中的争议。
数据应该经过整理。 投资执行数据管理的核心功能（建模重要关系、清理原始数据以及管理关键维度和度量）。
应针对敏捷性优化数据流。减少必须移动数据的次数以降低成本、提高数据新鲜度并优化企业敏捷性。

数据架构组件

根据 IT 咨询公司 BMC 的说法，现代数据架构由以下组件组成：

数据管道。数据管道是收集、移动和提炼数据的过程。它包括数据收集、提炼、存储、分析和交付。
云储存。并非所有数据架构都利用云存储，但许多现代数据架构使用公共云、私有云或混合云来提供敏捷性。
云计算。除了使用云进行存储外，许多现代数据架构还利用云计算来分析和管理数据。
API .现代数据架构使用 API 来简化公开和共享数据的过程。
人工智能和机器学习模型。 AI 和 ML 用于自动执行数据收集、标记等任务的系统。与此同时，现代数据架构可以帮助组织释放大规模利用 AI 和 ML 的能力。
数据流。数据流将数据连续地从源流向目的地，以进行实时或近实时的处理和分析。
容器编排。诸如开源 Kubernetes 之类的容器编排系统通常用于自动化软件部署、扩展和管理。
实时分析。许多现代数据架构的目标是提供实时分析，即在新数据到达环境时对其执行分析的能力。

数据架构与数据建模

根据数据管理知识手册 (DMBOK 2)，数据架构定义了管理数据资产的蓝图，它通过与组织战略保持一致来建立战略数据需求和设计以满足这些需求。另一方面，DMBOK 2 将数据建模定义为“以称为数据模型的精确形式发现、分析、表示和传达数据需求的过程”。

虽然数据架构和数据建模都试图弥合业务目标和技术之间的差距，但数据架构是关于寻求理解和支持组织功能、技术和数据类型之间关系的宏观视图。数据建模更专注于特定系统或业务案例。

数据架构框架

有几种企业架构框架通常用作构建组织数据架构框架的基础。

DAMA-DMBOK 2. DAMA International的Data Management Body of Knowledge是专门针对数据管理的框架。它为数据管理功能、可交付成果、角色和其他术语提供了标准定义，并提出了数据管理的指导原则。
企业架构的 Zachman 框架。 Zachman Framework 是 1980 年代由 IBM 的 John Zachman 创建的企业本体。 Zachman Framework的“数据”栏目包含多个层次，包括对业务重要的架构标准、语义模型或概念/企业数据模型、企业/逻辑数据模型、物理数据模型和实际数据库。
开放组架构框架 (TOGAF)。 TOGAF 是一种企业架构方法，可为企业软件开发提供高级框架。 TOGAF 的 C 阶段涵盖开发数据架构和构建数据架构路线图。