基于人工智能的以数据为中心的数据架构方法

  • 5天前

  • 来源:数据驱动智能

本文简要探讨了如何在人工智能赋能下构建企业数据。文章强调了以整体视角看待人类思维和数据集成的重要性,并基于众多实际企业解决方案,提出了一些简单的关键领域考量。

即使您并非数据解决方案架构师,您仍然需要参与一个或多个架构领域,以构建集成数据架构。如果没有良好的数据架构,您的数据部分就不太可能满足服务级别的特性,例如数据互操作性、可扩展性或数据管理。

目录

企业数据解决方案的范围数据架构中缺失的环节敏捷 ESA 模型:与数据架构交织的关键领域敏捷 ESA 模型:关键利益相关者群体敏捷 ESA 模型:以数据为中心的关联流利用人工智能辅助的、基于 IT 服务的建模方法小结一 企业数据解决方案的范围

本文重点探讨 企业数据架构 (以下简称数据架构),它是 企业解决方案架构 (ESA) 的重点考量,它连接企业架构和解决方案架构,协调各种战略方向和能力。与企业架构、软件架构、云架构等相比,企业数据架构的讨论通常较少,其作用也千差万别。企业数据架构的整体视图通常缺失或不够清晰。

随着人工智能的快速发展,我们可以从大量多维复杂数据中获得更快、更好的洞察。然而, 如果没有清晰的 ESA 指导,人工智能将无法创建有意义的数据架构。 单独的企业架构和解决方案架构都无法提供这样的指导。ESA 设置了 正确的架构抽象级别 ,使企业业务与 IT 保持一致,以实现可实现的架构。在来自主要利益相关者群体的适当架构指导下,ESA 使人工智能能够更好地理解企业系统背后的原理以及预期的运行方式。这种由人工智能辅助而非 LLM 驱动的 ESA 模型对于大多数企业解决方案来说是现实可行的。

ESA 是一种整体架构思维过程,通常用于敏捷方法,因此它几乎是敏捷 ESA(A-ESA)的同义词。它利用 AI 的力量在其建模框架内简化复杂的 IT 架构。

二数据架构中缺失的环节

在深入探讨数据架构的集成模型之前,我们先快速回顾一下项目解决方 案中的一些常见观察。在许多情况下,数据架构仅关注企业解决方案 的一部分,例如

在企业架构中,数据架构充当蓝图、规划工具和基础架构构建块。

在业务层面,数据架构是为了满足业务需求并实现业务敏捷性。业务人员往往主要从业务能力甚至组织结构的角度来理解数据架构。

许多人从技术角度来理解数据架构,重点关注数据仓库、数据结构、数据湖和数据网格等框架,以及 Apache Flink 和 Kafka 等中间件。因此,数据架构通常是技术解决方案(技术平台或大数据流程)、软件工程和数据管理的一部分。

小公司的资料架构师通常期望拥有从编程到网络协议的广泛技能,但解决方案可能不是大规模或复杂的。

人们常常忽略的是从企业解决方案架构角度构建的 相互关联的流程 ,而这些流程能够解决整个企业的关键业务、用户和系统问题。许多组织已经将重点放在业务架构、软件架构和基础设施/平台架构上,但仍然缺乏可行的企业数据架构,这通常是由于缺乏整体的远见、相关角色或人才,或缺乏认知。

三 敏捷 ESA 模型:与数据架构交织的关键领域

构建简化复杂性的可视化数据架构模型。

那么,数据架构与企业解决方案架构在整体上是如何关联的呢?根据实践经验,下图表明数据架构与五个关键领域紧密相关。

图:企业解决方案架构的关键领域

这一划分为架构关注的关键领域以及 AI 辅助构建既能满足解决方案需求又能满足未来变化的整体模型提供了明确的指导。现在,让我们简要讨论一下人类和人工智能所关注的各个领域。

1. 企业能力

人类对架构的关注点:反映战略方向和数据策略(与其文化和环境相关)的高级信息和能力,以及这些信息和能力如何映射到关键 IT 服务,尤其是数据服务。

用例问题示例:哪些关键原则与业务和数据架构相符?与价值流和IT服务相关的功 能有哪些?

人工智能探索示例:组织复杂性

2.案例场景

人类对架构的关注点:服务级别要求 (SLR) 涵盖数据动态性、事务限制、可用性和合规性。

示例用例问题:社交技术参与系统的数据类型有哪些?典型的用户交互有哪些(例如数据访问频率和并发性)?

人工智能探索示例:意图复杂性

3. 解决方案背景

人类对架构的关注点:架构集成和治理、深厚的 ESA 专业知识或企业解决方案环境中良好协作的团队合作。

示例用例问题:哪种架构风格更适合企业环境的数据使用和交易模式?如何通过执行特定的治理功能来确定数据治理(包括数据完整性、数据质量等)的优先级并实施?

人工智能探索示例:集成复杂性

4.功能服务

人类对架构的关注点:以数据服务为中心的应用程序的粒度、内聚性、耦合性和自包含性。

示例用例问题:在设计数 据服务时,在可用性、一致性和分区容错性方面做出了哪些权衡决策?如何实现数据服务间的通信或避免通信问题?

人工智能探索示例:交易复杂性

5. 运行环境

人类对架构的关注点:数据服务部署单元(基于服务级别质量属性)需要从软件分发和系统工程 内部部署或云环境)仔细考虑。

示例用例问题:数据服务和部署单元之间是否存在明确的映射,以满足关键质量属性要求,同时适应业务增长?在可用性、性能和安全性方面,数据热点是什么?

人工智能探索示例:可扩展性复杂性

并非所有企业解决方案都对这五个方面给予同等重视,但几乎每个企业系统都从这五个方面进行架构考量。即使您不构建自己的平台,如果您担心变更成本,也需要开发一个可视化数据架构模型,以简化复杂性并展示您的企业解决方案的架构方式。

通过最初定义从业务到 IT 的整体企业解决方案的关键领域,人类引导人工智能构建数据配置文件,最终以正确的方式形成正确的模型。

提示:这五个领域可能存在差异。例如,如果特定人员负责执行测试、验证或治理测量,则验证可能是一个单独的领域。在考虑真正的 DevOps 环境时,我们可以将功能部署领域和运营部署领域合并为一个解决方案系统领域。ESA 倡导敏捷且分阶段的方法,因此可以进行细微调整以适应解决方案环境。

四 敏捷 ESA 模型:利益相关者的关键群体

通过关键利益相关者的观点对企业解决方案达成共识。

关键领域模型反映了一种可行的数据架构,该架构考虑了企业解决方案的关键方面,包括企业需求、关键的解决方案关注点以及重要的解决方案设计。关键领域通过各领域利益相关者的协作相互关联。

下图显示了 每个领域所负责的典型利益相关者群体和关注点 。例如,企业能力是组织和业务领导者更关注的问题。这五个利益相关者群体对于可行的企业解决方案而言不可或缺,代表了解决方案管理视角下的典型分工。每个人都拥有独特的视角和技能。在大型企业环境中, 任何个人(如果有的话)都不太可能在所有五个领域拥有完整的专业知识和权威。

图:ESA 中的典型利益相关者群体

企业数据架构师 或企业解决方案架构师在其中扮演着重要的角色,他们负责协调和关联不同领域,以实现架构一致性,并最大限度地降低变更的长期成本。该角色通常由“设计权威”(由首席技术官、经验丰富的数据架构师或组织敏捷的团队领导)领导,以处理不同利益相关者群体之间潜在的冲突和分歧。高层管理人员的支持对于克服企业数据架构师可能面临的挑战至关重要。

许多 数据专业人员 在其职业生涯或参与大型企业解决方案项目时都身兼数职,他们的跨领域专业知识对于塑造企业数据架构至关重要。下表显示了从数据专业人员的角度来看,这五个领域分别代表着不同的重点。

数据专业人员的角色和关注点

对于人工智能辅助系统, 数据架构师 尤其需要开发和完善一套超越传统数据管理的新技能。这些关键技能包括:高级分析(包括预测建模和关联分析)、深度学习(构建能够从数据中学习的复杂解决方案模型)、大规模数据工程、人工智能偏见缓解、人工智能集成以及智能领域规范。

简而言之,没有人能够完全掌控企业解决方案架构或企业数据架构。通过初始 ESA 研讨会和迭代反馈循环,建立共同目标和一套通用符号,ESA 模型在连接各个环节、映射不同语言 以达成共识方面发挥着关键作用。

人工智能擅长扮演通用角色或虚拟助手角色,不知疲倦地、反复地帮助详细说明、分类、抽象、强调和比较每个关键群体中的关注点。

提示:实际上,许多组织都缺少 ESA 角色,解决方案架构师的职责仅限于提供解决方案,缺乏完整的企业视角,或者他们的企业架构与解决方案架构脱节。因此,如果没有可实施的企业架构或企业解决方案架构,就更容易出现架构债务。

五 敏捷 ESA 模型:以数据为中心的关联流

域之间的映射是ESA最有价值的部分。

下图说明可行的企业解决方案架构涵盖企业方向和解决方案架构,以数据中心映射 方法清晰地呈现关联流视图。

图:以数据中心为中心的架构映射

这些领域之间的关联流程比每个领域各自的关注点更重要。例如,业务人员主要关注业务组件模型和信息价值,而不是数据在企业系统中的设计和操作方式。因此,这些流程成为集成数据架构的主要关注点。这些流程 共同 反映了用户与系统、业务与系统以及系统之间的交互。

对于每个领域,信息或数据流反映在以下示例中:

企业能力示例: 价值流和能力 与 IT 服务的映射,重点关注数据服务。

案例场景示例: 需求映射 ,根据数据源(来自用户输入和系统输出)识别 数据 SLR。

功能服务示例: 解决方案上下文映射,问题空间 以数据服务为中心 (超越数据对象或组件级建模),反映了架构良好的服务组合。

操作环境示例: 部署包映射 到 功能服务,重点关注数据服务,因为它们通常具有跨切关注点。

解决方案上下文示例:来自度量、架构模式、集成风格和解决方案概述(典型的企业解决方案演练)的 信息流的集成映射。

数据架构决策只有考虑以下因素才会有效:

数据 服务 是每个信息流的关键映射元素。例如,企业能力的信息流包含通过价值流分析实现数据能力与数据服务的映射,并通过客户旅程等与单车司机(SLR)的案例场景关联起来。

数据服务必须 与其相关的功能服务或包装器一起考虑 ,包括技术服务(通常称为应用程序逻辑服务)以及可能的 UI 服务。

在实践中,这些流程是通过敏捷 方法逐步构建的。当各领域的决策者以数据为中心的方法就信息流达成一致时,ESA 模型便开始成形。

对于数据关联流,人工智能负责繁琐且容易出错的工作,而人类在确定流程映射的结构、关联和引导方式方面发挥着关键作用。

提示:在敏捷 ESA 模型中,数据服务更多地基于 IT 服务或软件,提供对数据的访问和操作。它支持业务流程和功能,并解决以下问题:1) 与企业能力相关的案例场景需求映射;2) 给定数据服务的真实来源;3) 复合数据服务的通信和集成方法;以及 4) 由不同的敏捷 ESA 元素(例如通用服务、视图框架等)表示的数据服务的抽象级别。顺便说一句,数据服务将作为单独的主题进行阐述。

六 利用人工智能辅助、基于 IT 服务的建模方法

ESA 是人工智能辅助的,而不是人工智能驱动的。

人工智能辅助敏捷 ESA 建模方法可通过以下用例普遍采用:

利用人工智能提示收集架构信息并澄清建模问题 [建模]

基于初始人工设计或逆向工程工作,使用定制的人工智能代理进行架构推理和分析[建模]

将建模工具与人工智能(例如人工智能图表生成器或经过训练的图神经网络 (GNN))相结合,以促进建筑模型渲染 [建模]

将人工智能功能融入企业解决方案架构[架构]

构建人工智能解决方案(或以人工智能为中心的框架、企业应用程序等)[架构]

这些用例中的任何一个,或者它们的组合,都适用于敏捷 ESA 建模。在这里,我们简要讨论一下从建模和架构角度提供的 AI 辅助,这两者都将算法推理和繁琐的工作转移到 AI 代理或中间件上。

借助人工智能进行建模

人工智能的普及为许多企业解决方案赋予了强大的分析能力,涵盖企业方向和业务洞察、案例场景模拟和分析、软件建模和开发、架构模式识别、指标规范、预测分析以及比较权衡辅助等。总而言之,人工智能通过智能元数据管理和动态数据关联,使复杂的数据结构和关系更加易于理解。

然而,人工智能可能会产生数据偏差。人工智能目前无法,将来也无法完全在上述五个领域之间映射信息,因为它们是独立的实体,各自解决企业解决方案领域中的一组特定问题。将它们混杂在一起会使企业解决方案变得复杂,并使每组利益相关者都无法获得清晰的架构图。即使与人工智能协同工作,这些领域仍然需要人类的投入、专业知识和推理能力,才能做出明智的架构决策。毕竟,正是人类从多个维度决定了企业系统的运作方式。

敏捷 ESA 建模在人类思维与人工智能之间寻求平衡 ,利用 AI 辅助进行详细分析和洞察,从而创建数据相关映射和适配级别的数据服务。Agile ESA 还利用 AI 驱动的重构工作,或指导 AI 驱动的治理功能与更详细的解决方案系统设计相连接。需要注意的是,Agile ESA 元素(将在单独的主题中详细阐述)可以基于 AI 分析,使用一组最少的架构符号来具体化数据架构。

利用人工智能功能进行架构设计

当今的企业解决方案架构涵盖众多 AI 功能,包括工具、API、中间件、代理等。支持 AI 的 解决方案架构可实现选择性流程自动化、强化数据治理、更佳的互操作性、系统透明度、运营平台弹性、AIOps 等等。这些功能涵盖 ESA 的所有关键领域。

在企业解决方案环境中,AI 能力不仅包括创新型、AI 融合型或代理型应用程序和 RAG(检索增强生成),还包括 AI 集成能力。遵循标准集成协议至关重要,例如模型上下文协议 (MCP),这是一个用于集成 AI 模型和外部数据源的开放标准,能够实现跨不同系统的互操作性,就像 AI 应用程序的 USB-C 端口一样。请记住: AI 的有效性取决于可行的集成数据架构

数据与人工智能 如同探戈般协同。数据驱动人工智能,人工智能则从数据中提供洞察 。企业业务需要的既不是 带有偏见和粒度不合适的数据架构观点,也不是碎片化的洞察 。细致的框架采用和技术栈选择应始终以清晰的数据架构模型为指导,并结合人工智能辅助的可行性评估和架构决策分析。人工智能驱动的企业数据架构仍是一个遥不可及的愿望。即使看似如此,人工智能仍然在企业数据架构中扮演着重要的角色。

需要注意的是, 许多 AI 用户、应用程序开发者和其他人员 更注重应用,只关注 AI 企业解决方案的一部分。然而,对于认真对待 AI 平台或企业环境的企业领导者、数据架构师或解决方案架构师来说,整体建模方法是必不可少的。

提示——敏捷企业架构 (Agile ESA) 中的人工智能辅助整体方法必须以 简洁性 重要性 为基础,并融合人工智能和人类智能。例如,企业能力空间应简洁直观地反映符合特定企业环境的 IT 战略方向的本质。复杂或成熟的模型看似优雅,却会使架构思考变得困难,最终达不到预期目的。

七 小结

如果没有清晰的宏观数据架构,您就会产生未来的债务。

传统的企业架构建模复杂且实用性较差。它更有可能被人工智能取代,就像设计级建模一样。ESA 代表了一种易于人类理解的架构,同时在后台利用了 AI 辅助的企业解决方案的复杂关联。 在可预见的未来,AI 永远无法取代 ESA,这也是一门权衡利弊的艺术。

数据架构对于企业解决方案架构至关重要,必须拥有一个集成模型来支持业务目标并适应不断变化的需求。在敏捷企业解决方案架构 (ESA) 中,信息架构、数据架构和解决方案架构之间的区别变得模糊。一种 整体而简单的方法 ,将数据架构与业务功能、案例场景、解决方案上下文、功能架构和运营环境以及解决方案管理支持和治理技术相集成,可确保企业解决方案的成功。

提示:在对遗留企业进行服务化现代化之前,必须建立清晰的敏捷 ESA 模型,并使用最小可行迁移方法。急于追求一时兴起的架构风格,很可能会失败。

Agile ESA 不仅仅是一份企业架构规划、一份治理文档或一个以技术为中心的解决方案架构,它通过考量端到端的重要案例,成为一种可实现的架构,或是对现实企业解决方案中 架构思维的证明 。在 AI 赋能下,通过 Agile ESA 建模构建的集成数据架构有效地连接了业务目标和技术执行,从而提高了架构的可观察性,降低了架构债务的可能性,并降低了变更成本。

  • 新闻
  • CEO
  • CTO
  • CIO
  • CMO
  • VP
  • 互联网

推荐

    我要评论