数字经济时代，数据已经成为继土地、劳动力、资本、技术之外的第五大生产要素。数据价值的释放成为各类主体正在实践中的重要内容。在“2021中国数字化年会”的数据管理论坛上，Thoughtworks中国区数据与智能业务线解决方案总监张晶白带来《迈向Data Mesh 以全新的数据架构范式，加速创造业务价值》的主题演讲，以创新的技术架构的视角，讲解了如何发挥企业的数据价值。本文根据主要演讲内容整理。

探索企业数据平台的成功要素

研究数据发现，几乎100%的企业都不否认数据是有价值的，对于大数据与人工智能的投资也在持续增长，但是，人们对于这些投资所能产生的商业价值的信心实际正在下降。76%的企业不认可自身是数据驱动型组织的公司，90%的人员和流程都遇到各种问题，导致无法借助数据来完成组织转型。这些问题可归于四方面：

第一，不能清晰的了解数据在哪些业务场景可以发挥商业价值，数据项目启动难;

第二，企业的数据平台汇聚着各方面数据，数据源难以规模化;

第三，通过数据分析生成各种指标画像，疲于应对业务人员需求，数据使用难以规模化;

第四，数据项目的负责人通常是IT人员，对业务理解有所欠缺，不具备站在企业全局视角思考的能力，难以实现数据商业化。

我们迎面这些问题，将企业数据平台的成功要素集中于三个要点，即在错综复杂的企业技术环境中快速启动;规模化地引入高价值的新数据源和使用场景;尽早实现数据对整个企业商业系统的价值(对内或对外)。

从微服务的视角思考数据架构

数据仓库、数据湖和云上数据平台是大家常见的数据架构模式，也是企业数据平台演进三个重要阶段，而这三种数据平台架构存在一些共性的挑战。例如，巨型的数据孤岛和无法克服的技术瓶颈、数据所代表的业务知识无法在生产者和消费者之间传递、基础设施无法响应业务弹性需求等。

数据架构所面临的挑战，与微服务架构之前的单体软件陷入的境况十分相似。传统的单体软件难以实现复杂的业务需求，因此出现了微服务的概念，实现IT技术的复用，能够持续快速的响应、部署和迭代。微服务已经成为事实上的软件架构范式，被企业广泛采用。如今，这股浪潮开始席卷数据领域，如果我们的数据架构能够以微服务的架构思想来设计，会带来什么样的改变?基于此思考，thoughtworks提出了Data Mesh的概念。

Data Mesh超越技术的范式转变

Data Mesh 采用高度分散的数据架构，分布式数据平台定义为一组面向域的数据或机器学习产品，用自服务的方式使用数据基础设施提供的数据流水线(清洗、组合、丰富等)或合规(数据鉴权、隐私、安全等)的公共服务并接受数据产品思维的设计和管理，以及和企业交付基础设施深度集成 。在Data Mesh架构下，基础框架仍然是数据平台，由IT团队维护，不同的是赋以产品思维和管理，使数据生产过程产品化。

Data Mesh架构遵循五方面原则：

数据域对齐业务域，即将业务解耦之后映射到数据，再将数据解耦，减少数据冗余度，使其和业务紧密集合;

将数据视为产品，就如同微服务，在合规的权限体系下，可以被直接访问和调用;

自服务的基础设施，而数据的基础设施相对于微服务的成熟架构还有所缺失，这也是未来需要持续发力的地方;

在生态治理方面，发现数据互相调用过程中的问题，解决节点和节点间的问题;

通过网格编排的思想设计数据走向，使数据产品能够支持不同模块、不同域的衔接。

Data Mesh的逻辑架构

数据分为数据生产者和数据消费者两个层面。生产者是数据的源头，来源于很多的业务系统;消费者是数据的使用场景，比如标签画像、推荐引擎。数据从生产端到消费端的过程就是数据变现的过程。我们要经过数据获取、数据计算、数据存储、数据标准连接，最终形成数据产品。这要求业务人员是具备数据思维的人员，去发掘数据价值究竟如何在业务场景中实现，起到桥梁的作用。那么，IT人员做什么?上层的数据治理包含数据标准、数据安全、数据质量管控等一系列工作，以及上文中提到的自服务基础设施，都需要IT团队来完成。

关于Data Mesh的实施建议

Data Mesh 架构的技术理念尚处于实践早期，可能引发大家许多不同的观点。我们遇到的最大挑战来自于数据加工，但企业中的业务人员对于这样的方法接受度普遍较低。

关于Data Mesh的实施，我们提出四点建议：第一，去中心化的数据并不意味着去中心化的基础设施;第二，好的架构不是设计出来的，而是根据企业业务愿景和数据现状演进出来的;第三，汲取产品思维所提供的知识财富;第四，Data Mesh不仅是数据架构问题，更是战略和组织问题。Thoughtworks希望随着Data Mesh 架构的逐步成熟，数据产品能够倾向简单，使业务人员更易于接受，助力企业发挥数据价值。

报告下载：https://www.jnexpert.com/report/detail?id=76