Thoughtworks张晶白:迈向Data Mesh 以全新的数据架构范式,加速创造业务价值

  • 张晶白

  • 2022-01-11

  • 来源:首席数字官

数字经济时代,数据已经成为继土地、劳动力、资本、技术之外的第五大生产要素。数据价值的释放成为各类主体正在实践中的重要内容。在“2021中国数字化年会”的数据管理论坛上,Thoughtworks中国区数据与智能业务线解决方案总监张晶白带来《迈向Data Mesh 以全新的数据架构范式,加速创造业务价值》的主题演讲,以创新的技术架构的视角,讲解了如何发挥企业的数据价值。本文根据主要演讲内容整理。

探索企业数据平台的成功要素

研究数据发现,几乎100%的企业都不否认数据是有价值的,对于大数据与人工智能的投资也在持续增长,但是,人们对于这些投资所能产生的商业价值的信心实际正在下降。76%的企业不认可自身是数据驱动型组织的公司,90%的人员和流程都遇到各种问题,导致无法借助数据来完成组织转型。这些问题可归于四方面:

第一,不能清晰的了解数据在哪些业务场景可以发挥商业价值,数据项目启动难;

第二,企业的数据平台汇聚着各方面数据,数据源难以规模化;

第三,通过数据分析生成各种指标画像,疲于应对业务人员需求,数据使用难以规模化;

第四,数据项目的负责人通常是IT人员,对业务理解有所欠缺,不具备站在企业全局视角思考的能力,难以实现数据商业化。

我们迎面这些问题,将企业数据平台的成功要素集中于三个要点,即在错综复杂的企业技术环境中快速启动;规模化地引入高价值的新数据源和使用场景;尽早实现数据对整个企业商业系统的价值(对内或对外)。

从微服务的视角思考数据架构

数据仓库、数据湖和云上数据平台是大家常见的数据架构模式,也是企业数据平台演进三个重要阶段,而这三种数据平台架构存在一些共性的挑战。例如,巨型的数据孤岛和无法克服的技术瓶颈、数据所代表的业务知识无法在生产者和消费者之间传递、基础设施无法响应业务弹性需求等。

数据架构所面临的挑战,与微服务架构之前的单体软件陷入的境况十分相似。传统的单体软件难以实现复杂的业务需求,因此出现了微服务的概念,实现IT技术的复用,能够持续快速的响应、部署和迭代。微服务已经成为事实上的软件架构范式,被企业广泛采用。如今,这股浪潮开始席卷数据领域,如果我们的数据架构能够以微服务的架构思想来设计,会带来什么样的改变?基于此思考,thoughtworks提出了Data Mesh的概念。

Data Mesh超越技术的范式转变

Data Mesh 采用高度分散的数据架构,分布式数据平台定义为一组面向域的数据或机器学习产品,用自服务的方式使用数据基础设施提供的数据流水线(清洗、组合、丰富等)或合规(数据鉴权、隐私、安全等)的公共服务并接受数据产品思维的设计和管理,以及和企业交付基础设施深度集成 。在Data Mesh架构下,基础框架仍然是数据平台,由IT团队维护,不同的是赋以产品思维和管理,使数据生产过程产品化。

Data Mesh架构遵循五方面原则:

数据域对齐业务域,即将业务解耦之后映射到数据,再将数据解耦,减少数据冗余度,使其和业务紧密集合;

将数据视为产品,就如同微服务,在合规的权限体系下,可以被直接访问和调用;

自服务的基础设施,而数据的基础设施相对于微服务的成熟架构还有所缺失,这也是未来需要持续发力的地方;

在生态治理方面,发现数据互相调用过程中的问题,解决节点和节点间的问题;

通过网格编排的思想设计数据走向,使数据产品能够支持不同模块、不同域的衔接。

Data Mesh的逻辑架构

数据分为数据生产者和数据消费者两个层面。生产者是数据的源头,来源于很多的业务系统;消费者是数据的使用场景,比如标签画像、推荐引擎。数据从生产端到消费端的过程就是数据变现的过程。我们要经过数据获取、数据计算、数据存储、数据标准连接,最终形成数据产品。这要求业务人员是具备数据思维的人员,去发掘数据价值究竟如何在业务场景中实现,起到桥梁的作用。那么,IT人员做什么?上层的数据治理包含数据标准、数据安全、数据质量管控等一系列工作,以及上文中提到的自服务基础设施,都需要IT团队来完成。

关于Data Mesh的实施建议

Data Mesh 架构的技术理念尚处于实践早期,可能引发大家许多不同的观点。我们遇到的最大挑战来自于数据加工,但企业中的业务人员对于这样的方法接受度普遍较低。

关于Data Mesh的实施,我们提出四点建议:第一,去中心化的数据并不意味着去中心化的基础设施;第二,好的架构不是设计出来的,而是根据企业业务愿景和数据现状演进出来的;第三,汲取产品思维所提供的知识财富;第四,Data Mesh不仅是数据架构问题,更是战略和组织问题。Thoughtworks希望随着Data Mesh 架构的逐步成熟,数据产品能够倾向简单,使业务人员更易于接受,助力企业发挥数据价值。

报告下载:https://www.jnexpert.com/report/detail?id=76

  • 新闻
  • 案例
  • 推荐
  • 观点
  • 研究报告
  • CIO
  • CDO
  • IT/互联网
  • IT
  • 大数据

推荐

我要评论