一文读懂数据中台:建中台、拆中台的反思

聚术观商业 2024-08-17 02:50:13
1、数据中台概念

数据中台,作为企业数字化转型的核心,是一个整合了数据存储、开发、管理、服务和资产运营等多维能力的企业级数据价值实现框架。它不仅是技术平台,更是企业业务数据化的载体,承担着企业通过数据驱动业务决策和增长的重要角色。数据中台是“企业数据价值实现的能力框架”,凸显了其在企业数据能力建设中的核心地位。

2、数据中台发展历史

数据中台的概念起源于阿里巴巴集团的创新实践。在2015年,阿里巴巴集团进行了组织架构的升级调整,构建了一个整合了公司产品技术和数据能力的中台,形成了所谓的“大中台,小前台”的组织结构和业务模式。这一战略的核心目标是通过整合和复用组织内部的基础设施和数据能力,以加速业务产品更新迭代的速度,降低成本,进而推动企业业务利润的增长。在接下来的几年中,阿里巴巴完成了数据中台的基础构建,与此同时,其他互联网行业的领军企业也开始实施自己的数据中台战略。

到了2018年,在互联网媒体的广泛宣传、各类研究机构的推广以及互联网头部公司的示范效应的共同推动下,大量传统企业开始着手进行数据中台的建设。然而,到了2020年左右,尽管许多数据中台项目已经建成,但由于部分项目没有根据企业自身的实际需求进行规划设计,导致建设成果面临成本高昂、缺乏敏捷性、成效难以衡量等问题,这引发了业界对于“拆中台”的讨论和反思。

尽管存在争议,但直至今天,数据中台的建设项目依然在持续增加。数据中台作为一个关键词,也开始出现在政策文件中,显示了业界对数据中台认可程度的逐渐提高。在不断的实践和探讨中,数据中台的概念和内涵也在不断地得到丰富和完善。这表明,尽管数据中台在发展过程中遇到了挑战,但其作为企业数字化转型的关键组成部分,其重要性和价值仍然被广泛认可,并在不断的演进中发挥着越来越关键的作用。

3、数据中台的目标和核心能力

数据中台的目标

数据中台的总体目标是使数据产生业务价值,具体来说,包括以下几个方面:

快速响应数据需求:构建数据中台以快速满足业务对数据的需求,提升数据的响应速度。建设统一数据平台:创建一个统一的数据平台,避免数据孤岛,实现数据的集中管理和使用。打通企业数据资产:整合企业内外部的数据资源,形成统一的数据视图,提升数据的可用性和价值。提供统一数据服务:通过数据服务体系,为业务方提供标准化、模块化的数据服务。数据直接参与业务:使数据成为业务流程的一部分,直接支持业务决策和运营。产生企业价值:包括客户价值在内的企业价值创造,通过数据驱动业务增长和创新。

数据中台的核心能力

为实现上述目标,数据中台需要具备以下核心能力:

数据汇聚存储:将各类原始数据进行有效汇聚和管理,形成企业的数据基础。数据开发:对数据进行加工、提炼,生成满足业务需求的数据产品或半成品。数据服务:构建数据服务体系,向业务方提供易于使用的数据接口和工具。数据管理:确保数据的质量和一致性,包括数据治理、元数据管理、数据质量控制等。数据资产运营:识别和优化数据资产的使用,形成基于成本管理和价值评估的评价体系。技术工具:提供必要的技术工具支持,包括数据存储、处理、分析和可视化等工具。

数据中台是企业数据价值实现的能力框架,包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化,是企业级数据价值生产的中枢平台。此外,在企业层面数据中台是企业业务数据化的承载体,是企业业务通过数据视角的一种呈现,担负了企业数字化所需的核心综合数据能力。

通过这些目标和核心能力,数据中台能够支持企业在数字化转型过程中,更有效地利用数据资源,提升业务效率和创新能力,最终实现数据驱动的企业增长。

4、数据中台的类型集中式数据中台: 集中式数据中台的主要特征是由集团总部或公司数据支撑部门统一建设和运营。数据统一汇总管理,由专门部门负责数据中台的运营,提供数据支撑人员服务集团各子公司或公司各业务线的用数需求。这种模式适用于集团总部(或公司)对下属子公司(或各业务线)具有较强管控能力的情况。集中+BP式数据中台: 集中+BP式数据中台由集团或公司统一建设,数据统一汇总管理。不同之处在于,各子公司或业务线由单独的数据支撑人员(Business Partner,业务合作伙伴)利用数据中台满足其用数需求。这些数据支撑人员可能隶属于负责数据中台运营的部门,或由各子公司或业务线自身培养。这种模式适用于各子公司或业务线具有较大话语权和业务自主权的情况。两级式数据中台: 两级式数据中台的特征是在集团或公司统一建设一级数据中台的基础上,各(或部分)子公司或业务线单独建立自身的二级数据中台。各二级数据中台由对应子公司或业务线组织团队进行建设、汇聚自身数据并进行运营。一级数据中台从各二级数据中台中汇聚数据,当出现跨子公司或业务线的用数需求时,由运营一级数据中台的部门进行支撑和满足。这种模式适用于具有众多分支子公司的庞大集团或具有大量相对独立业务线的大型公司。

适用情况

集中式数据中台适用于集团化管理较为集中、对子公司控制力度较大的企业,可以最大化数据中台能力的复用性,减少重复建设成本。集中+BP式数据中台适用于需要在保持一定管控的同时,给予子公司或业务线较大自主权的企业,能够平衡集团统一管理和子公司个性化需求。两级式数据中台适用于业务线或子公司众多且相对独立的大型企业,或者存在多种不同业态的企业,可以在保证各业务线或子公司数据中台独立性的同时,实现一定程度的数据共享和交互。

这些类型的数据中台反映了企业在不同管理架构、业务需求和组织文化下的多样化选择,企业应根据自身的实际情况选择最合适的数据中台类型,以实现数据的最大价值。

5、数据中台的现状和问题

数据中台的建设情况

技术工具使用:超过70%的企业已投入使用分析型数据库、分布式批处理平台、数据开发平台、商务智能(BI)工具等技术工具。约60%的企业使用了分布式流处理平台和数据管理平台,而数据科学平台、知识图谱工具、低代码应用开发平台等其他技术工具的使用率在30%至40%之间。

数据中台能力:已建设数据中台的企业中,数据中台能力普遍包含数据存储能力(100%),90%以上包含数据汇聚能力,80%包含数据治理、数据开发、数据服务等能力,60%包含数据资产运营能力。

建设阻碍因素:近半数企业在建设数据中台时遇到人员投入不足的问题,约40%的企业存在系统开发及工程化技术能力不足的问题。此外,还有业务部门配合不足、业务人员素养不足、数据分析及应用能力不足、资金投入不足、业务需求理解不足、缺乏具体应用场景等问题。

数据中台的使用情况

使用目标:超过60%的企业建设数据中台的出发点是对内的数据服务,尽管在开展项目前可能没有明确的业务需求。约40%的企业有对外数据服务的需求,同时也有四成由具体的业务需求驱动,如营销、风控、经营分析等。

服务对象和运营部门:数据中台主要服务于决策层领导、数据管理部、数据应用部和业务部门的数据分析师。约30%的企业业务部门一般基层人员会使用数据中台提供的服务。运营部门以原信息技术部和专门设立的数据中台部门为主。使用效果和评价:用户满意度和用户使用率是企业使用最多的两个评价指标。已建设数据中台的企业中,8.20%非常满意,27.87%满意,47.54%基本达到预期,9.84%不满意。

主要问题

人员和技能不足:企业在数据中台建设中面临人员投入不足和专业技能不足的问题,这影响了项目的进展和质量。技术和工程能力不足:系统开发和工程化技术能力不足限制了数据中台的建设和优化。业务配合和需求理解不足:业务部门的配合不足以及对业务需求理解的不足,导致数据中台难以满足实际业务需求。资金和资源投入有限:资金和资源的有限投入限制了数据中台的建设和发展。缺乏具体应用场景:缺乏明确的应用场景使得数据中台的建设和优化缺乏针对性。数据素养和培训:企业内部对数据智能相关主题的学习和培训不足,影响了数据中台的有效使用。运营和持续优化:数据中台建设完成后,如何进行有效的运营和持续优化是企业面临的一个重要问题。

6、数据中台建设的三个阶段

数据中台的完整建设过程可以分为三个阶段,每个阶段都包含了一系列关键的建设和实施步骤:

第一阶段:技术平台工具建设和架构体系设计

关键点:

技术工具建设:引入大数据平台、分析型数据库、数据开发平台、BI 工具等基础技术设施,为数据存储、计算和分析提供支持。架构设计:完成数据架构和技术架构的设计,确保数据流向清晰、数据分层和分域合理,技术工具间能有效交互。基础性建设工作:包括组织架构调整、流程制度建立、技术工具完善等,为后续能力建设打下基础。

第二阶段:数据治理和数据开发工作

关键点:

数据开发能力建设:建立企业内部标准化数据开发流程,包括数据开发团队设立、开发流程和专职开发人员配置。数据管理能力建设:对企业内部全量数据进行梳理,制定数据标准和质量规则,并实施落地,提升数据可用性。数据治理:涵盖数据质量管理、数据安全、数据合规性等,确保数据的准确性和可靠性。

第三阶段:统一数据服务建设和数据资产运营

关键点:

统一数据服务建设:构建统一的数据服务门户,提供全面的数据服务,满足业务人员的用数需求,强调服务的可用性和易用性。数据资产运营能力建设:制定数据资产运营的全局规划、制度和策略,建立评价体系,持续优化数据资产的使用和管理。数据服务和资产运营:通过数据服务推动业务价值实现,通过数据资产运营提升数据中台的使用效果和价值转化。

7、数据中台建设流程

数据中台的建设流程是一个全面且系统的过程,涵盖了从项目启动到后期运维的各个阶段。

建设人员角色及分工

项目经理:负责整个项目的规划、执行和监控,确保项目按时按质完成。需求分析师:与业务部门沟通,准确理解并记录业务需求。数据架构师:负责数据中台的数据架构设计,确保数据模型的合理性和扩展性。数据集成工程师:负责数据的抽取、清洗、转换和加载(ETL)工作。数据开发工程师:开发数据服务和数据产品,满足业务需求。数据分析工程师:提供数据分析支持,帮助业务部门洞察数据价值。测试工程师:设计和执行测试计划,确保数据中台的稳定性和可靠性。数据安全工程师:负责数据中台的安全策略和合规性检查。系统运维人员:负责数据中台的日常运维工作,确保系统的高效运行。

8、数据中台的运营

数据中台的运营目的是确保数据中台能够长期、有效地支持企业业务和决策。运营要点包括:

去冗存菁:优化数据服务,剔除冗余,保留精华,提升数据中台的响应速度和服务质量。价值量化:建立评估体系,从成本、收益等角度量化数据中台的价值,确保投资回报。持续迭代:不断更新数据中台功能,适应业务发展和技术进步,保持数据中台的先进性和适用性。业技融合:加强业务和技术的协作,确保数据中台的运营能够满足业务需求并推动技术创新。组织保障:建立专门的数据中台运营团队和流程,确保运营工作的顺利进行。

9、未来发展趋势

数据中台的未来发展将呈现以下趋势:

数据要素市场化:随着数据成为重要的生产要素,数据中台将成为企业数据市场化配置的关键工具。

数据素养提升:企业全员的数据素养提高将推动数据中台向更加用户友好和自主服务的方向发展。智能化技术应用:人工智能和自动化技术的发展将使数据中台的操作更加高效,降低技术门槛,提升数据处理能力。服务化和平台化:数据中台将提供更多即插即用的服务,构建开放的平台生态,促进内外部数据服务和应用的集成。

— END —

如需《数据中台实践指南》,请关注收藏,并后台留言。

0 阅读:3