什么是数据治理？

Question

如题所述

Answer 1

什么是数据治理

数据治理是逐步实现数据价值的过程，具体来说，数据治理是指将零散的用户数据通过采集、传输、储存等一系列标准化的流程变成格式规范、结构统一的数据，并有严格和规范的综合数据管控;对这些标准化的数据进行进一步加工分析成为具有指导意义的业务监控报表、业务监控模型以帮助业务进行辅助决策。

在数据治理流程当中，涉及到了前端业务系统，后端业务数据库系统再到业务终端的数据分析，从源头到终端再回到源头，形成的一个闭环负反馈系统?。同样地，在数据治理流程当中，我们也需要一套标准化的规范来指导数据的采集、传输、储存以及应用。

数据治理流程

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程也是标准化流程9的构建过程。根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。

1.理:梳理业务流程，规划数据资源

对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放?这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。

2.采:ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。

3.存:大数据高性能存储及管理

这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。

4.用:即时查询、报表监控、智能分析、模型预测。

数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询，分析，监控做铺垫。这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立，业务问题的分析，其至是模型的预测。

数据治理包括哪几个方面？

数据治理是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。从技术角度来看，数据治理涉及的IT技术主题包括元数据、数据标准、数据质量、数据集成、主数据、数据资产、数据交换、生命周期、数据安全多产品组成的一整套解决方案。

元数据：采集汇总企业系统数据属性的信息，帮助各行各业用户获得更好的数据洞察力。

数据标准：对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准，并通过标准评估确保数据在复杂数据环境中维持企业数据模型的一致性、规范性。

数据质量：有效识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，提供问题明细查询和质量改进建议。

数据集成：可对数据进行清洗、转换、整合、模型管理等处理工作。既可以用于问题数据的修正，也可以用于为数据应用提供可靠的数据模型。

主数据：帮助企业创建并维护内部共享数据的单一视图，从而提高数据质量，统一商业实体定义，简化改进商业流程并提高业务的响应速度。

数据资产：汇集企业所有能够产生价值的数据资源，为用户提供资产视图，快速了解企业资产，发现不良资产，为管理员提供决策依据，提升数据资产的价值。

数据交换：用于实现不同机构不同系统之间进行数据或者文件的传输和共享，提高信息资源的利用率。

数据安全：提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略，确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。

生命周期：管理数据生命周期，建立数据自动归档和销毁，全面监控展现数据的生命过程。

Answer 2

为什么企业领导都热衷于数字治理呢？不可否认的是，数据治理很火，在DAMA 数据管理知识体系指南中，数据治理位于数据管理“车轮图”的正中央，是数据架构、数据建模、数据存储、数据安全、数据质量、元数据管理、主数据管理等10大数据管理领域的总纲，为各项数据管理活动提供总体指导策略。
谈到数据治理，很多企业经常讲它是一个涉及到企业战略、组织架构、数据标准、管理规范、数据文化、技术工具的一个综合体。没有数据治理实践经验的，一定会认为数据治理好“高大上”！又是战略、又是标准、又是文化。
然而，只有你真正做过数据治理人才知道：数据治理不仅都是脏活、累活，还是个受累不讨好，经常背锅，领导看不见价值的活。数据治理过程中，有时候是不被理解的。数据治理是个地基性工程，人们看到的永远是数据应用的“高楼大厦”，数据治理团队天天忙忙碌碌的，领导也不知道“这伙人”到底都在干啥？但是，只要数据出现问题，第一个被问责的就是数据治理团队。
都说数据是资产，数据治理很重要。大家也都说数据治理很重要，领导也很重视，但在很多企业真正实施的过程中，却总会遇到高层领导支持力度不足，业务部门人员配合不到位，数据治理的总是要给业务让路等等问题。究其原因：领导说重视数据，是真重视，还是嘴上说说？有没有将其纳入企业的战略行动计划？
数据治理要定战略、定制度、建组织，这是顶层策略，这每一项都牵一发而动全身，都需要高层领导的大力支持和推动，业务部门和技术部门的紧密协同。
数据治理要立标准、理流程、清数据，需要对每个数据域、数据实体、数据条目、数据项进行梳理和标准化，甚至有时候需要人工逐条、逐字段的定义数据标准、核实数据质量。数据治理人员不仅要有良好的数据思维，还要有足够的细心、耐心和体力才能实现企业数据质量的不断提升，打磨出适合企业的数据标准。