如何有效的进行数据治理和数据管控

Question

如题所述

Answer 1

大数据时代的到来，让政府、企业看到了数据资产的价值，并快速开始 探索 应用场景和商业模式、建设技术平台。但是，如果在大数据拼图中遗忘了数据治理，那么做再多的业务和技术投入也是徒劳的，因为很经典的一句话：Garbage in Garbage out。

当你处理或使用过大量数据，那么对“数据治理”这个词你一定不会陌生。你会思考数据治理是什么？数据治理是否适合你？如何实施。简单来说，数据治理就是处理数据的策略——如何收集、验证、存储、访问、保护和使用数据。数据治理也还包括谁来查看，使用，共享你的数据。

随着大数据时代的推进，以上这些问题日益突出，越来越多的企业依赖采集、治理、储存和分析数据，并实现他们的商业目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷，还会令消费者对公司的核心业务失去信心。

如果抱着侥幸的心理，让各个业务部门自己管理数据，那么你会缺乏有效的数据管理，甚至各部门会自己做自己的。你无法想象各个部门按随心所欲地自己生产、储存、销售产品。数据使用不当就像库存使用不当一样，会给企业造成沉重的损失。因此必须制定一项测量用以保证所需数据的有效和安全，可用性，这就是我们要谈的“数据治理”。

数据治理策略必须包含完整的数据生命周期。策略必须包含从数据采集、清洗到管理，在这个生命周期内，数据治理必须要有关注以下内容：

数据从哪里来，数据怎么来

这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如数据集的大小就由数据来源所决定。是从目标市场、现存用户和社交媒体收集数据？还是使用第三方收集数据或者分析你收集的数据？输入数据流是什么？数据治理必须关注这些问题，并制定策略来管理数据的采集，引导第三方处理他们收集的数据或者分析你收集的数据，控制数据的路径和生命周期。

数据校验

通常数据源都是非常庞大且多样的，这是一个让数据管理者非常头疼的问题。将数据噪音和重要数据进行区分仅仅只是开始，如果你正从关联公司收集数据，你必须确保数据是可靠的，对于那些几万、几十万、甚至成百上千万的复杂关系数据，单靠人为的通过Excel对进行数据清洗已经不太现实，需要专业的数据清洗工具或系统对海量复杂关系数据进行批量查询、替换、纠正、丰富以及存储。将元数据、主数据、交易数据、参考数据以及数据标准内置固化到数据清洗工具或系统中，结合组织架构、内容管控、过程管控等管理机制、技术标准提高数据治理人员的工作效率。比如：需要手工编写程序收集的元数据，系统帮你自动获取；需要人工识别或编写代码实现的数据质量检查，系统帮你自动识别问题；用文档管理的数据字典，系统帮你在线管理；基于邮件和线下的流程，系统帮你线上自动化。当然，系统并不是万能的，数据治理的软件工具与其他软件工具一样，没有什么神奇之处，没有数据治理人员的参与和数据治理工作的推进，软件再完美也无法完成数据治理整个过程。这也是为什么数据治理咨询服务一直有其市场，以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。

数据治理必须解决存储问题

而数据存储和数据集的大小有密切关系。大数据的存储必须是在安全的冗余系统之中。常常利用层次体系，根据使用频率来存储数据。这样一来，昂贵的在线系统提供的是被频繁请求的数据，而请求频率较低的数据则存储在便宜，可用率较低的系统上。当然，一些请求频率低但是敏感的数据如果存储于安全性较低的系统上，风险会大大提升。因此，在制定数据存储方案时，良好的数据治理策略必须考虑到方方面面的因素。

数据治理必须建立访问管理制度，在需求和安全性找到平衡点

明确访问者的权限，只能访问他们对应权限包含的数据。只有合法请求才能够访问数据，而敏感的数据需要更高的权限和更严密的验证才可以被访问。只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别，管理账户时，应与人力资源部和采购部紧密互动，这一点非常重要，因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任，这是构成完整的数据治理策略的一部分。

数据的使用/共享/分析

如何使用数据是数据治理之后一项重要的内容，数据可能会用于客户管理，提高客户体验，投放定向广告，用户应用系统初始化基础数据工作，辅助应用系统建设，提供市场分析和关联公司共享数据。必须仔细界定哪些数据可用于共享或者用于营销，并保护它们免遭攻击和泄露，因为数据本来就应该被用于纯粹的内部用途。让用户知悉采集数据的所有公司都会遵守数据安全和保证的规定。能够确保数据被合理合规的使用，也是数据治理重要的一项内容。

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分，必须要有一个全面的策略来解决这些问题以及其他安全问题。数据安全计划必须是有效且可用性高，但是数据生命周期的所有部分都很容易受到攻击和由于粗心造成的破坏。你必须在数据治理中确定数据安全计划，包括访问控制，静态数据，数据加工，数据传输之后的加密等。

管理/元数据

没有管理的数据生命周期是不完整的。例如，将元数据应用于一段数据，用来进行识别检索。元数据包含数据的来源，采集或生成的日期，信息访问的级别，语义分类及其他企业所必须的信息。数据治理能建立一个元数据词汇表，界定数据的有效期。请注意数据也会过期，过期之后我们只能用于 历史 数据的分析。

数据治理创建的过程中可能会在企业内部遭到一些阻力，比如有的人会害怕失去访问数据的权限，而有些人也不愿意和竞争者共享数据。数据治理政策需要解决上述问题，让各方面的人都可接受。习惯了数据筒仓环境的公司，在适应新的数据治理策略上面会有困难，但如今对大型数据集的依赖以及随之而来的诸多安全问题，使创建和实施覆盖全公司的数据策略成为一种必然。

数据日益成为企业基础设施的一部分，在企业一步步处理各种特定情况的过程中形成决策。它以一次性的方式作出，常常是对某一特定问题的回应。因此，企业处理数据的方法会因为不同部门而改变，甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案，但这些方案可能彼此冲突，企业将不得不想办法协调。弄清数据存储的要求和需求是一件难事，如果做得不好，就无法发挥数据在营销和客户维系方面的潜力，而如果发生数据泄露，你还要承担法律责任。

另外在大企业内部，部门之间会展开对数据资源的争夺，各部门只关注自身的业务情况，缺乏全局观念，很难在没有调解的情况下达成妥协。

因此公司需要一个类似数据治理委员会的机构，他的职责是执行现有数据策略、挖掘未被满足的需求以及潜在安全问题等，创建数据治理策略，使数据的采集、管护、储存、访问以及使用策略均实现标准化，同时还会考虑各个部门和岗位的不同需求。平衡不同部门之间存在冲突的需求，在安全性与访问需求之间进行协调，确保最高效、最安全的数据管理策略。

建立数据治理委员会

负责评估各个数据用户的需求，建立覆盖全公司的数据管理策略，满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者，确保各方需求都得到较好地满足，所有类型的数据所有权均得到体现。委员会也需要有数据安全专家，数据安全也是重要的一环。了解数据治理委员会的目标是什么，这一点很重要，因此，应该思考企业需要数据治理策略的原因，并清楚地加以说明。

制定数据治理的框架

这个框架要将企业内部、外部、甚至是法律层面的数据需求都纳入其中。框架内的各个部分要能够融合成一个整体，满足收集、清洗、存储、检索和安全要求。为此，企业必须清楚说明其端到端数据策略，以便设计一个能够满足所有需求和必要操作的框架。

有计划地把各个部分结合起来，彼此支持，这有很多好处，比如在高度安全的环境中执行检索要求。合规性也需要专门的设计，成为框架的一部分，这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施，能够对攻击发出早期预警。在使用数据前，对其进行验证，这也是框架的一部分。数据治理委员会应该了解框架的每个部分，明确其用途，以及它如何在数据的整个生命周期中发挥作用。

数据测试策略

通常一个数据策略需要在小规模的商用环境中进行测试，用来发现数据策略在框架，结构和计划上的不足之处并进行调整，之后才能够投入正式使用。

数据治理策略要与时俱进

随着数据治理策略延伸到新的业务领域，肯定需要对策略进行调整。而且，随着技术的发展，数据策略也应该发展，与安全形势、数据分析方法以及数据管理工具等保持同步。

明确什么是成功的数据策略

我们需要确立衡量数据治理是否成功的明确标准，以便衡量进展。制定数据管理目标，有助于确定成功的重要指标，进而确保数据治理策略的方向是符合企业需求。

无论企业大小，在使用数据上都面临相似的数据挑战。企业越大，数据越多，而数据越多，越发需要制定一个有效的，正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就足够了，但这只限于那些规模很小且对数据依赖度很低的公司。即便是非正式的数据治理计划也需要尽可能考虑数据用户和员工数据的采集、验证、访问、存储。

当企业规模扩大，数据需求跨越多个部门时，当数据系统和数据集太大，难以驾驭时，当业务发展需要企业级的策略时，或者当法律或监管提出需求时，就必须制定更为正式的数据治理策略。

Answer 2

“数字转型，治理先行”。在数字化转型趋势下，众多企业都在纷纷谈论数据治理，已经形成了一项共识，那就是数据是数字化转型的基础，只有做好数据治理，充分挖掘数据价值，才能更快、更好地推进数字化转型。落地到企业内部的数字化转型的具体工作中，企业数据管理面临着问题：比如企业业务协同与数据贯通问题、企业数据治理与IT架构不统一问题、企业运营管控的数据口径不统一不标准的问题、企业数据质量差无法满足业务应用的问题。上述问题都要依赖企业的数据治理来解决。
企业数据治理普遍存在的困难和挑战主要有以下4个方面：
1）找不到：业务人员/管理者不知道企业有哪些数据，各类数据
都存储在哪个业务系统，没有一个统一的地方去搜索，也不知道该问谁要。
2）看不懂：业务人员/管理者拿到了数据却看不懂，数据的描述
方式具有很强的专业性和技术性，很难知道业务含义，也不清楚数据
与业务之间的关系到底是什么，对于数据资产完全不清晰。
3）用不了：企业数据分散、多源、异构，各业务系统数据质量差、
数据标准不统一、数据整合困难，导致数据不能直接使用。
4）管不住：数据治理是一个组织的全局性项目，需要跨组织的沟
通协调，而任何一个单一部门都很难直接协同其他平级部门，需要有企业级统筹的组织和统一的管理方式来运营。
美林数据提供咨询+产品+实施的成熟一体化服务，保障数据治理工作落地。美林数据治理解决方案整体框架自顶向下包括数据战略、数据管理能力成熟度动态评估、数据规划、湖仓建设、数据治理、数据门户和智能应用，其中数据运营、安全保障作为底层的重要基座，保障数据治理活动正常开展。围绕数据治理解决方案整体框架分别介绍每个阶段的工作内容：
1）数据战略：数据战略是确定数据治理的方针与策略，解决数据治理工作怎么管的问题。数据战略阶段主要有3项工作，第一：制定企业数据战略目标，进行企业现状盘点、数据管理能力成熟度评估和制定企业数据战略；第二：制定企业数据管理办法，包括制定一套数据管理制度、一套数据管理流程和一套数据管理组织架构；第三：构建企业数据治理体系，包括制定一张企业业务域蓝图、一套企业数据标砖规范和一套企业统一数据模型。
2）湖仓建设：数据仓库解决了结构化数据的问题，数据湖解决了
非结构化数据的问题，美林提出湖仓一体的方案，将结构化数据和非结构化数据结合，支撑数据治理及数据应用。
3）数据治理：数据治理方法很多，常见的比如顶层设计、标准先
行、技术驱动、项目建设等，美林根据多年的探索和实际应用经验，提出了业务价值驱动数据治理的新理念：
（1）业务先行、价值驱动：以切实需要的业务场景和核心利益为出发点，驱动数据治理，倒逼提升数据质量。
（2）标准为基、融合推进：当前企业或多或少都经历的多年的信息化建设，很少有企业能一开始就制定好数据标准，并在所有的系统建设中都严格遵守这个标准。美林数据对此创新性的提出了“融合先行，终向统一”的思路，对存量系统和新系统的数据治理实行分而治之。针对存量系统，为了不影响业务运行、避免系统改造、降低历史数据影响，美林采用统一接入、映射关联的方案，满足跨业务应用的需求，解决一物多码的问题。针对新系统，自动执行标准，依靠自动化方式进行数据核查，为数据标准化工作开展提供抓手，持续支撑数据标准化工作。
（3）AI赋能、增强治理：数据规模的指数级增长给数据治理工作带来巨大压力，传统人工方式做数据的清洗、分辨与调优使治理工作耗时冗长，带来高昂的人力成本，且愈发难以满足智能应用对数据在规模量与质量的高要求，传统的人工数据治理工作已变得捉襟见肘。美林数据依托自身人工智能等新技术，应用于数据治理的模型管理、元数据管理、主数据管理、数据质量管理等模块，还具备算法中心，可以兼容企业已有算法和第三方算法，最终实现数据治理的“自治与自我进化”。
4）数据门户：解决数据怎么用、怎么找数据。对于数据专业人员
通过数据地图，可以通过数据地图来寻找自己需要的数据集，组装自己需要的宽表。对于技术专业人员，可以通过共享服务来寻找应用开发所需要的数据API，支撑业务应用的数据服务需求。对于企业全部人员，可以通过企业知识库统一管理和检索企业文档数据。
5）智能应用：通过前面的数据规划、湖仓建设、数据治理等工作，可靠、可用的数据要素已经被创造出来，数据的消费者和应用的开发者能够更好地使用数据，让数据要素的价值真正体现在业务上。

Answer 3

在当今数据驱动的社会，数据治理和数据管控的重要性日益凸显。有效的数据治理和数据管控不仅能确保数据的准确性、一致性和安全性，还能提高组织的决策效率和创新能力。那么，如何进行有效的数据治理和数据管控呢？
明确数据治理和数据管控的目标是关键。组织需要清晰地定义其数据治理和数据管控的目标，例如提高数据质量、保障数据安全、促进数据共享等。这些目标将指导整个数据治理和数据管控的过程，确保各项措施能够有的放矢。
建立完善的数据管理制度和流程是基础。组织需要制定一套完整的数据管理制度，包括数据采集、存储、处理、分析和共享等各个环节的规范和标准。同时，还需要建立相应的数据治理流程，如数据清洗、数据质量监控、数据安全审计等，确保数据的准确性和安全性。
强化数据安全意识是保障。数据泄露和滥用等安全问题已经成为制约组织发展的重要因素。因此，组织需要加强员工的数据安全意识培训，建立完善的数据安全防护体系，如数据加密、访问控制、安全审计等，确保数据的安全性和完整性。
推动数据共享和开放是趋势。在数据驱动的社会，数据共享和开放已经成为推动组织创新和发展的重要手段。组织需要建立数据共享和开放的机制，促进内部和外部数据的流通和共享，提高数据的利用效率和价值。
最后，持续优化和创新是动力。数据治理和数据管控是一个持续优化的过程。组织需要不断关注数据治理和数据管控的最新动态和技术趋势，持续优化自身的数据治理和数据管控体系，提高数据治理和数据管控的效率和效果。同时，还需要鼓励员工提出创新性的数据治理和数据管控方案，推动组织的数字化转型和创新发展。
综上所述，有效的数据治理和数据管控需要组织从多个方面入手，包括明确目标、建立制度和流程、强化安全意识、推动数据共享和开放以及持续优化和创新。只有这样，组织才能在数据驱动的社会中保持竞争优势，实现可持续发展。

Answer 4

在现代工业生产中，数据是决策的基础。然而，很多工厂面临一个普遍的问题——数据混乱。信息分散、更新滞后、准确性差等问题困扰着管理层，影响了企业的发展。那么，如何解决这个问题呢？一种有效的工具就是ERP（企业资源计划）系统。
ERP系统是一种集成化的管理信息系统，它能够整合企业的各个部门和业务流程，实现数据的实时共享和协同工作。ERP系统的优势包括信息集成、流程标准化、实时监控、成本控制和战略规划支持等。选择合适的ERP系统并进行有效的实施，企业可以有效解决生产数据混乱、反馈滞后以及逻辑不清晰等问题。
ERP系统具备数据整合的能力，可以将各部门的数据集中在一个平台上，消除信息孤岛，确保所有员工都能访问到最新的数据。这样，无论是财务部门还是生产部门，都能够实时了解公司的整体运营情况。
还可以帮助企业优化流程，通过ERP系统的流程管理功能，可以梳理并优化现有的业务流程。比如，当原材料入库时，仓库人员可以在系统中录入相关信息，自动触发采购订单的完成；同时，这个信息也会被传递给生产部门，以便他们安排生产计划。这样一来，不仅提高了工作效率，也减少了人为错误的可能性。
而且，ERP系统还提供了强大的数据分析功能，可以帮助管理层实时监控企业的各项指标，如库存量、销售额、成本等。这些数据可以帮助管理者及时发现问题，并做出正确的决策。
另外，企业通过运用ERP系统还能提高透明度，增强企业内部的信息流通，提高了数据的透明度。这有助于建立信任，促进团队协作。同时，对于外部合作伙伴来说，也可以通过ERP系统获取到必要的信息，加强合作关系。
ERP系统是一种高效的管理工具，可以帮助工厂解决生产数据混乱的问题，提高运营效率，并降低潜在风险。企业在选择时需要根据自身的发展情况及业务需求进行综合考虑，包括明确战略目标、评估现有流程和技术基础设施、考虑组织结构和员工技术等因素。在具体选择过程中，可以参考行业经验、功能模块、供应商实力以及实施服务等几个方面。只有这样，才能确保所选的ERP系统能够真正满足企业的需求，并推动企业的持续发展。