系统集成项目管理工程师-数据治理与数据仓库

一、数据治理和建模掌握数据治理是开展数据价值化活动的基础关注对数字要素的管控能力覆盖组织对数据相关活动的统筹、评估、指导和监督等工作需要重点关注元数据、数据标准化、数据质量、数据模型和数据建模等方面的内容。1. 元数据掌握元数据是关于数据的数据Data About Data用于描述信息资源或数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。信息对象可以是单一的全文、目录、图像、数值型数据以及多媒体声音、动态图像等也可以是多个单一数据资源组成的资源集合或是这些资源的生产、加工、使用、管理、技术处理、保存等过程及其参数的描述。元数据体系从最基本的资源内容描述元数据开始到指导描述元数据的元元数据形成层次分明、结构开放的元数据体系。2. 数据标准化掌握数据标准化的主要内容元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化。数据标准化4个阶段阶段说明确定数据需求​产生数据需求及相关的元数据、域值等文件应考虑现行法规、政策和现行数据标准制定数据标准​处理上一阶段提出的数据需求若现有标准不能满足则建议制定新标准或修改/封存已有标准记录在数据字典中批准数据标准​数据管理机构对提交的建议进行审查一经批准将扩充或修改数据模型实施数据标准​在各信息系统中实施和改进已批准的数据标准3. 数据质量掌握衡量数据质量的指标体系完整性、规范性、一致性、准确性、唯一性、及时性。数据质量描述通过数据质量元素来描述分为数据质量定量元素和数据质量非定量元素。数据质量评价过程产生和报告数据质量结果的一系列步骤。数据质量评价方法直接评价法将数据与内部或外部的参照信息如理论值对比来确定数据质量间接评价法利用数据相关信息如对数据源、采集方法的描述推断或评估数据质量数据质量控制前期控制数据录入前的质量控制、数据录入过程中的实时质量控制后期控制数据录入完成后的后处理质量控制与评价4. 数据模型掌握根据模型应用目的不同分为3类数据模型说明概念模型信息模型按用户观点对数据和信息建模把现实世界中的客观对象抽象为某种信息结构不依赖具体计算机系统和DBMS。基本元素实体、属性、域、键、关联逻辑模型​在概念模型基础上确定模型的数据结构。主要数据结构有层次模型、网状模型、关系模型、面向对象模型和对象关系模型其中关系模型最重要。如概念转成关系模式数据表物理模型​在逻辑数据模型基础上考虑各种具体技术实现因素进行数据库体系结构设计真正实现数据在数据库中的存放5. 数据建模掌握数据建模过程包括4个阶段数据建模过程图阶段说明数据需求分析​分析用户对数据的需要和要求是数据建模的起点准确程度直接影响后续模型质量概念模型设计​将需求分析结果抽象为概念模型任务是确定实体和数据及其关联逻辑模型设计​将概念模型中的实体、属性和关联转换为关系模型结构中的关系模式物理模型设计​针对具体DBMS进行物理模型设计使数据模型走向数据存储应用环节。主要考虑命名、确定字段类型、编写存储过程与触发器二、数据仓库和数据资产掌握1. 数据仓库掌握数据仓库是一个面向主题的、集成的、随时间变化的、包含汇总和明细的、稳定的历史数据集合。数据仓库4大组件数据仓库体系结构图组件说明数据源​数据仓库系统的基础数据的存储与管理​整个数据仓库系统的核心OLAP服务器​对分析需要的数据进行有效集成按多维模型组织支持多角度多层次分析。具体实现分为ROLAP关系在线分析处理、MOLAP多维在线分析处理、HOLAP混合在线分析处理前端工具​包括报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具2. 主题库掌握主题库是数据仓库建设的一部分是为了便利工作、精准快速地反映工作对象全貌而建立的融合各类原始数据、资源数据等围绕能标识组织、人员、产权、财务等的主题对象长期积累形成的多种维度的数据集合。例如人口主题库、土地主题库、企业主题库、产权主题库、财务主题库、组织主题库等。主题库建设多层级体系结构层说明数据源层​存放数据管理信息的各种管理表和数据的各类数据表构件层​包括基础构件查询数据、展现数据、存储数据、采集数据、载入数据、更新数据和组合构件由基础构件组装完成复杂功能主题库层​按业务需求通过构建组合形成具有统一访问接口的主题库3. 数据资产管理掌握在数字时代数据是一种重要的生产要素把数据转化成可流通的数据要素重点包含两个环节1数据资源化通过将原始数据转变为数据资源使数据具备一定的潜在价值是数据资产化的必要前提。以数据治理为工作重点以提升数据质量、保障数据安全为目标确保数据的准确性、一致性、时效性和完整性推动数据内外部流通。2数据资产化通过将数据资源转变为数据资产使数据资源的潜在价值得以充分释放。以扩大数据资产的应用范围、显性化数据资产的成本与效益为工作重点使数据供给端与数据消费端之间形成良性反馈闭环。数据资产流通通过数据共享、数据开放或数据交易等流通模式推动数据资产在组织内外部的价值实现。数据共享打通组织各部门间的数据壁垒建立统一的数据共享机制加速数据资源在组织内部流动数据开放向社会公众提供易于获取和理解的数据数据交易交易双方通过合同约定在安全合规的前提下开展以数据或其衍生形态为核心的交易行为数据资产运营对数据服务、数据流通情况进行持续跟踪和分析以数据价值管理为参考从数据使用者的视角出发全面评价数据应用效果建立科学的正向反馈和闭环管理机制促进数据资产的迭代和完善。数据价值评估数据资产管理的关键环节是数据资产化的价值基线。4. 数据资源编目了解数据资源编目是实现数据资产管理的重要手段。数据资源目录体系设计包括概念模型设计和业务模型设计。数据资源目录的概念模型要素要素分类说明数据资源目录​资源目录准确浏览组织所记录或拥有的线上、线下原始数据资源的目录资产目录对原始数据资源进行标准化处理识别数据资产及其信息要素按分类分级登记服务目录对外提供的可视化共享数据目录分为指标报表等数据应用和共享接口信息项​数据资源信息项记录原始数据资源的元数据流水账数据资产信息项记录处理后形成的主题数据资源、基础数据资源的元数据流水账数据服务信息项记录对外提供数据应用、数据接口的元数据流水账数据资源库​—存储各类数据资源的物理数据库常分为专题数据资源库、主题数据资源库和基础数据资源库标准规范​元数据规范描述数据资源所必须具备的特征要素编码规范规定数据资源目录相关编码的表示形式、结构和维护规则分类标准规范数据资源分类的原则和方法三、本章真题小测Q1不属于常见的数据质量评价过程。A. 确定使用的数据质量定量元素及数据质量范围B. 确定数据质量度量方法C. 确定数据质量评价的第三方组织D. 选择并使用数据治理评价方法Q2数据仓库的核心组件中是整个数据仓库系统的核心。A. 数据源 B. 数据的存储与管理 C. OLAP服务器 D. 前端工具Q3将原始数据转变为数据资源使数据具备一定的潜在价值这一过程称为。A. 数据资产化 B. 数据资源化 C. 数据流通 D. 数据运营 答案Q1 答案C解析数据质量评价过程确定质量定量元素与范围、确定度量方法、选用数据治理评价方法。A、B、D 都属于评价过程。C确定第三方组织不属于数据质量评价本身的流程只是外部评审主体。Q2 答案B解析数据仓库组成A 数据源数据来源B 数据的存储与管理是整个数据仓库系统的核心负责组织、存储仓库数据C OLAP 服务器做多维分析D 前端工具报表、查询展示工具。Q3 答案B解析B 数据资源化原始数据→转变为数据资源具备潜在价值。A 数据资产化数据资源进一步确权、评估成为可计量的资产比资源化更进一步。C 数据流通数据流转交易。D 数据运营对数据资产进行运营使用。✅汇总答案Q1CQ2BQ3B