1. ETL基础1.1. ETL概念数据孤岛企业中的业务数据通常会分散在多个业务数据库中如果需要对这些数据进行数据分析正因为这些数据的分散存储会造成统一分析的困难。数据仓库为了解决数据孤岛需要将数据进行集中存储方便集中分析数据仓库是一种集中进行分析的解决方案如下图就是在分散的数据孤岛通过ETL的方式进行数据的集中输入到数据仓库中ETL将企业中分散的数据集中的输入到数据仓库中的过程ETL的流程主要分为3个过程extract 抽取transform 转换load 加载1.2. ETL的实现方式使用工具取完成ETL的相关任务kettlesqoopflumedatax使用编程语言开发etl系统比如python等1.3. 简单总结1.4. 结构化、半结构化、非结构化数据常见的数据存储格式除了最常见的关系型表数据还有一些常见的文件存储格式如下CSVJSONXML结构化数据可以用schema描述的数据就是结构化数据schema数据的一种描述具有明确意义的行列式二维表格数据可以简单的认为schema就是类似数据库的表格常见的结构化数据有CSV、Excel半结构化数据部分内容可以用schema描述的数据比如JSON和XML非结构化数据完全无法用schema描述的数据例如2. kettle——ETL过程的处理工具之一2.1. 安装部署kettle是基于Java开发的所以电脑环境需配置好Java jdk环境变量JAVA_HOME环境变量path解压kettle软件windows系统双击spoon.bat3. kettle入门最重要的是配置组件的过程3.1. txt转换excel3.1.1. 配置组件配置文本文件输入编码方式最好是utf-8字段获取3.2. excel转换为mysql表快捷键ctrln新建转换构建流图3.2.1. 配置输入组件3.2.2. 配置输出组件新建数据库连接建立与已存在的目标表的连接执行sql创建数据表3.3. pycharm配置mysql连接点击数据库图标找到mysql数据源配置数据源数据库驱动配置3.4. mysql表复制备份新建转换构建数据流图3.4.1. 配置输入组件3.4.2. 配置输出组件3.5. sql语句快速复制目标表3.6. sql数据库插入/更新组件新建转换构建数据流图3.6.1. 配置输入组件最后预览一下查看是否有问题。3.6.2. 配置输出组件3.7. mysql转excel加switch组件新建转换构建数据流图3.7.1. 配置输入组件3.7.2. 配置swtich组件3.7.3. 配置输出组件3.8. sql脚本执行3.9. job作业3.9.1. 第一步 新建作业3.9.2. 第二步 构建流图3.9.3. 配置组件3.9.3.1. 配置转换组件双击配置转换组件浏览选择需要执行的ktr文件ktr文件是前面保存的‘转换’文件3.9.3.2. 配置start组件start组件是一个将作业定时执行的组件表现上是将一个转换文件每隔一段时间间隔就去执行文件。3.9.3.3. 保存运行3.9.3.4. 退出
1. ETL基础1.1. ETL概念数据孤岛企业中的业务数据通常会分散在多个业务数据库中如果需要对这些数据进行数据分析正因为这些数据的分散存储会造成统一分析的困难。数据仓库为了解决数据孤岛需要将数据进行集中存储方便集中分析数据仓库是一种集中进行分析的解决方案如下图就是在分散的数据孤岛通过ETL的方式进行数据的集中输入到数据仓库中ETL将企业中分散的数据集中的输入到数据仓库中的过程ETL的流程主要分为3个过程extract 抽取transform 转换load 加载1.2. ETL的实现方式使用工具取完成ETL的相关任务kettlesqoopflumedatax使用编程语言开发etl系统比如python等1.3. 简单总结1.4. 结构化、半结构化、非结构化数据常见的数据存储格式除了最常见的关系型表数据还有一些常见的文件存储格式如下CSVJSONXML结构化数据可以用schema描述的数据就是结构化数据schema数据的一种描述具有明确意义的行列式二维表格数据可以简单的认为schema就是类似数据库的表格常见的结构化数据有CSV、Excel半结构化数据部分内容可以用schema描述的数据比如JSON和XML非结构化数据完全无法用schema描述的数据例如2. kettle——ETL过程的处理工具之一2.1. 安装部署kettle是基于Java开发的所以电脑环境需配置好Java jdk环境变量JAVA_HOME环境变量path解压kettle软件windows系统双击spoon.bat3. kettle入门最重要的是配置组件的过程3.1. txt转换excel3.1.1. 配置组件配置文本文件输入编码方式最好是utf-8字段获取3.2. excel转换为mysql表快捷键ctrln新建转换构建流图3.2.1. 配置输入组件3.2.2. 配置输出组件新建数据库连接建立与已存在的目标表的连接执行sql创建数据表3.3. pycharm配置mysql连接点击数据库图标找到mysql数据源配置数据源数据库驱动配置3.4. mysql表复制备份新建转换构建数据流图3.4.1. 配置输入组件3.4.2. 配置输出组件3.5. sql语句快速复制目标表3.6. sql数据库插入/更新组件新建转换构建数据流图3.6.1. 配置输入组件最后预览一下查看是否有问题。3.6.2. 配置输出组件3.7. mysql转excel加switch组件新建转换构建数据流图3.7.1. 配置输入组件3.7.2. 配置swtich组件3.7.3. 配置输出组件3.8. sql脚本执行3.9. job作业3.9.1. 第一步 新建作业3.9.2. 第二步 构建流图3.9.3. 配置组件3.9.3.1. 配置转换组件双击配置转换组件浏览选择需要执行的ktr文件ktr文件是前面保存的‘转换’文件3.9.3.2. 配置start组件start组件是一个将作业定时执行的组件表现上是将一个转换文件每隔一段时间间隔就去执行文件。3.9.3.3. 保存运行3.9.3.4. 退出
