目录一、实验背景1. 实验目的2. 实验环境3. 整体处理逻辑二、实验步骤第一阶段更新content_analysis作品明细表1. 导入实验7-1清洗后的数据源2. JavaScript代码组件实现标题关键词打标3. 计算器组件计算综合互动总量4. 插入/更新组件回填数据第二阶段构建关键词汇总统计表6. 创建目标统计表title_feature_analysis7. 计算平台整体平均互动量8. 单关键词均值统计以保姆级为例9. 合并整体均值与关键词均值10. 数据入库配置11. 批量复刻其余4个关键词流程12. 运行全流程查看最终结果三、实验结果四、问题与解决五、实验总结一、实验背景1. 实验目的本次实验基于实验7-1清洗完成的content_analysis作品明细数据使用助睿数智Uniplore实验平台完成作品互动特征构建与标题文本特征提取。通过本次实验主要掌握以下核心能力(1) 理解特征工程在数据分析、数据挖掘中的核心价值(2) 使用助睿ETL计算器组件完成衍生指标、复合指标计算(3) 使用JavaScript代码组件实现文本关键词自动打标、特征提取(4) 掌握插入/更新组件数据回填逻辑规避数据重复问题(5) 熟练运用过滤聚合常量合并组件组合完成分组对比统计。2. 实验环境本次实验使用的平台是助睿数智Uniplore一站式数据科学实验平台实验平台地址为https://lab.guilian.cn/助睿数智平台支持数据接入、ETL处理、机器学习建模和可视化分析等功能。本次实验主要使用其中的ETL可视化转换流功能通过拖拽组件完成数据处理。数据库团队私有数据库MySQL基于实验7-1输出的content_analysis表进行特征构建。数据准备content_analysis表实验7-1清洗完成的B站、CSDN有效作品数据包含浏览量大于0的作品明细。3. 整体处理逻辑原始数据只有零散的点赞、收藏、标题文本无法直接用于分析规律。本次实验通过特征工程实现两个升级数值聚合把点赞、收藏、分享、投币多个零散互动指标合并为综合互动量直观衡量作品热度。文本量化把无法计算的标题文字通过关键词匹配转化为计算机可识别的0/1数值特征实现量化分析。本次实验分为两大阶段第一阶段作品级特征更新读取content_analysis表通过JavaScript代码组件对标题进行关键词打标生成5个0/1特征字段通过计算器组件计算综合互动总量最后使用插入/更新组件按ID回填更新原表。第二阶段关键词级汇总统计新建title_feature_analysis统计表分5个关键词分支独立过滤聚合计算平均互动量、样本数量通过增加常量打标后合并各组数据最终输出完整的关键词汇总统计表。整体处理流程概括为读取清洗数据 → 标题关键词打标 → 计算综合互动 → 回填更新明细表 → 多分支过滤聚合 → 常量打标 → 数据合并 → 结果入库二、实验步骤第一阶段更新content_analysis作品明细表1. 导入实验7-1清洗后的数据源新建转换工作流命名为作品特征构建_明细更新。在组件库中搜索表输入拖拽至画布中。双击表输入组件配置如下· 步骤名称读取作品明细数据· 数据库连接团队私有数据库· 点击获取SQL查询语句选择content_analysis表· 确认后自动生成SELECT * FROM content_analysis查询语句说明平台支持跨实验、跨项目复用数据集无需重复导入CSV文件。2. JavaScript代码组件实现标题关键词打标拖拽JavaScript代码组件到画布中建立读取作品明细数据表输入组件到JavaScript代码组件的连接线连线类型选择主输出步骤。双击JavaScript代码组件步骤名称设置为标题关键词自动打标输入以下代码var title title;// 匹配五大核心关键词存在为1不存在为0var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;点击获取变量系统将自动解析脚本中的变量定义生成5个输出字段。字段规则说明· has_best标题含保姆级1否则0· has_lowcode标题含零代码1否则0· has_practice标题含实战1否则0· has_tutorial标题含教程或指南任意一个1否则0· has_pit标题含踩坑1否则0点击测试脚本按钮确认标记字段仅存在1和0两个值关键词判断准确无异常后点击确认。3. 计算器组件计算综合互动总量拖拽计算器组件到画布中建立JavaScript代码组件到计算器组件的连接线。双击计算器组件配置如下· 步骤名称计算综合互动总量配置项值新字段total_interaction计算字段A 字段B 字段C 字段D字段A/B/C/Dlikes / favorites / shares / coins值类型Integer计算公式total_interaction likes favorites shares coins含义汇总点赞、收藏、分享、B站投币四大互动维度全面衡量作品综合热度。点击确认完成配置。4. 插入/更新组件回填数据拖拽插入/更新组件到画布中建立计算器组件到插入/更新组件的连接线。注意此处不能使用表输出组件否则会导致数据重复堆积双击插入/更新组件配置如下· 数据库连接团队私有数据库· 目标表content_analysis· 匹配关键字字段id唯一主键精准匹配每一条作品· 更新字段total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit在数据库字段tab页右键获取字段建立以下字段映射关系工作流字段数据库表字段ididtotal_interactiontotal_interactionhas_besthas_besthas_lowcodehas_lowcodehas_practicehas_practicehas_tutorialhas_tutorial说明插入/更新组件根据id判断存在则更新字段不存在则插入可无限重复运行实验数据零冗余、零重复。点击确认完成配置。运行转换流验证明细数据点击工具栏执行按钮选择默认配置后点击启动执行整条Pipeline转换流。运行完成后打开元数据tab页在团队私有数据库连接上右键选择加载元数据。然后进入数据探查页面展开团队私有数据库双击content_analysis表查看数据。验证内容确认每条作品记录已成功新增total_interaction综合互动总量以及has_best、has_lowcode、has_practice、has_tutorial、has_pit五个0/1特征字段原始字段完整保留。第二阶段构建关键词汇总统计表6. 创建目标统计表title_feature_analysis新建转换工作流命名为创建关键词汇总统计表拖拽执行一个SQL脚本组件。配置说明在组件中填写SQL脚本选择目标数据库连接团队私有数据库。SQL脚本如下CREATE TABLE IF NOT EXISTS title_feature_analysis (id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键,platform VARCHAR(20) COMMENT 作品平台B站/CSDN,feature_name VARCHAR(50) COMMENT 关键词名称,avg_interaction DECIMAL(10,2) COMMENT 含该关键词作品的平均互动量,overall_avg DECIMAL(10,2) COMMENT 平台全部作品整体平均互动量,sample_count INT COMMENT 对应关键词作品样本数) COMMENT标题关键词特征分析统计表;完成后运行转换流。7. 计算平台整体平均互动量新建转换工作流关键词汇总统计添加表输入组件读取content_analysis全量数据。拖拽分组聚合组件建立连接线。配置如下· 不设置分组字段直接聚合· 聚合名称overall_avgsubjecttotal_interaction类型平均值拖拽增加常量组件建立连接线。配置如下· 新增字段名feature_name· 常量值保姆级用于后续与关键词均值关联对比· 类型String说明给整体平均值打上标签后续用于和关键词均值按feature_name关联对比。8. 单关键词均值统计以保姆级为例从表输入组件再拖出一条连接线创建数据源分支。拖拽过滤记录组件建立连接线。配置如下· 判断字段has_best· 判断条件· 判断值1拖拽分组聚合组件建立连接线选择主输出步骤。配置如下· 不设置分组字段· 聚合1名称avg_interactionsubjecttotal_interaction类型平均值· 聚合2名称sample_countsubjectid类型个数拖拽增加常量组件建立连接线。配置如下· 新增字段名feature_name· 常量值保姆级· 类型String说明聚合后的数据只有数字没有关键词标识通过增加常量打标后才能区分不同统计维度为合并数据做准备。9. 合并整体均值与关键词均值拖拽记录集连接组件到画布中。创建增加常量整体均值分支和增加常量关键词分支两条连接线到记录集连接组件。双击记录集连接组件配置如下· 连接类型INNER JOIN· 第一个Transform的连接字段feature_name· 第二个Transform的连接字段feature_name· 以feature_name为关联字段合并两组统计数据说明合并后单关键词的完整统计数据就成型了包含平均互动量、整体均值、样本数量。10. 数据入库配置拖拽表输出组件建立记录集连接组件到表输出组件的连接线。双击表输出组件配置如下· 数据库连接团队私有数据库· 目标表title_feature_analysis· 不勾选裁剪表保留已有数据· 勾选指定数据库字段在数据库字段tab页获取字段并确认映射重要说明不勾选裁剪表后续多个关键词数据可依次入库不会相互覆盖。11. 批量复刻其余4个关键词流程直接复制保姆级完整分支流程仅修改以下两处参数(1) 过滤记录组件的判断条件关键词过滤条件零代码has_lowcode 1实战has_practice 1教程指南has_tutorial 1踩坑has_pit 1(2) 增加常量组件的常量值对应修改为零代码、实战、教程指南、踩坑。12. 运行全流程查看最终结果五条关键词分支全部配置完成后检查完整ETL流程确认组件连接无误、参数配置正确。点击执行按钮选择默认配置后点击启动执行整条Pipeline转换流。运行完成后打开数据探查面板双击title_feature_analysis表查看数据。验证内容确认表中生成5行完整统计数据包含每类标题关键词的作品数量、平均互动量、平台整体均值数据完整准确。三、实验结果本次实验成功基于实验7-1清洗完成的content_analysis作品明细数据在助睿数智实验平台上完成了作品特征构建与关键词分析全流程。输出表名数据粒度核心用途content_analysis更新单作品明细数据用于作品排名、趋势分析、单作品特征复盘支撑后续深度挖掘title_feature_analysis新建关键词维度汇总数据横向对比不同标题关键词的流量效果总结爆款标题规律明细表content_analysis已成功新增互动总量字段和5个标题特征标签汇总表title_feature_analysis包含5类关键词的样本数量、平均互动量和平台整体均值可用于后续对比分析与可视化展示。四、问题与解决问题1在更新明细表时若使用表输出组件写入content_analysis会导致数据重复堆积因为表输出是追加数据行而非更新已有行。解决方法使用插入/更新组件替代表输出组件。插入/更新组件按主键id匹配存在则更新指定字段不存在则插入新行支持反复运行实验而不会产生重复脏数据。问题2多个关键词的聚合统计数据合并时无法区分各关键词的聚合结果缺少标识字段。解决方法在每个分支聚合后添加增加常量组件新增feature_name字段并设置对应的关键词名称作为数据标签。之后通过记录集连接组件按feature_name关联即可精准合并各组统计数据。问题3写入统计结果时若勾选裁剪表每次运行会清空已有数据导致之前写入的关键词数据丢失。解决方法表输出组件不勾选裁剪表保留已有数据。各关键词分支按顺序单独入库最终汇总表中包含所有关键词的完整统计数据。五、实验总结通过本次实验我掌握了使用助睿数智平台进行特征工程构建的基本流程和方法完成了从原始干净数据到可分析特征数据的完整升级。实验核心收获包括(1) 理解了特征工程的核心价值通过数值聚合将零散互动指标合并为综合热度指标通过文本量化将非结构化标题文字转化为结构化0/1数值特征实现量化分析。(2) 掌握了插入/更新组件与表输出组件的核心区别表输出适合新建统计表插入/更新适合明细数据迭代更新按主键匹配不产生重复数据。(3) 学会了多维度并列对比统计的标准ETL写法单关键词独立过滤聚合 常量打标 数据合并可复用在各类对比分析场景。(4) 巩固了文本特征工程的通用套路将非结构化文本数据通过关键词匹配转化为结构化0/1数值特征为后续的统计分析、可视化对比提供了标准化特征数据集。通过本次实验我们不再只能看基础数据而是拥有了分析规律、复盘爆款、优化内容的能力为后续的数据可视化、内容策略分析提供了标准的特征数据集。
目录一、实验背景1. 实验目的2. 实验环境3. 整体处理逻辑二、实验步骤第一阶段更新content_analysis作品明细表1. 导入实验7-1清洗后的数据源2. JavaScript代码组件实现标题关键词打标3. 计算器组件计算综合互动总量4. 插入/更新组件回填数据第二阶段构建关键词汇总统计表6. 创建目标统计表title_feature_analysis7. 计算平台整体平均互动量8. 单关键词均值统计以保姆级为例9. 合并整体均值与关键词均值10. 数据入库配置11. 批量复刻其余4个关键词流程12. 运行全流程查看最终结果三、实验结果四、问题与解决五、实验总结一、实验背景1. 实验目的本次实验基于实验7-1清洗完成的content_analysis作品明细数据使用助睿数智Uniplore实验平台完成作品互动特征构建与标题文本特征提取。通过本次实验主要掌握以下核心能力(1) 理解特征工程在数据分析、数据挖掘中的核心价值(2) 使用助睿ETL计算器组件完成衍生指标、复合指标计算(3) 使用JavaScript代码组件实现文本关键词自动打标、特征提取(4) 掌握插入/更新组件数据回填逻辑规避数据重复问题(5) 熟练运用过滤聚合常量合并组件组合完成分组对比统计。2. 实验环境本次实验使用的平台是助睿数智Uniplore一站式数据科学实验平台实验平台地址为https://lab.guilian.cn/助睿数智平台支持数据接入、ETL处理、机器学习建模和可视化分析等功能。本次实验主要使用其中的ETL可视化转换流功能通过拖拽组件完成数据处理。数据库团队私有数据库MySQL基于实验7-1输出的content_analysis表进行特征构建。数据准备content_analysis表实验7-1清洗完成的B站、CSDN有效作品数据包含浏览量大于0的作品明细。3. 整体处理逻辑原始数据只有零散的点赞、收藏、标题文本无法直接用于分析规律。本次实验通过特征工程实现两个升级数值聚合把点赞、收藏、分享、投币多个零散互动指标合并为综合互动量直观衡量作品热度。文本量化把无法计算的标题文字通过关键词匹配转化为计算机可识别的0/1数值特征实现量化分析。本次实验分为两大阶段第一阶段作品级特征更新读取content_analysis表通过JavaScript代码组件对标题进行关键词打标生成5个0/1特征字段通过计算器组件计算综合互动总量最后使用插入/更新组件按ID回填更新原表。第二阶段关键词级汇总统计新建title_feature_analysis统计表分5个关键词分支独立过滤聚合计算平均互动量、样本数量通过增加常量打标后合并各组数据最终输出完整的关键词汇总统计表。整体处理流程概括为读取清洗数据 → 标题关键词打标 → 计算综合互动 → 回填更新明细表 → 多分支过滤聚合 → 常量打标 → 数据合并 → 结果入库二、实验步骤第一阶段更新content_analysis作品明细表1. 导入实验7-1清洗后的数据源新建转换工作流命名为作品特征构建_明细更新。在组件库中搜索表输入拖拽至画布中。双击表输入组件配置如下· 步骤名称读取作品明细数据· 数据库连接团队私有数据库· 点击获取SQL查询语句选择content_analysis表· 确认后自动生成SELECT * FROM content_analysis查询语句说明平台支持跨实验、跨项目复用数据集无需重复导入CSV文件。2. JavaScript代码组件实现标题关键词打标拖拽JavaScript代码组件到画布中建立读取作品明细数据表输入组件到JavaScript代码组件的连接线连线类型选择主输出步骤。双击JavaScript代码组件步骤名称设置为标题关键词自动打标输入以下代码var title title;// 匹配五大核心关键词存在为1不存在为0var has_best title.indexOf(保姆级) ! -1 ? 1 : 0;var has_lowcode title.indexOf(零代码) ! -1 ? 1 : 0;var has_practice title.indexOf(实战) ! -1 ? 1 : 0;var has_tutorial (title.indexOf(教程) ! -1 || title.indexOf(指南) ! -1) ? 1 : 0;var has_pit title.indexOf(踩坑) ! -1 ? 1 : 0;点击获取变量系统将自动解析脚本中的变量定义生成5个输出字段。字段规则说明· has_best标题含保姆级1否则0· has_lowcode标题含零代码1否则0· has_practice标题含实战1否则0· has_tutorial标题含教程或指南任意一个1否则0· has_pit标题含踩坑1否则0点击测试脚本按钮确认标记字段仅存在1和0两个值关键词判断准确无异常后点击确认。3. 计算器组件计算综合互动总量拖拽计算器组件到画布中建立JavaScript代码组件到计算器组件的连接线。双击计算器组件配置如下· 步骤名称计算综合互动总量配置项值新字段total_interaction计算字段A 字段B 字段C 字段D字段A/B/C/Dlikes / favorites / shares / coins值类型Integer计算公式total_interaction likes favorites shares coins含义汇总点赞、收藏、分享、B站投币四大互动维度全面衡量作品综合热度。点击确认完成配置。4. 插入/更新组件回填数据拖拽插入/更新组件到画布中建立计算器组件到插入/更新组件的连接线。注意此处不能使用表输出组件否则会导致数据重复堆积双击插入/更新组件配置如下· 数据库连接团队私有数据库· 目标表content_analysis· 匹配关键字字段id唯一主键精准匹配每一条作品· 更新字段total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit在数据库字段tab页右键获取字段建立以下字段映射关系工作流字段数据库表字段ididtotal_interactiontotal_interactionhas_besthas_besthas_lowcodehas_lowcodehas_practicehas_practicehas_tutorialhas_tutorial说明插入/更新组件根据id判断存在则更新字段不存在则插入可无限重复运行实验数据零冗余、零重复。点击确认完成配置。运行转换流验证明细数据点击工具栏执行按钮选择默认配置后点击启动执行整条Pipeline转换流。运行完成后打开元数据tab页在团队私有数据库连接上右键选择加载元数据。然后进入数据探查页面展开团队私有数据库双击content_analysis表查看数据。验证内容确认每条作品记录已成功新增total_interaction综合互动总量以及has_best、has_lowcode、has_practice、has_tutorial、has_pit五个0/1特征字段原始字段完整保留。第二阶段构建关键词汇总统计表6. 创建目标统计表title_feature_analysis新建转换工作流命名为创建关键词汇总统计表拖拽执行一个SQL脚本组件。配置说明在组件中填写SQL脚本选择目标数据库连接团队私有数据库。SQL脚本如下CREATE TABLE IF NOT EXISTS title_feature_analysis (id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键,platform VARCHAR(20) COMMENT 作品平台B站/CSDN,feature_name VARCHAR(50) COMMENT 关键词名称,avg_interaction DECIMAL(10,2) COMMENT 含该关键词作品的平均互动量,overall_avg DECIMAL(10,2) COMMENT 平台全部作品整体平均互动量,sample_count INT COMMENT 对应关键词作品样本数) COMMENT标题关键词特征分析统计表;完成后运行转换流。7. 计算平台整体平均互动量新建转换工作流关键词汇总统计添加表输入组件读取content_analysis全量数据。拖拽分组聚合组件建立连接线。配置如下· 不设置分组字段直接聚合· 聚合名称overall_avgsubjecttotal_interaction类型平均值拖拽增加常量组件建立连接线。配置如下· 新增字段名feature_name· 常量值保姆级用于后续与关键词均值关联对比· 类型String说明给整体平均值打上标签后续用于和关键词均值按feature_name关联对比。8. 单关键词均值统计以保姆级为例从表输入组件再拖出一条连接线创建数据源分支。拖拽过滤记录组件建立连接线。配置如下· 判断字段has_best· 判断条件· 判断值1拖拽分组聚合组件建立连接线选择主输出步骤。配置如下· 不设置分组字段· 聚合1名称avg_interactionsubjecttotal_interaction类型平均值· 聚合2名称sample_countsubjectid类型个数拖拽增加常量组件建立连接线。配置如下· 新增字段名feature_name· 常量值保姆级· 类型String说明聚合后的数据只有数字没有关键词标识通过增加常量打标后才能区分不同统计维度为合并数据做准备。9. 合并整体均值与关键词均值拖拽记录集连接组件到画布中。创建增加常量整体均值分支和增加常量关键词分支两条连接线到记录集连接组件。双击记录集连接组件配置如下· 连接类型INNER JOIN· 第一个Transform的连接字段feature_name· 第二个Transform的连接字段feature_name· 以feature_name为关联字段合并两组统计数据说明合并后单关键词的完整统计数据就成型了包含平均互动量、整体均值、样本数量。10. 数据入库配置拖拽表输出组件建立记录集连接组件到表输出组件的连接线。双击表输出组件配置如下· 数据库连接团队私有数据库· 目标表title_feature_analysis· 不勾选裁剪表保留已有数据· 勾选指定数据库字段在数据库字段tab页获取字段并确认映射重要说明不勾选裁剪表后续多个关键词数据可依次入库不会相互覆盖。11. 批量复刻其余4个关键词流程直接复制保姆级完整分支流程仅修改以下两处参数(1) 过滤记录组件的判断条件关键词过滤条件零代码has_lowcode 1实战has_practice 1教程指南has_tutorial 1踩坑has_pit 1(2) 增加常量组件的常量值对应修改为零代码、实战、教程指南、踩坑。12. 运行全流程查看最终结果五条关键词分支全部配置完成后检查完整ETL流程确认组件连接无误、参数配置正确。点击执行按钮选择默认配置后点击启动执行整条Pipeline转换流。运行完成后打开数据探查面板双击title_feature_analysis表查看数据。验证内容确认表中生成5行完整统计数据包含每类标题关键词的作品数量、平均互动量、平台整体均值数据完整准确。三、实验结果本次实验成功基于实验7-1清洗完成的content_analysis作品明细数据在助睿数智实验平台上完成了作品特征构建与关键词分析全流程。输出表名数据粒度核心用途content_analysis更新单作品明细数据用于作品排名、趋势分析、单作品特征复盘支撑后续深度挖掘title_feature_analysis新建关键词维度汇总数据横向对比不同标题关键词的流量效果总结爆款标题规律明细表content_analysis已成功新增互动总量字段和5个标题特征标签汇总表title_feature_analysis包含5类关键词的样本数量、平均互动量和平台整体均值可用于后续对比分析与可视化展示。四、问题与解决问题1在更新明细表时若使用表输出组件写入content_analysis会导致数据重复堆积因为表输出是追加数据行而非更新已有行。解决方法使用插入/更新组件替代表输出组件。插入/更新组件按主键id匹配存在则更新指定字段不存在则插入新行支持反复运行实验而不会产生重复脏数据。问题2多个关键词的聚合统计数据合并时无法区分各关键词的聚合结果缺少标识字段。解决方法在每个分支聚合后添加增加常量组件新增feature_name字段并设置对应的关键词名称作为数据标签。之后通过记录集连接组件按feature_name关联即可精准合并各组统计数据。问题3写入统计结果时若勾选裁剪表每次运行会清空已有数据导致之前写入的关键词数据丢失。解决方法表输出组件不勾选裁剪表保留已有数据。各关键词分支按顺序单独入库最终汇总表中包含所有关键词的完整统计数据。五、实验总结通过本次实验我掌握了使用助睿数智平台进行特征工程构建的基本流程和方法完成了从原始干净数据到可分析特征数据的完整升级。实验核心收获包括(1) 理解了特征工程的核心价值通过数值聚合将零散互动指标合并为综合热度指标通过文本量化将非结构化标题文字转化为结构化0/1数值特征实现量化分析。(2) 掌握了插入/更新组件与表输出组件的核心区别表输出适合新建统计表插入/更新适合明细数据迭代更新按主键匹配不产生重复数据。(3) 学会了多维度并列对比统计的标准ETL写法单关键词独立过滤聚合 常量打标 数据合并可复用在各类对比分析场景。(4) 巩固了文本特征工程的通用套路将非结构化文本数据通过关键词匹配转化为结构化0/1数值特征为后续的统计分析、可视化对比提供了标准化特征数据集。通过本次实验我们不再只能看基础数据而是拥有了分析规律、复盘爆款、优化内容的能力为后续的数据可视化、内容策略分析提供了标准的特征数据集。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
