1 实验目的本实验基于实验7-1的清洗后数据借助助睿ETL工具完成标题特征、互动数据的衍生计算与分层存储核心完成两类数据处理任务任务一作品级明细数据更新1. 计算作品互动总数计算公式total_interaction likes favorites shares coins2. 自动提取5项标题特征标志字段has_best、has_lowcode、has_practice、has_tutorial、has_pit以0/1二值形式标注标题关键词属性3. 将所有计算结果回填更新至content_analysis明细表不新增、不覆盖原始基础数据。任务二关键词级汇总数据统计1. 分组计算各关键词对应作品的平均互动总数、作品样本数、平台整体平均互动数2. 将所有关键词汇总统计结果统一输出至title_feature_analysis汇总表。实验核心掌握能力理解特征工程在数据分析中的核心价值与应用场景熟练使用助睿ETL计算器组件完成衍生指标计算运用JavaScript代码组件实现文本关键词自动标注与特征提取掌握插入/更新组件的数据回填方法保障数据完整性、避免数据重复运用过滤、聚合、合并等组件组合完成分组统计与多分支数据整合。2 实验环境与工具2.1 实验平台实验依托助睿在线实验平台https://lab.guilian.cn/底层采用Uniplore iDIS大数据智能服务平台。该平台是AI驱动的零代码一站式大数据基础软件覆盖数据接入、ETL加工、AI建模、可视化分析全链路适配教学实训与企业数据加工场景。平台官网https://www.uniplore.com//2.2 核心工具助睿ETL助睿ETL是平台核心数据集成工具具备零代码、全链路、高适配的核心优势全元数据驱动标准化定义数据读取、处理、写入全流程对象零代码拖拽操作可视化完成数据抽取、转换、加载无需复杂编程组件功能丰富内置筛选、聚合、连接、填充等全类型预处理组件Pipeline转换机制多组件组合形成数据加工流程聚焦数据精细化处理高可用开源内核支持插件扩展运行稳定、适配性强。2.3 实验核心组件及用途组件名称核心用途表输入读取content_analysis表的待处理原始数据计算器计算作品互动总数衍生指标JavaScript代码匹配标题关键词生成5项0/1特征标志字段插入/更新按id匹配回填数据更新明细表避免数据重复过滤记录聚合筛选指定关键词数据完成分组平均值、样本数统计增加常量为各关键词统计数据添加名称标签区分多分支数据合并记录整合5类关键词的统计数据形成完整数据集表输出将关键词汇总数据写入目标统计表3 核心设计思路本次实验围绕作品明细特征量化和关键词维度数据归因两大核心设计数据加工流程实现从原始数据到特征数据、汇总数据的全链路处理1.互动总量特征整合点赞、收藏、转发、投币四类互动数据计算总互动量量化作品整体用户热度2.标题文本特征筛选出与作品教学价值、实操属性强相关的5类高频关键词通过0/1二值量化将非结构化文本转化为可分析结构化字段便于后续分组对比3.分层数据存储作品级明细数据用于单作品维度分析关键词级汇总数据用于批量特征效果对比形成粗细结合的数据分析体系。4 详细实验步骤4.1 更新content_analysis作品明细表步骤1导入基础数据新建转化流“2.1内容分析表更新”拖入表输入组件以content_analysis表作为输入。步骤2使用字段选择组件移除冗余字段移除date,author_name,platform,views,url步骤3JavaScript组件提取标题特征拖入JavaScript组件填写vartitletitle;// 匹配五类标题关键词存在则赋值1否则为0varhas_besttitle.indexOf(保姆级)!-1?1:0;varhas_lowcodetitle.indexOf(零代码)!-1?1:0;varhas_practicetitle.indexOf(实战)!-1?1:0;varhas_tutorial(title.indexOf(教程)!-1||title.indexOf(指南)!-1)?1:0;varhas_pittitle.indexOf(踩坑)!-1?1:0;// 输出特征字段has_besthas_best;has_lowcodehas_lowcode;has_practicehas_practice;has_tutorialhas_tutorial;has_pithas_pit;点击获取变量修改变量类型步骤4计算器组件计算互动总数放入3个计算器组件分别如下设置步骤5插入/更新组件回填数据使用插入/更新组件将计算后的特征数据、互动数据回填至原明细表核心配置如下目标表content_analysis匹配关键字id唯一标识精准匹配单条作品数据更新字段total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit字段映射流端id匹配表端id其余计算字段一一对应回填。步骤5执行转换流组装完整数据加工流程点击运行完成作品明细表的特征数据更新。4.2 生成title_feature_analysis关键词汇总表步骤1新建目标汇总表在平台创建title_feature_analysis表用于存储关键词维度统计数据表结构如下字段名字段类型字段说明idINT自增主键platformVARCHAR(20)作品平台B站/CSDNfeature_nameVARCHAR(50)关键词特征名称avg_interactionDECIMAL(10,2)含对应关键词作品的平均互动数overall_avgDECIMAL(10,2)平台作品整体平均互动数sample_countINT含对应关键词的作品样本数量新建转化流“2.2新建标题特征分析表”执行一个sql脚本CREATETABLEIFNOTEXISTStitle_feature_analysis(idINTNOTNULLAUTO_INCREMENTCOMMENT自增主键,platformVARCHAR(20)NOTNULLCOMMENT平台B站/CSDN,feature_nameVARCHAR(50)NOTNULLCOMMENT关键词名称,avg_interactionDECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT含该关键词的平均互动总数,overall_avgDECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT该平台整体平均互动总数,sample_countINTNOTNULLDEFAULT0COMMENT含该关键词的作品数,PRIMARYKEY(id));### 步骤2建立保姆级转化流以content_analysis表作为输入分支一按平台排序并统计平台总平均互动数分支2过滤标题含“保姆级”的记录同样统计平台平均互动以平台作左外连接移除冗余的平台字段增加常量feature_name值设为保姆级将结果输出到title_feature_analysis表中不要勾选“裁剪表”### 步骤3复制保姆级转化流分别修改为零代码实战教程踩坑### 步骤4结果预览d:\VSCode_porjects\商业数据分析\实验8\7-2自媒体运营分析作品特征构建.md
1 实验目的本实验基于实验7-1的清洗后数据借助助睿ETL工具完成标题特征、互动数据的衍生计算与分层存储核心完成两类数据处理任务任务一作品级明细数据更新1. 计算作品互动总数计算公式total_interaction likes favorites shares coins2. 自动提取5项标题特征标志字段has_best、has_lowcode、has_practice、has_tutorial、has_pit以0/1二值形式标注标题关键词属性3. 将所有计算结果回填更新至content_analysis明细表不新增、不覆盖原始基础数据。任务二关键词级汇总数据统计1. 分组计算各关键词对应作品的平均互动总数、作品样本数、平台整体平均互动数2. 将所有关键词汇总统计结果统一输出至title_feature_analysis汇总表。实验核心掌握能力理解特征工程在数据分析中的核心价值与应用场景熟练使用助睿ETL计算器组件完成衍生指标计算运用JavaScript代码组件实现文本关键词自动标注与特征提取掌握插入/更新组件的数据回填方法保障数据完整性、避免数据重复运用过滤、聚合、合并等组件组合完成分组统计与多分支数据整合。2 实验环境与工具2.1 实验平台实验依托助睿在线实验平台https://lab.guilian.cn/底层采用Uniplore iDIS大数据智能服务平台。该平台是AI驱动的零代码一站式大数据基础软件覆盖数据接入、ETL加工、AI建模、可视化分析全链路适配教学实训与企业数据加工场景。平台官网https://www.uniplore.com//2.2 核心工具助睿ETL助睿ETL是平台核心数据集成工具具备零代码、全链路、高适配的核心优势全元数据驱动标准化定义数据读取、处理、写入全流程对象零代码拖拽操作可视化完成数据抽取、转换、加载无需复杂编程组件功能丰富内置筛选、聚合、连接、填充等全类型预处理组件Pipeline转换机制多组件组合形成数据加工流程聚焦数据精细化处理高可用开源内核支持插件扩展运行稳定、适配性强。2.3 实验核心组件及用途组件名称核心用途表输入读取content_analysis表的待处理原始数据计算器计算作品互动总数衍生指标JavaScript代码匹配标题关键词生成5项0/1特征标志字段插入/更新按id匹配回填数据更新明细表避免数据重复过滤记录聚合筛选指定关键词数据完成分组平均值、样本数统计增加常量为各关键词统计数据添加名称标签区分多分支数据合并记录整合5类关键词的统计数据形成完整数据集表输出将关键词汇总数据写入目标统计表3 核心设计思路本次实验围绕作品明细特征量化和关键词维度数据归因两大核心设计数据加工流程实现从原始数据到特征数据、汇总数据的全链路处理1.互动总量特征整合点赞、收藏、转发、投币四类互动数据计算总互动量量化作品整体用户热度2.标题文本特征筛选出与作品教学价值、实操属性强相关的5类高频关键词通过0/1二值量化将非结构化文本转化为可分析结构化字段便于后续分组对比3.分层数据存储作品级明细数据用于单作品维度分析关键词级汇总数据用于批量特征效果对比形成粗细结合的数据分析体系。4 详细实验步骤4.1 更新content_analysis作品明细表步骤1导入基础数据新建转化流“2.1内容分析表更新”拖入表输入组件以content_analysis表作为输入。步骤2使用字段选择组件移除冗余字段移除date,author_name,platform,views,url步骤3JavaScript组件提取标题特征拖入JavaScript组件填写vartitletitle;// 匹配五类标题关键词存在则赋值1否则为0varhas_besttitle.indexOf(保姆级)!-1?1:0;varhas_lowcodetitle.indexOf(零代码)!-1?1:0;varhas_practicetitle.indexOf(实战)!-1?1:0;varhas_tutorial(title.indexOf(教程)!-1||title.indexOf(指南)!-1)?1:0;varhas_pittitle.indexOf(踩坑)!-1?1:0;// 输出特征字段has_besthas_best;has_lowcodehas_lowcode;has_practicehas_practice;has_tutorialhas_tutorial;has_pithas_pit;点击获取变量修改变量类型步骤4计算器组件计算互动总数放入3个计算器组件分别如下设置步骤5插入/更新组件回填数据使用插入/更新组件将计算后的特征数据、互动数据回填至原明细表核心配置如下目标表content_analysis匹配关键字id唯一标识精准匹配单条作品数据更新字段total_interaction、has_best、has_lowcode、has_practice、has_tutorial、has_pit字段映射流端id匹配表端id其余计算字段一一对应回填。步骤5执行转换流组装完整数据加工流程点击运行完成作品明细表的特征数据更新。4.2 生成title_feature_analysis关键词汇总表步骤1新建目标汇总表在平台创建title_feature_analysis表用于存储关键词维度统计数据表结构如下字段名字段类型字段说明idINT自增主键platformVARCHAR(20)作品平台B站/CSDNfeature_nameVARCHAR(50)关键词特征名称avg_interactionDECIMAL(10,2)含对应关键词作品的平均互动数overall_avgDECIMAL(10,2)平台作品整体平均互动数sample_countINT含对应关键词的作品样本数量新建转化流“2.2新建标题特征分析表”执行一个sql脚本CREATETABLEIFNOTEXISTStitle_feature_analysis(idINTNOTNULLAUTO_INCREMENTCOMMENT自增主键,platformVARCHAR(20)NOTNULLCOMMENT平台B站/CSDN,feature_nameVARCHAR(50)NOTNULLCOMMENT关键词名称,avg_interactionDECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT含该关键词的平均互动总数,overall_avgDECIMAL(10,2)NOTNULLDEFAULT0.00COMMENT该平台整体平均互动总数,sample_countINTNOTNULLDEFAULT0COMMENT含该关键词的作品数,PRIMARYKEY(id));### 步骤2建立保姆级转化流以content_analysis表作为输入分支一按平台排序并统计平台总平均互动数分支2过滤标题含“保姆级”的记录同样统计平台平均互动以平台作左外连接移除冗余的平台字段增加常量feature_name值设为保姆级将结果输出到title_feature_analysis表中不要勾选“裁剪表”### 步骤3复制保姆级转化流分别修改为零代码实战教程踩坑### 步骤4结果预览d:\VSCode_porjects\商业数据分析\实验8\7-2自媒体运营分析作品特征构建.md
