监督学习算法 之 决策树

我们已经介绍过线性回归和逻辑回归。本文介绍机器学习算法里最贴合人类日常决策思维的模型 - 决策树。1、大白话说 决策树你去超市 买西瓜 挑一个好西瓜遵循以下“五步法”1看瓜皮纹路瓜皮纹路清晰规整、舒展自然且条纹深浅对比明显2看瓜底瓜底发黄且颜色越深、越均匀说明光照充分、自然熟透、糖分积累充足3看瓜藤与瓜脐瓜藤翠绿、鲜嫩且自然微弯瓜脐小、微微向内凹陷4听声音清脆浑厚、有回弹的“咚咚声”有震动感5掂重量手感越沉的说明果肉水分充足、质地饱满完整走完这一套分层判断的流程就能精准筛选出优质西瓜这个过程和决策树的运行逻辑完全契合。从结构上看类似一棵倒过来的树就是所说的决策树。决策树包括1根节点第一个判断条件看瓜皮纹路2内部节点每一层的细分判断条件分叉出来的树枝是判断结果3叶节点最终的结论好瓜/坏瓜决策树就是机器通过学习历史数据自动总结出一套分层判断规则以后遇到新数据就顺着这套规则逐级判断最终输出预测结果。总结来说决策树算法干的事就是让计算机自己从历史数据里学会这套“提问逻辑”。它会不停地问“先用哪个特征切分数据能最快地把‘好瓜’和‘坏瓜’分开”这种“如果……那么……”的逻辑让决策树拥有了机器学习领域少有的“可解释性”。你可以直接把树画出来解释原因。2、数学模型决策树的核心是通过量化数据混乱度筛选最优划分特征找到最好的问题。机器训练决策树的过程就是不断找“能让数据变得最有序、最纯净”的特征作为判断条件层层拆分直到数据足够纯净、可以直接输出结果。数据的纯度和混乱度1如果一组数据里全是同一类样本说明数据纯度极高、混乱度为02如果一组数据里各类样本混杂、比例均衡说明混乱度极高、纯度极低想象两堆瓜子A堆全是红瓜子。很纯净不混乱B堆红、白、黑各占三分之一。很混乱决策树的训练目标每一次划分都最大限度降低数据混乱度、提升纯度。如何量化“混乱程度”有两个最常用的指标用于衡量混乱程度熵Entropy和基尼系数Gini。“熵”读音shāng是物理学里的一个概念后来被香农引入信息论。你可以把它粗暴地理解为“混乱程度”或者“不确定度”。举个栗子低熵状态你手里握着5个硬币全是正面朝上。这时候系统很“纯净”不确定性极低。高熵状态5个硬币里正面、反面、甚至立起来的都有。这时候系统很“混乱”不确定性极高。你完全猜不到下一个拿出来的是什么。熵Entropy可以理解为“不确定性”。B堆的熵就很高因为你随便抓一把不知道会抓出什么颜色。基尼系数Gini它衡量的是“随便抽两个样本类别不一样的概率”树的生长策略决策树的生长策略每次分裂都选择能让“混乱程度”下降最快的那个特征就是想尽办法降低系统的熵值。通过不断地“提问”分裂节点把原本混乱的数据混合了好瓜和坏瓜变得越来越纯净全变成好瓜或者全变成坏瓜。决策树终止当数据集完全纯净所有样本属于同一类、没有更多特征可用、或者达到预设的树深度防止过拟合时树停止生长。3、最佳落地场景凡是需要“白盒决策”、需要把模型结论翻译成“业务规则”的场景都是决策树的最佳落脚点因此决策树依然是金融、医疗、政务等传统行业的“心头好”。常见应用场景金融风控银行每天要处理成千上万个贷款申请人工审不过来又不能乱拒。决策树把专家经验固化成规则。决策树可以明确告诉拒绝原因黑箱模型很难做到。医疗辅助诊断一些常见病初筛中决策树常被用作辅助工具。根据患者的血常规指标、影像学特征一步步缩小怀疑范围。设备故障预警根据 监测温度、振动频率、电流波动 做故障预判。