机器学习决策树里基尼系数Gini Index是一个用来衡量数据“纯度”或者说“混乱程度”的指标。它的核心思想是从一个数据集中随机抽取两个样本它们属于不同类别的概率。1.直观理解基尼系数越小越好基尼系数 0意味着数据集最“纯”。随机抽两个样本它们一定属于同一类别概率为0即不会抽到不同类。比如一个盒子里全是红球。基尼系数 0.5在二分类中最大意味着数据集最“混乱”。随机抽两个样本有一半的概率抽到不同类别。比如盒子里红球和蓝球各占一半。决策树分支的目标就是通过不断划分让分支后的子节点基尼系数尽可能小即更纯。2.数学计算公式对于一个包含K 个类别K 类分类问题的数据集基尼系数的计算公式为其中p_i 表示数据集中第 i 个类别样本所占的比例。3.举个简单的计算例子假设有一个数据集里面只有两种标签好瓜和坏瓜。情况一纯数据集有10 个好瓜0 个坏瓜。结论基尼系数为0纯度最高。情况二平衡数据集有5 个好瓜5 个坏瓜。结论基尼系数为0.5混乱程度达到最大值。4.决策树如何使用它回顾上一题决策树在选择“用哪个特征来划分”时流程如下1. 计算父节点的基尼系数作为参照。2. 尝试用特征A划分划分后产生两个子节点计算每个子节点的基尼系数然后按子节点样本量占父节点的比例进行加权平均得到特征A划分后的总体基尼系数。3. 尝试用特征B划分同上计算总体基尼系数。4. 做选择比较所有特征选择那个划分后总体基尼系数最小的特征作为当前节点的分支特征。因为这意味着它能让数据变得最“纯”也就是“基尼增益”最大。5. 基尼系数 vs 信息熵简单补充你可能也会遇到“信息熵”这个概念它也是衡量纯度的指标。两者的区别是基尼系数计算量稍小不需要计算对数效率略高因此在CART 决策树scikit-learn 默认中被广泛使用。信息熵计算稍复杂两者在大部分场景下表现相近。基尼系数在决策树中就是一个“纯度打分器”分数越低数据分类越清晰也就是想要的分支效果。文章至此。
机器学习决策树里基尼系数Gini Index是一个用来衡量数据“纯度”或者说“混乱程度”的指标。它的核心思想是从一个数据集中随机抽取两个样本它们属于不同类别的概率。1.直观理解基尼系数越小越好基尼系数 0意味着数据集最“纯”。随机抽两个样本它们一定属于同一类别概率为0即不会抽到不同类。比如一个盒子里全是红球。基尼系数 0.5在二分类中最大意味着数据集最“混乱”。随机抽两个样本有一半的概率抽到不同类别。比如盒子里红球和蓝球各占一半。决策树分支的目标就是通过不断划分让分支后的子节点基尼系数尽可能小即更纯。2.数学计算公式对于一个包含K 个类别K 类分类问题的数据集基尼系数的计算公式为其中p_i 表示数据集中第 i 个类别样本所占的比例。3.举个简单的计算例子假设有一个数据集里面只有两种标签好瓜和坏瓜。情况一纯数据集有10 个好瓜0 个坏瓜。结论基尼系数为0纯度最高。情况二平衡数据集有5 个好瓜5 个坏瓜。结论基尼系数为0.5混乱程度达到最大值。4.决策树如何使用它回顾上一题决策树在选择“用哪个特征来划分”时流程如下1. 计算父节点的基尼系数作为参照。2. 尝试用特征A划分划分后产生两个子节点计算每个子节点的基尼系数然后按子节点样本量占父节点的比例进行加权平均得到特征A划分后的总体基尼系数。3. 尝试用特征B划分同上计算总体基尼系数。4. 做选择比较所有特征选择那个划分后总体基尼系数最小的特征作为当前节点的分支特征。因为这意味着它能让数据变得最“纯”也就是“基尼增益”最大。5. 基尼系数 vs 信息熵简单补充你可能也会遇到“信息熵”这个概念它也是衡量纯度的指标。两者的区别是基尼系数计算量稍小不需要计算对数效率略高因此在CART 决策树scikit-learn 默认中被广泛使用。信息熵计算稍复杂两者在大部分场景下表现相近。基尼系数在决策树中就是一个“纯度打分器”分数越低数据分类越清晰也就是想要的分支效果。文章至此。
