【白话机器学习】算法理论+实战之决策树

1. 写在前面

如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的, 常见的机器学习算法：

• 监督学习算法：逻辑回归，线性回归， 决策树 ，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等

• 无监督算法：聚类，降维，关联规则, PageRank等

为了详细的理解这些原理，曾经看过西瓜书，统计学习方法，机器学习实战等书，也听过一些机器学习的课程，但总感觉话语里比较深奥，读起来没有耐心，并且 理论到处有，而实战最重要 ， 所以在这里想用最浅显易懂的语言写一个 白话机器学习算法理论+实战系列 。

个人认为，理解算法背后的idea和使用，要比看懂它的数学推导更加重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已，打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么样的。如果算法是个梨，本文的首要目的就是先带领大家咬一口。另外还有下面几个目的：

• 检验自己对算法的理解程度，对算法理论做一个小总结

• 能开心的学习这些算法的核心思想， 找到学习这些算法的兴趣，为深入的学习这些算法打一个基础。

• 每一节课的理论都会放一个实战案例，能够真正的做到学以致用，既可以锻炼编程能力，又可以加深算法理论的把握程度。

• 也想把之前所有的笔记和参考放在一块，方便以后查看时的方便。

学习算法的过程，获得的不应该只有算法理论，还应该有乐趣和解决实际问题的能力！

今天是白话机器学习算法理论+实战的第一篇， 我们从决策树开始。

大纲如下：

• 决策树是什么（生活中其实超级常见，只是没有注意罢了）

• 决策树的构造（要不要去打篮球，问问它就知道了）

• 决策树的生成算法（ID3，C4.5，CART算法简介）

• 决策树的代码底层实现（看看决策树构建底层代码张什么样子，更深的理解）

• 决策树实战（使用Sklearn实现好的决策树，对泰坦尼克号乘客的生存做出预测）

OK， let's go !

2. 决策树是什么？

决策树其实在我们生活中非常常见，只是我们缺少了一双发现的眼睛。不信？举个相亲的例子吧:

这个女孩做决定的方式，就是基于决策树做的决定。又一脸茫然：我都把树给画好了（画工太差，凑合着看吧） 这就是棵决策树了，我们在生活中做选择的时候，往往背后都是基于这么一个结构，只不过我们都没有注意罢了。 当然工作原理也就非常简单了，只要有这么一棵树在那，当面对一个新的情况时，我们就不停的这样问，根据回答，就可以最后得出答案了。（比如，女孩可以再心目中根据择偶标准建立一个这样的树，当再有人给推荐对象时，就直接给他这棵树，让他自己比对，然后告诉他：决策树代表我的心。） 但是这个树究竟要怎么构造出来比较好呢， 这个有讲究，不能随便的构造，否则，有可能找不着对象。后面会重点说。好了， 引出了决策树之后，也得说点正经的知识了：

那么问题来了，究竟如何构造出一个决策树来呢？

3. 决策树的学习（构造）

上面的那种决策树是怎么构造出来的呢？这就是决策树的学习构成，即根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分 类。包括三个过程： 特征选择、决策树生成和决策树剪枝 。这三个过程分别对应下面的问题：

好了，上面的话是不是又有点官方了啊，并且可能还出现了例如过拟合，泛化能力，剪枝等生词，不要着急，还是以找对象的那个例子来理解这三个问题就是下面这样：

下面就围绕着这三个问题展开了，究竟如何选择特征，又如何生成决策树，生成决策树之后，又如何剪枝。

为了让下面的知识不那么大理论话，我用一个例子来进行展开：假设我又下面打篮球的一个数据集，我应该怎么构造一棵树出来以决定我是否去打篮球呢？

3.1 特征选择

就是我们应该怎么去选择特征作为分裂的节点？比如上面这个例子，特征有天气、湿度、温度、刮风，我先考虑哪一个特征进行分裂呢？

解决这个问题之前，得引入三个概念： 纯度、信息熵和信息增益 。不要晕，这么来理解吧，

• 可以把决策树的构造过程理解成为寻找纯净划分的过程。数学上，我们可以用纯度来表示，纯度换一种方式来解释就是让目标变量的分歧最小。这样有利于我们做出决策 这里先举个例子：假设我有三个集合，每个集合6个样本：

• 信息熵表示了信息的不确定度，理解起来就是衡量一组样本的混乱程度，样本越混乱，越不容易做出决定。计算公式如下： p(i|t) 代表了节点 t 为分类 i 的概率，其中 log2 为取以 2 为底的对数。这里不是来介绍公式的，而是说存在一种度量，它能帮我们反映出来这个信息的不确定度。当不确定性越大时，它所包含的信息量也就越大，信息熵也就越高。只需要举个例子看看怎么算一组样本的信息熵：假设我有两个集合：

那我们应该怎么办呢？ 其实用特征对样本进行划分之后，会让 混乱程度减小，就是熵变小，纯度变高 ，简单理解起来就是你分类了啊。

★

一开始，比如3次打篮球，3次不打，没法做判断，但是如果用刮风这个特征来划分一下子，相当于有了一个条件，这时候，可能刮风的条件下，有2次不打篮球，1次打篮球， 这不就纯度提高了，有利于做出决策了，不去打。

”

这时候我们解决了如何选择特征的一个问题，就是我给定一个条件，如果使我的样本纯度增加的最高，也就是更利于我做出选择，那么我就选这个作为分裂节点。 但是又有一个问题， 怎么衡量这个纯度提高了多少呢？

• 信息增益就是其中的一种方式，在得知特征X的信息后，而使得类Y的信息的不确定性减少的程度。计算公式如下： 即划分之前的信息熵与给定一个特征a划分样本之后的信息熵之差，就是特征a带来的信息增益。好吧，公式可能说的有点晕，我们看看怎么计算就可以啦， 就拿上面的那个例子，我把图片放到这里来： 看看上面每个特征信息增益应该怎么算：

如果不好理解上面的过程，我还画了个图理解： 根据上面的这个思路，我们就可以分别计算湿度，温度，刮风的信息增益如下：

• Gain(D，天气) = 0.02

• Gain(D , 温度)=0.128（这个最大）

• Gain(D , 湿度)=0.020

• Gain(D , 刮风)=0.020

可以看出来，温度作为属性的信息增益最大，所以，先以这个为节点，划分样本。 然后我们要将上图中第一个叶节点，也就是 D1={1-,2-,3+,4+}进一步进行分裂，往下划分，计算其不同属性（天气、湿度、刮风）作为节点的信息增益，可以得到：

• Gain(D , 湿度)=1

• Gain(D , 天气)=1

• Gain(D , 刮风)=0.3115

我们能看到湿度，或者天气为 D1 的节点都可以得到最大的信息增益，这里我们选取湿度作为节点的属性划分。同理，我们可以按照上面的计算步骤得到完整的决策树，结果如下：

这样，如果有小伙伴再叫我去打篮球的话，就会有下面的对话：

★

我：今天的温度怎么样？小伙伴：今天的温度适中 我：今天的天气怎么样？小伙伴：今天的天气晴天 我：Go Play！

”

这样，打不打篮球，决策树来告诉你。

3.2 决策树的生成

决策树的构造过程可以理解成为寻找纯净划分的过程。而衡量不纯度的指标有三种，而每一种不纯度对应一种决策树的生成算法：

• 上面给出的信息增益（ID3算法，其实上面的构造决策树的步骤就是著名的ID3算法）

• 信息增益比（C4.5算法）

• 基尼指数（CART算法）

后面第三大块，会详细介绍。

3.3 决策树的剪枝

而关于剪枝，在这里不讲太多，因为有点难理解，这里只是简单的介绍一下，顺带着说一下之前提到的生词：过拟合，欠拟合，泛化能力等。想学习详细步骤的可以参考下面给出的笔记参考《统计学习方法之决策树》 《西瓜书之决策树》。

既然要对决策树进行剪枝，具体有哪些方法呢？一般来说，剪枝可以分为“预剪枝”（Pre-Pruning）和“后剪枝”（Post-Pruning）。

• 预剪枝是在决策树构造时就进行剪枝。方法是在构造的过程中对节点进行评估，如果对某个节点进行划分，在验证集中不能带来准确性的提升，那么对这个节点进行划分就没有意义，这时就会把当前节点作为叶节点，不对其进行划分。

• 后剪枝就是在生成决策树之后再进行剪枝，通常会从决策树的叶节点开始，逐层向上对每个节点进行评估。如果剪掉这个节点子树，与保留该节点子树在分类准确性上差别不大，或者剪掉该节点子树，能在验证集中带来准确性的提升，那么就可以把该节点子树进行剪枝。方法是：用这个节点子树的叶子节点来替代该节点，类标记为这个节点子树中最频繁的那个类。

4. 决策树的生成算法

4.1 ID3算法

这个算法就不多介绍了，上面的决策树生成过程就是用的ID3算法，为了白话一点，这里不给出算法的步骤，具体的看统计学习方法里面的算法步骤（包括什么时候应该结束，这里没给出），这里只需要记住，ID3算法计算的是 信息增益 。

ID3 的算法规则相对简单，可解释性强。同样也存在缺陷，比如我们会发现 ID3 算法倾向于选择取值比较多的属性。

这种缺陷不是每次都会发生，只是存在一定的概率。在大部分情况下，ID3 都能生成不错的决策树分类。针对可能发生的缺陷，后人提出了新的算法进行改进。

4.2 在 ID3 算法上进行改进的 C4.5 算法

那么 C4.5 都在哪些方面改进了 ID3 呢？

1. 采用信息增益比因为 ID3 在计算的时候，倾向于选择取值多的属性。为了避免这个问题，C4.5 采用信息增益率的方式来选择属性。

当属性有很多值的时候，相当于被划分成了许多份，虽然信息增益变大了，但是对于 C4.5 来说，属性熵也会变大，所以整体的信息增益率并不大。上面那个例子，如果用C4.5算法的话，天气属性的信息增益比：

1. 采用悲观剪枝ID3 构造决策树的时候，容易产生过拟合的情况。在 C4.5 中，会在决策树构造之后采用悲观剪枝（PEP），这样可以提升决策树的泛化能力。悲观剪枝是后剪枝技术中的一种，通过递归估算每个内部节点的分类错误率，比较剪枝前后这个节点的分类错误率来决定是否对其进行剪枝。这种剪枝方法不再需要一个单独的测试数据集。

2. 离散化处理连续属性C4.5 可以处理连续属性的情况，对连续的属性进行离散化的处理。比如打篮球存在的“湿度”属性，不按照“高、中”划分，而是按照湿度值进行计算，那么湿度取什么值都有可能。该怎么选择这个阈值呢， C4.5 选择具有最高信息增益的划分所对应的阈值。

3. 处理缺失值针对数据集不完整的情况，C4.5 也可以进行处理。假如我们得到的是如下的数据，你会发现这个数据中存在两点问题。

• 第一个问题是，数据集中存在数值缺失的情况，如何进行属性选择？

• 第二个问题是，假设已经做了属性划分，但是样本在这个属性上有缺失值，该如何对样本进行划分？

  我们不考虑缺失的数值，可以得到温度 D={2-,3+,4+,5-,6+,7-}。温度 = 高：D1={2-,3+,4+} ；温度 = 中：D2={6+,7-}；温度 = 低：D3={5-} 。这里 + 号代表打篮球，- 号代表不打篮球。比如 ID=2 时，决策是不打篮球，我们可以记录为 2-。

  针对将属性选择为温度的信息增为：Gain(D′, 温度)=Ent(D′)-0.792=1.0-0.792=0.208 属性熵 =1.459, 信息增益率 Gain_ratio(D′, 温度)=0.208/1.459=0.1426。

  D′的样本个数为 6，而 D 的样本个数为 7，所以所占权重比例为 6/7，所以 Gain(D′，温度) 所占权重比例为 6/7，所以：

而对于上面的第二个问题，需要考虑权重。具体的参考《西瓜书之决策树》 这里只给出答案：

• 针对问题一， 就是假如有些样本在某个属性上存在值缺失，那么我计算信息增益的时候，我不考虑这些样本就可以了。但用了多少样本，要在不考虑带缺失值样本的前提下计算的信息增益的基础上，乘以一个权重。

• 针对问题二，如果出现样本在该属性上的值缺失， 则把该样本划分到所有的分支里面，但是权重不一样（这个权重就是每个分支里的节点个数占的总数比例），这样，如果再往下划分属性，对于该样本来说，算条件熵的时候，得考虑上他本身的一个权重了。

4.3 CART算法

CART 算法，英文全称叫做 Classification And Regression Tree，中文叫做分类回归树。ID3 和 C4.5 算法可以生成二叉树或多叉树，而 CART 只支持二叉树。同时 CART 决策树比较特殊，既可以作分类树，又可以作回归树。

首先，得先知道什么是分类树，什么是回归树？

我用下面的训练数据举个例子，你能看到不同职业的人，他们的年龄不同，学习时间也不同。

• 如果我构造了一棵决策树，想要基于数据判断这个人的职业身份，这个就属于分类树，因为是从几个分类中来做选择。分类树可以处理离散数据，也就是数据种类有限的数据，它输出的是样本的类别

• 如果是给定了数据，想要预测这个人的年龄，那就属于回归树。回归树可以对连续型的数值进行预测，也就是数据在某个区间内都有取值的可能，它输出的是一个数值。

4.3.1 CART分类树的工作流程

我们通过上面已经知道决策树的核心就是寻找纯净的划分，因此引入了纯度的概念。

在属性选择上，我们是通过统计“不纯度”来做判断的，ID3 是基于信息增益做判断，C4.5 在 ID3 的基础上做了改进，提出了信息增益率的概念。

实际上 CART 分类树与 C4.5 算法类似，只是属性选择的指标采用的是 基尼系数 。

对，这里又出现了一个新的概念，不要晕，这个东西本身反应了样本的不确定度，当基尼系数越小的时候，说明样本之间的差异性小，不确定程度低。这一点和熵的定义类似。

★

你可能在经济学中听过说基尼系数，它是用来衡量一个国家收入差距的常用指标。当基尼系数大于 0.4 的时候，说明财富差异悬殊。基尼系数在 0.2-0.4 之间说明分配合理，财富差距不大。

”

分类的过程本身是一个不确定度降低的过程，即纯度的提升过程。所以 CART 算法在构造分类树的时候，会选择基尼系数最小的属性作为属性的划分。

下面给出基尼指数的计算公式：

• 由于CART算法中，只把类别分为两类，所以K=2，二分类问题概率表示：              p1(1-p1) + p2(1-p2)

• 我们看看这个基尼指数表示的是什么：其实和信息增益一样， 也是数据集的混乱程度只不过这里换了一表示方法。看看怎么算： 这样，我们在选择特征的时候，就可以根据基尼指数最小来选择特征了。不用考虑HA(D),也就是不用考虑D在A的划分之下本身样本的一个混乱程度了。因为每次都分两个叉，不用担心叉太多影响结果了。

根据这个，回归打篮球的例子，假设属性 A 将节点 D 划分成了 D1 和 D2，如下图所示： 这时候，计算出D1和D2的基尼指数：

这样，就可以分别计算其他属性的基尼指数，然后进行划分了。具体的例子，看《统计学习方法之决策树》

4.3.2 如何使用CART算法来创建分类树

上面已经知道了CART算法是基于基尼指数来做属性划分的。但是具体实现，我们可以使用写好的代码，调用sklearn包来实现就好了。

Python 的 sklearn 中，如果我们想要创建 CART 分类树，可以直接使用 DecisionTreeClassifier 这个类。创建这个类的时候，默认情况下 criterion 这个参数等于 gini，也就是按照基尼系数来选择属性划分，即默认采用的是 CART 分类树。

下面，我们来用 CART 分类树，给 iris 数据集构造一棵分类决策树。iris 这个数据集，我在 Python 可视化中讲到过，实际上在 sklearn 中也自带了这个数据集。基于 iris 数据集，构造 CART 分类树的代码如下：

# encoding=utf-8
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
# 准备数据集
iris=load_iris()
# 获取特征集和分类标识
features = iris.data
labels = iris.target
# 随机抽取33%的数据作为测试集，其余为训练集
train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33, random_state=0)
# 创建CART分类树
clf = DecisionTreeClassifier(criterion='gini')
# 拟合构造CART分类树
clf = clf.fit(train_features, train_labels)
# 用CART分类树做预测
test_predict = clf.predict(test_features)
# 预测结果与测试集结果作比对
score = accuracy_score(test_labels, test_predict)
print("CART分类树准确率 %.4lf" % score)

运行结果：

CART分类树准确率 0.9600

如果我们把决策树画出来，可以得到下面的图示： 涉及到代码了，简单说一下上面的代码：

我们能看到 sklearn 帮我们做了 CART 分类树的使用封装，使用起来还是很方便的。

4.3.3 CART回归树的流程

CART 回归树划分数据集的过程和分类树的过程是一样的，只是回归树得到的预测结果是连续值，而且评判“不纯度”的指标不同。

在 CART 分类树中采用的是基尼系数作为标准，那么在 CART 回归树中，如何评价“不纯度”呢？实际上我们要根据样本的混乱程度，也就是样本的离散程度来评价“不纯度”。

样本的离散程度具体的计算方式是，先计算所有样本的均值，然后计算每个样本值到均值的差值。我们假设 x 为样本的个体，均值为 u。为了统计样本的离散程度，我们可以取差值的绝对值，或者方差。

其中差值的绝对值为样本值减去样本均值的绝对值： 方差为每个样本值减去样本均值的平方和除以样本个数：

所以这两种节点划分的标准，分别对应着两种目标函数最优化的标准，即用最小绝对偏差（LAD），或者使用最小二乘偏差（LSD）。这两种方式都可以让我们找到节点划分的方法，通常使用最小二乘偏差的情况更常见一些。

我们可以通过一个例子来看下如何创建一棵 CART 回归树来做预测。如何使用 CART 回归树做预测。

这里我们使用到 sklearn 自带的波士顿房价数据集，该数据集给出了影响房价的一些指标，比如犯罪率，房产税等，最后给出了房价。根据这些指标，我们使用 CART 回归树对波士顿房价进行预测，代码如下：

# encoding=utf-8
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_boston
from sklearn.metrics import r2_score,mean_absolute_error,mean_squared_error
from sklearn.tree import DecisionTreeRegressor
# 准备数据集
boston=load_boston()
# 探索数据
print(boston.feature_names)
# 获取特征集和房价
features = boston.data
prices = boston.target
# 随机抽取33%的数据作为测试集，其余为训练集
train_features, test_features, train_price, test_price = train_test_split(features, prices, test_size=0.33)
# 创建CART回归树
dtr=DecisionTreeRegressor()
# 拟合构造CART回归树
dtr.fit(train_features, train_price)
# 预测测试集中的房价
predict_price = dtr.predict(test_features)
# 测试集的结果评价
print('回归树二乘偏差均值:', mean_squared_error(test_price, predict_price))
print('回归树绝对值偏差均值:', mean_absolute_error(test_price, predict_price))

运行结果（每次运行结果可能会有不同）：

['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO' 'B' 'LSTAT']
回归树二乘偏差均值: 23.80784431137724
回归树绝对值偏差均值: 3.040119760479042

我们能看到 CART 回归树的使用和分类树类似，只是最后求得的预测值是个连续值。

5. 决策树的代码底层实现

构造决策树时， 需要解决的第一个问题就是，当前数据集上的哪个特征在划分数据集时起到决定 作用， 需要找到这样的特征，把原始数据集划分为几个数据子集， 然后再在剩余的特征里面进 一步划分，依次进行下去， 所以分下面几个步骤：

5.1 计算给定数据的香农熵

def calcShannonEnt(dataset):
    numEntries = len(dataset)     # 样本数量
    labelCounts = {}
    for featVec in dataset:
        currentLabel = featVec[-1]         # 遍历每个样本，获取标签
        if currentLabel not in labelCounts.keys():
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key]) / numEntries
        shannonEnt -= prob * math.log(prob, 2)
    
    return shannonEnt

5.2  按照给定的特征划分数据

# 按照给定特征划分数据集
def splitDataSet(dataset, axis, value):
    retDataSet = []
    for featVec in dataset:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]
            reducedFeatVec.extend(featVec[axis+1:])
            retDataSet.append(reducedFeatVec)
    return retDataSet

5.3  选择最好的数据集划分数据

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1   # 获取总的特征数
    baseEntropy = calcShannonEnt(dataSet)
    bestInfoGain = 0.0
    bestFeature = -1
    
    # 下面开始变量所有特征， 对于每个特征，要遍历所有样本， 根据遍历的样本划分开数据集，然后计算新的香农熵
    for i in range(numFeatures):
        featList = [example[i] for example in  dataSet]   #  获取遍历特征的这一列数据，接下来进行划分
        uniqueVals = set(featList)              # 从列表中创建集合是Python语言得到唯一元素值的最快方法
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet) / float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)
        infoGain = baseEntropy - newEntropy
        if (infoGain > bestInfoGain):
            bastInfoGain = infoGain
            bestFeature = i
    
    return bestFeature

5.4 递归的创建决策树

# 返回最多的那个标签
def majorityCnt(classList):
    classCount = {}
    for vote in classList:
        if vote not in classCount.keys():
            classCount[vote] = 0
            classCount[vote] += 1
    sortedClassCount = sorted(classCount.values(), reverse=True)
    
    return sortedClassCount[0]

# 递归构建决策树
def createTree(dataSet, labels):
    classList = [example[-1] for example in dataSet]
    if classList.count(classList[0]) == len(classList):   # 类别完全相同则停止划分 这种 (1,2,'yes') (3,4,'yes')
        return classList[0]
    if len(dataSet[0]) == 1:          # 遍历所有特征时，(1, 'yes') (2, 'no')这种形式 返回出现次数最多的类别
        return majorityCnt(classList)
    
    bestFeat = chooseBestFeatureToSplit(dataSet)    # 选择最好的数据集划分方式,返回的是最好特征的下标
    bestFeatLabel = labels[bestFeat]         # 获取到那个最好的特征
    myTree = {bestFeatLabel:{}}        # 创建一个myTree,保存创建的树的信息
    del(labels[bestFeat])          # 从标签中药删除这个选出的最好的特征，下一轮就不用这个特征了
    featValues = [example[bestFeat] for example in dataSet]    # 获取到选择的最好的特征的所有取值
    uniqueVals = set(featValues)
    for value in uniqueVals:
        subLabels = labels[:]
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels)  # 这是个字典嵌套字典的形式
    
    return myTree

这就是ID3算法的底层代码。

可以参考隐形眼镜分类的这个项目：https://github.com/zhongqiangwu960812/MLProjects/tree/master/MachineLearningInAction/DecisionTree

6. 决策树Sklearn实战

不知不觉，篇幅有点超过想像，所以这里没法详细的介绍Sklearn中的决策树对Titanic尼克号人的生存预测，那么就先简单的介绍一下Sklearn中决策树怎么用，然后实战项目参考后面的链接吧。

6.1 sklearn 中的决策树模型

首先，我们需要掌握 sklearn 中自带的决策树分类器 DecisionTreeClassifier，方法如下：

clf = DecisionTreeClassifier(criterion='entropy')

到目前为止，sklearn 中只实现了 ID3 与 CART 决策树，所以我们暂时只能使用这两种决策树，在构造 DecisionTreeClassifier 类时，其中有一个参数是 criterion，意为标准。它决定了构造的分类树是采用 ID3 分类树，还是 CART 分类树，对应的取值分别是 entropy 或者 gini：

• entropy: 基于信息熵，也就是 ID3 算法，实际结果与 C4.5 相差不大；

• gini：默认参数，基于基尼系数。CART 算法是基于基尼系数做属性划分的，所以 criterion=gini 时，实际上执行的是 CART 算法。

我们通过设置 criterion='entropy’可以创建一个 ID3 决策树分类器，然后打印下 clf，看下决策树在 sklearn 中是个什么东西？

DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')

这里我们看到了很多参数，除了设置 criterion 采用不同的决策树算法外，一般建议使用默认的参数，默认参数不会限制决策树的最大深度，不限制叶子节点数，认为所有分类的权重都相等等。当然你也可以调整这些参数，来创建不同的决策树模型。

这些参数代表的含义如下： 在构造决策树分类器后，我们可以使用 fit 方法让分类器进行拟合，使用 predict 方法对新数据进行预测，得到预测的分类结果，也可以使用 score 方法得到分类器的准确率。

下面这个表格是 fit 方法、predict 方法和 score 方法的作用。

6.2 Titanic 乘客生存预测

这个具体的看后面的参考笔记吧，有点多。

7. 总结

花费了一天的时间，才整理完了白话机器学习算法第一篇决策树，虽然说白话，但是难免会有代码和公式，但这些都是必须要知道的，也是基础。后面的项目实战应该好好练练，因为光有理论，可能很快就会忘记了，所以得多练。

参考：

• http://note.youdao.com/noteshare?id=d7c88adb49a4500a18a1b9662a8fd0dd&sub=EDFC5B4E5196440381D46261A2BCB99D

• http://note.youdao.com/noteshare?id=5db5352df6b3e5130cff7c508658ee2d&sub=3A5B312A580948D0816313FD45B8E899

• http://note.youdao.com/noteshare?id=3caf31ca2b3bae95b38ae25e35f37787&sub=F983373BBC064EBFB4DCC656535FB6D5

• http://note.youdao.com/noteshare?id=cff65e21bd4bd9c21206608edec65f9f&sub=45E434F63B5341F7BC2AD1DF7E5FA6F4

• https://blog.csdn.net/c406495762/article/details/76262487

• https://blog.csdn.net/c406495762/article/details/75663451