背景
上一期，我们完整的介绍了CART 决策树的原理及构建的逻辑，本期我们将用一个比较现实的例子+代码，来给大家带来CART决策树的深入了解。如果大家对于CART决策树并不了解，那么可以查看上一篇文章，可以说是零基础的介绍了（CART决策树-One Step By One Step）。相信大家与我本人一样，看过很多AI、机器学习的新闻，但是大部分时候带来的是惊叹，很少有自己能够上手操作或者非常贴近直观价值的例子。本篇文章希望通过代码、实际数据、算法给大家完整地展示下，机器学习、算法是如何在某一领域发挥巨大价值的。
需要特别说明的是本文章的图片及代码来源于 DataCamp的Avinash Navlani
数据&问题
相信大部分读者可能并不直接从事于机器学习方面的工作，或者说还没有开始工作。不过，对于机器学习、AI、人工智能、神经网络等等感到好奇和向往。所以，大家可能会有疑问，一个个不同的算法，感觉很厉害的样子，但是有什么用呢？或者说怎么用呢？本期就会给大家带来一个非常贴近于应用场景的例子和其代码。
本期带来的数据是Pima Indians Diabetes Database，来源于Kaggle。该数据库是含有8个特征变量和一个最终的Lable，8个特征变量分别是怀孕次数、glucose、BP血压、skin皮层厚度等等，最终的label代表着是否有糖尿病，如下图。 由于涉及到医学领域，可能大家包括我也搞不懂每个特征的含义，但是我们目前聚焦的是数据的处理，所以并不影响我们对于CART决策树的探索。
另外，这个数据其实代表了其背后，数据、Machine Learning在医疗健康领域的运用。比如现在很火的大数据医疗、大数据诊断、AI赋能医生什么的，其实都可以在这个例子中窥见一斑。其意义和价值不言而喻。
CART决策树算法
本章节会简单介绍CART决策树，不过如果大家需要对CART决策树有一个完整了解，可以查看我的上一篇文章，基本上是零基础介绍了。
决策树就是一个类似流程图的树状结构。每一个内部节点（decision node）代表了一个特征变量（如本数据中的血压、年龄什么的）；每个叶节点代表了最终的分类结果（leaf node）；决策树最上面的节点是 根节点；决策树所做的就是根据每个节点的特征判断，进行分裂。 这个分裂就能够帮大家做出决定。
而且这个图也非常直观和容易理解，任何稍微学过点逻辑or计算机的同学都会看过这种logic 逻辑判断的图。
决策树可以算是机器学习算法领域的white box，它与神经网络不同的是，CART决策树的决策逻辑和链路是可视的。而神经网络基本上就是一个黑盒子，其决策逻辑并不可知。并且CART的训练时间相对于神经网络也更快。
决策树工作原理
决策树背后的工作原理如下：
- 首先，根据ASM（Attribute Selection Measures、可以查看上篇文章）选择出最好的特征；
- 将该特征作为一个阶段，来将数据集分裂成更小的集合；
- 重复1-2步骤，直到整个数据库完成分裂，如各个Leaf Node都归属于同一类型；
Attribute Selection Measures（ASM）特征选择方法
在具体介绍特征选择方法前，大家需要建立一个概念。就是，如果仅仅是建立一个决策树是非常简单的，大家就想想自己购物的过程，首先看看价格，如果价格合适再看看款式；如果款式也合适再看看品牌；如果品牌也喜欢再看看颜色什么的；当然实际中，CART决策树构建也真的就这么简单，只是有一个问题，大家可能没想过，就是顺序。我们换个方式叙述一下这个购物过程：首先呢，一件衣服有4个特征：价格、款式、品牌、颜色；其次呢，一个数据样本还有一个最终的类型分类，就是Yes购买 or No不买。
那么，对于这个Shopping的例子，为什么是先看价格呢？为什么不是先看颜色呢？，就是因为价格的决策影响力更大，大家通俗的理解也能看出来 先看影响力大的因素可以节省时间。因为颜色看了半天，价格不合适也没用阿。所以，对于构建CART决策树来说，其最重要的一个点就是 计算出来 特征的顺序。当然计算的方式和公式有好几个，本次就简单介绍Gini Index。
Gini Index
其中P代表了某节点在不同类型上的分布。可以看出当P分裂后的节点比较集中的话，那么Gini Index会比较小。 具体的细节大家可以参考下我的上一篇文章。
对于CART决策树的介绍，已经在上一篇完整介绍过了，需要的伙伴可以在CART决策树-One Step By One Step
构建CART决策树 Scikit-learn
模块导入
首先，导入必要的处理模块
# Load libraries import pandas as pd from sklearn.tree import DecisionTreeClassifier # Import Decision Tree Classifier from sklearn.model_selection import train_test_split # Import train_test_split function from sklearn import metrics #Import scikit-learn metrics module for accuracy calculation
数据导入
其次，导入Pima Indian Diabetes dataset数据，数据来源于Kaggle，大家可以从原文链接中找到
col_names = ['pregnant', 'glucose', 'bp', 'skin', 'insulin', 'bmi', 'pedigree', 'age', 'label'] # load dataset pima = pd.read_csv(r"C:\Users\fanlin.zfl\Downloads\diabetes.csv", header=None, names=col_names) pima.head()
特征选择
将数据分为x、y
#split dataset in features and target variable feature_cols = ['pregnant', 'insulin', 'bmi', 'age','glucose','bp','pedigree'] X = pima[feature_cols] # Features y = pima.label # Target variable
拆分数据
将数据集拆分为 训练集 和 测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1) # 70% training and 30% test
构建决策树模型
使用Scikit-learn构建一个决策树
# Create Decision Tree classifer object clf = DecisionTreeClassifier() # Train Decision Tree Classifer clf = clf.fit(X_train,y_train) #Predict the response for test dataset y_pred = clf.predict(X_test)
模型评估
通过对于测试集的分类 与 预测的分类 来计算准确率
# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
Accuracy: 0.670995670995671
当然目前67%的准确率并不够好，可以通过参数调整来优化
决策树可视化
我们可以使用Scikit-learn的graphviz公式来做决策树的可视化
from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO
from IPython.display import Image
import pydotplus
dot_data = StringIO()
export_graphviz(clf, out_file=dot_data,
filled=True, rounded=True,
special_characters=True,feature_names = feature_cols,class_names=['0','1'])
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_png('diabetes.png')
Image(graph.create_png())
在这个决策树中，每个内部节点通过某个特征来分裂数据。Gini指的是该节点对应的纯度（在算法介绍和上一篇CART介绍中有详细的阐述）
决策树优化&参数调整
参数调整部分我将直接展示代码，大家可以从下面的结果中看到，在参数调整后，准确率提升至77%左右
# Create Decision Tree classifer object
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)
# Train Decision Tree Classifer
clf = clf.fit(X_train,y_train)
#Predict the response for test dataset
y_pred = clf.predict(X_test)
# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
Accuracy: 0.7705627705627706
决策树可视化
from sklearn.externals.six import StringIO
from IPython.display import Image
from sklearn.tree import export_graphviz
import pydotplus
dot_data = StringIO()
export_graphviz(clf, out_file=dot_data,
filled=True, rounded=True,
special_characters=True, feature_names = feature_cols,class_names=['0','1'])
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_png('diabetes.png')
Image(graph.create_png())
在经过参数调整和剪枝之后的决策树，更加的简单和容易解释。
总结&意义
接着上一篇文章CART的介绍，本次带来CART决策树的代码及一些小小的实践。
首先，希望大家能够更理解CART决策树的原理及内容；
其次，也希望通过一个例子让大家对于数据、对于Machine Learning、对于“AI”的价值也有一个简单的理解。甚至可以能自己动手感受一下的机会；
另外，虽然目前其准确率只有70%左右，但是其价值不言而喻。当我们的参数数量、数据样本量承几何程度上升时，当我们的算法也提升时，我们的准确率也会随之提升。大家可以想象下，如果其准确率达到了99%左右时的价值。医生是一个门槛、专业度最高的行业之一，如果可以通过AI提高诊断准确率，不仅对于医生、而且对于整个社会的价值都不言而喻；
最后，也是我最大的愿望，就是让大家知道，AI or Machine Learning or 大数据并不是那么的遥不可及，起码其逻辑是非常清晰甚至可以说简单的。
后续，我会不定期的将学习的内容发布出来，也可能会有视频等不同形式的素材，感兴趣的朋友可以关注下。