在这一讲中，王校长将会手把手地教大家使用Python编写分类的程序。对于Python不熟悉的童鞋可以参考官方文档 [1]，与上一次的编程课相同，我们依然会使用Scikit-Learn [2]和TensorFlow [3]这两个机器学习框架来进行演示。教程中完整的代码都放在了王校长的GitHub目录：https://github.com/physicso/AICourse
在上一讲中，王校长带大家学习了Logistic分类方法和支持向量机。虽然理论上面都看似easy，但是我可以肯定，这两种传统的机器学习方法是目前所有公司应用最多的模型。这里给大家举几个小栗子：在保险市场中，保险公司通过用户提交的数据来对用户进行风险评级；在电子商务中，网站通过用户的基本信息和历史交易记录来评定用户的信用等级；在自媒体领域，人们可以通过用户发表的状态来判断用户的心情；在风险投资领域，大佬们通过机器对创业公司的未来盈利情况进行预测，以辅助决策。
在今天给大家带来的示例是广泛应用于传统邮递行业的数字识别问题。大家知道，在我们发信的时候，都要写一个邮编，它决定了我们的邮件被发到哪个区域。如果这个任务完全让人去做，将会产生巨大的资源浪费。我们完全可以构造一个机器学习系统，能够自动识别出来邮编，将邮件转发到目的地。
MNIST [4]便是这样一个开放的数据集，由大神Yann LeCun等人发起，被称为图像智能的Benchmark。这是一个数据量相对比较大的玩意儿，有7万个样本，其中训练数据6万，测试数据1万。那么它的样本长啥样呢？输入数据为一个28×28图像的矩阵，输出的Label是0-9之间的数字。目前被证明最有效的方法是卷积神经网络（准确率99.2%+），王校长在未来的课程会教给大家。
里面的数据基本长这样：
因为我们还不会如何处理二维的输入数据，在这一小节，我们把整个图像看成一个28×28 = 784维的向量。注意，我们所研究的是一个多分类问题。
这里我们使用Scikit-Learn来编写Logistic分类和支持向量机的程序，就像上次的编程课一样，使用Scikit-Learn来做机器学习基本就是一行代码 ^_^ 这里我们对比4种不同的模型，分别是：（1）One vs. All的Logistic分类；（2）Softmax分类；（3）线性核函数的支持向量机；（4）多项式核函数的支持向量机。
OK，咱们上点代码吧，首先引入一些库，其中time用来计算优化的时间，cPickle和gzip用来读取训练样本：
import time
import sklearn
from sklearn importlinear_model
from sklearn import svm
import cPickle aspickle
import gzip
读取数据的函数别人已经帮我们写好啦 [5]：
def read_data(data_file):
f = gzip.open(data_file, "rb")
train, val, test = pickle.load(f)
f.close()
train_x = train[0]
train_y = train[1]
test_x = test[0]
test_y = test[1]
return train_x, train_y,test_x, test_y
我们分别编写4种不同模型的训练函数：
# LogisticRegression Classifier: One vs. All
def logistic_regression_classifier(train_x, train_y):
model = linear_model.LogisticRegression(solver='sag', max_iter=10000, penalty='l2')
model.fit(train_x, train_y)
return model
# Logistic Regression Classifier: Softmax
def logistic_regression_classifier_multi(train_x, train_y):
model = linear_model.LogisticRegression(multi_class='multinomial', max_iter=10000, solver='sag', penalty='l2')
model.fit(train_x, train_y)
return model
# SVM Linear Kernel Classifier
def svm_classifier(train_x, train_y):
model = svm.LinearSVC()
model.fit(train_x, train_y)
return model
# SVM Polynomial Kernel Classifier
def svm_poly_classifier(train_x, train_y):
model = svm.SVC(kernel='poly')
model.fit(train_x, train_y)
return model
这里给大家解释一下里面出现的黑话，solver='sag'表示优化的算法是随机梯度下降，penalty是为了防止过拟合引入的正则化，后续我会单独用一节课的时间为大家讲解。
接下来我们就可以编写主函数了：
if__name__ == '__main__':
data_file = "mnist.pkl.gz"
print'Reading training and testing data...'
train_x, train_y, test_x, test_y = read_data(data_file)
test_classifiers = ['LR', 'LRM', 'SVM', 'SVMP']
classifiers = {'LR': logistic_regression_classifier,'LRM': logistic_regression_classifier_multi, 'SVM': svm_classifier, 'SVMP': svm_poly_classifier}
num_train, num_feat = train_x.shape
num_test, num_feat = test_x.shape
print'******************** Data Info*********************'
print'#Training data: %d, #Testing_data: %d, Dimension: %d' % (num_train, num_test, num_feat)
forclassifier in test_classifiers:
print'*******************%s********************' % classifier
start_time = time.time()
model = classifiers[classifier](train_x, train_y)
print'Training took %fs!' % (time.time() - start_time)
predict = model.predict(test_x)
accuracy = sklearn.accuracy_score(test_y, predict)
print'Accuracy: %.2f%%' % (100 * accuracy)
流程很简单，我们先读出数据，分别放入到不同的模型中训练，求出最后的准确率。王校长在自己配有i7处理器的机器上面运行了这个程序，结果是：
Reading training and testing data...
******************** Data Info **************
#Training data: 50000, #Testing_data: 10000, Dimension: 784
******************* LR ********************
Training took 1865.040000s!
Accuracy: 91.97%
******************* LRM ********************
Training took 1261.295000s!
Accuracy: 92.53%
******************* SVM ********************
Training took 1614.426000s!
Accuracy: 93.90%
******************* SVMP ********************
由于Scikit-Learn只能利用单核来进行运算，因此很遗憾的是，我在自己电脑上面跑了一天，加入核函数支持向量机的结果也木有跑出来，说明加入核函数之后，程序的运算量剧增。根据Wikipedia的描述，多项式核函数支持向量机的准确率应该可以达到98.9%。
为了充分利用所有的计算资源，我们下面使用TensorFlow来编写Softmax分类程序。下载和读取训练数据的模块已经是现成的了，我们直接引入它就可以：
import mnist_input_data
import tensorflow as tf
mnist = mnist_input_data.read_data_sets("MNIST_data/", one_hot=True)
那么我们的训练数据就被读到了内存变量mnist中，接下来就可以定义模型了：
x = tf.placeholder(tf.float32,[None,784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W)+ b)
然后定义成本函数和优化方法：
y_ = tf.placeholder(tf.float32,[None,10])
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
最后就可以开始训练了！
training_iteration = 10000
batch_size = 100
display_step = 50
with tf.Session() as sess:
sess.run(tf.initialize_all_variables())
foriter inrange(training_iteration):
batch_xs, batch_ys = mnist.train.next_batch(batch_size)
train_step.run({x: batch_xs, y_: batch_ys})
ifiter % display_step == 0:
print"Iteration: " + '%04d' % (iter+1) + ", Accuracy: " + "{:.9f}".format(sess.run(accuracy, feed_dict={x: train_X, y_: train_Y}))
print"Test Accuracy: " + "{:.9f}".format(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
恭喜大家坚持到这里，王校长可以负责任地讲，掌握了这些编码的技术，你已经可以试着去解决大部分实际问题了！
[1] https://docs.python.org/2/tutorial/index.html
[2] http://scikit-learn.org/
[3] https://www.tensorflow.org/
[4] http://yann.lecun.com/exdb/mnist/
[5] http://lib.csdn.net/base/2