在一个最近的玩耍级（Playground）Kaggle竞赛中，参赛者被要求预测收养所动物最后的下落或者结局。这样的预测系统会帮助收养所改善动物的收养情况。这里动物的结局包括但不限于收养，死亡，安乐死，返回原主人以及转移到其他收养所。
一只最终被收养的小狗Pickles：
一个好的模型能够为收养所提供的帮助
我们相信收养所可以在一个新动物来的时候使用模型，预测这个动物未来可能的下落：
如果这个动物被收养的概率很低，收养所人员可以着重关注这些动物新主人的寻找，使用一些额外的技巧，比如降低收养费用来提高其被收养的可能。
换一个角度，这个模型还可以改善收养所的配置安排。如果模型能预测动物在收养所待的时间，就可以更好的规划和配置那些可能会待较长时间的动物的资源。
收集特征
当新来一个动物的时候，收养所有如下几种特征：
新动物的属性，比如动物的类别（猫或者狗），年龄，性别，品种，颜色以及进入收养所的时间。这些属性会严重影响最后动物的下场，例如大多数人喜欢收养小狗和小猫，因此年纪大的猫狗被收养的概率比较低；动物的品种也会影响其下场，没有太多人喜欢收养具有攻击性的品种，比如斗牛犬，牛头犬，罗特韦尔犬。
当前收养所里面动物的属性。如果现在收养所里面有太多年幼的动物，这会降低年长动物被收养的概率。
之前所有动物的属性，即我们用来预测的训练集。
首先，我们注意到Kaggle没有提供所有的数据。Kaggle仅提供了动物的属性和发生结局的时间。我们觉得不应该提供发生结局的时间，这实际上一种数据泄露，提供了比真实情况更多的数据，在预测的时候我们并不知道最后发生的时间。
为了收集必要的特征，我们在Kaggle基础上又增加了一些数据（注意这没有违反竞赛规则）。我们将Kaggle数据集里的动物和网站上的完整数据集进行匹配并得到其进入收养所的时间。额外的，我们还从完整数据集中得到动物因为什么被送往收养所。
这些额外的数据让我们能够收集在收养所的动物的特征。我们收集了从2013年10月到2016年2月间每日在中午之前仍然停留在收养所内的动物作为当日统计数据。如果一个新动物在这日进入收养所，我们查询这些数据来了解当日在收养所的动物情况。在此基础上，我们尝试了一些方法来描述在收养所内所有动物的特征，第一步，将当前在收养所内不同年龄的动物数目作为一个特征，新生（neonatal）动物，幼儿动物（puppy，kitty）以及成年（adult）动物，下图展示了所有时刻的动物数目。
其次，我们还使用当前收养所中不同动物类别，不同年龄段，不同品种，不同性别的数目作为特征。最后，我们发现更多的特征不能改善结果，因此最终模型中，我们仅仅使用动物类别和年龄段的分布作为特征。
在当前动物的特征上，我们发现动物品种和颜色是非常难处理的特征，因为这两个的特征都超过了100个类别。所以，我们采用了一些手段去降低其类别的数目。其中，我们使用别人已有的方法把狗的类别进行聚合。对于颜色，我们定义了亮色，中等色以及暗色。根据动物的颜色属性，我们确定其仅含有某一个颜色类别，或者同时含有两种或者三种颜色类别，从而将颜色类别数目降低为10。
我们同时添加了一个特征来描述动物是否有名字，及另外一个特征刻画其名字含有多少个字母。
所有属性变量都被转化为one-hot特征，连续变量被归一化到0到1。
分类
我们将xgboost和sklearn库中的RandomizedSearchCV结合来训练模型。首先问题是不平衡的，因为最后死亡和安乐死的宠物是少数的。所以，我们采用stratified k-folds方法来分割数据，其中所有类别的采样是一样多的。
我们将数据分割为五折，然后通过随机搜索确定xgboost中的6个参数（树的深度，学习比率，正则参数，子采样，列子采样以及树的数量）。
最后，测试中排名前20的模型得分的平均在得分中表现最好。注意，前n个模型的平均可以降低单个模型带来的方差，相比第一的模型在得分中提高了0.01分。很多其他参赛者的模型中将结局发生时间作为特征的一部分，这会带来得分上的极大提高，因为通常是很多动物一起转移，从而可以很精确的预测这个结局。但是真实的模型不应该使用这个特征。
下图给出不同的重要性程度，发现进入收养所的时间，动物的年龄和名字起到了很大的作用。而预想中的品种，颜色以及性别没有起到想象中的效果。
下图为预测结果的混淆矩阵，其中对角线展示有多少数据被正确分类了，非对角线展示有多少数据被错误分类。理想状态下，对角线应该接近于1，其他为0。
第二个可视化中我们展示了所有数据在真实类别中的预测概率，比如蓝色部分都是被转移的动物在不同类别的概率。而y轴则是其被预测为属于该类别的概率。比如左上方代表被收养的动物预测为转移的概率，也应该对角线越趋近于1越好。
从结果里面可以得到一些比较有趣的结论
收养总是被正确预测，因为对角线得分集中在上半部分
死亡总是被错误预测，因为死亡对角线得分很低，总是被预测为其他结局
安乐死也重视被错误预测，其对角线元素上下得分都很多，表明有很多被错误预测
返回主人很容易和收养混淆，可以发现返回主人的对角线结果里面点几乎是均匀分布的
转移经常和收养混淆
小结
这次比赛还是相当有趣的，我们组里的同学甚至发现一个叫做Butch的五岁英国斗牛犬多次进入收养所，是一个很喜欢逃跑的小狗。
小编仅仅是Kaggle日志的搬运工，将觉得有趣的内容翻译为中文供大家参考，喜欢机器学习的同学可以关注一下，谢谢。由于头条对代码和链接的不太支持，希望得到的同学可以留言。