目前各种现成的机器学习算法各有利弊。科学家要挑选出最适合的算法。
充分利用模型的关键是超参数调整。模型的性能受所选超参数值的影响很大。
在这篇文章中，我们将重点关注如何调整超参数以获得更健壮和更通用的模型。
在某种意义上，我们通过寻找给定任务和数据集的最优超参数值来设计。
随着模型复杂度的增加，超参数的数量也随之增加。例如基于树的集成学习器，如xgboost和lightgbm都有很多超参数。
为了得到准确、可靠的结果，需要对超参数进行很好的调整。我们的重点不应该是获得最好的精度或最低的损失。最终目标是要有一个健壮、准确、不过拟合的模型。
调整过程不能只尝试超参数的随机组合，需要理解他们的意思以及他们如何改变模型。
概要如下：
- 创建分类数据集
- LightGBM分类器
- 调整超参数以改进模型
创建分类数据集
scikit learn的make_classification函数允许创建定制的分类数据集。你可以通过选择样本数量、信息和冗余特征来定制数据集。利用分类参数和其他参数可以调整分类任务的难度。
import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
X, y = make_classification(
n_samples=50000,
n_features=20, n_informative=17, n_redundant=3,
n_classes=5, n_clusters_per_class=2,
flip_y=0.001, class_sep=1
)
X.shape, y.shape
((50000, 20), (50000,))
该数据集包含50000个样本和20个特征。
下一步是将数据集拆分为训练集和测试集。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
在未经训练的样本上评估模型的性能是非常重要的。这是检测过拟合最准确的方法。
我们现在有训练和测试集了。下一步是创建、训练和评估分类器。
LightGBM分类器
LightGBM是梯度增强决策树的实现。它是超快速和高效的。（如果你想了解更多关于LightGBM的信息，请阅读这篇文章，它是关于LightGBM是如何工作的，是什么使它速度如此快：https://towardsdatascience.com/understanding-the-lightgbm-772ca08aabfa 。）
我将使用LightGBM的scikit-learn API，我们先导入它并创建初始模型。
from lightgbm import LGBMClassifier
params = {
'boosting_type': 'gbdt',
'objective': 'multiclass',
'metric': 'multi_logloss',
'num_class':5,
'max_depth':8,
'num_leaves':200,
'learning_rate': 0.05,
'n_estimators':500
}
clf = LGBMClassifier(**params)
我们有一个分类器，其超参数在params字典中描述。不更改前四个参数。虽然可以使用不同的树类型，但是我们坚持使用梯度增强决策树（gbdt）、默认定义的目标函数、metric和num_class参数。虽然我们有其他度量标准，但是log损失是分类任务中常用的一个。
- Max_depth：集合中单个树的最大深度。明目张胆地增加深度会导致过拟合。
- Num_leaves：一棵树可以有多少片叶子。这对LightGBM来说尤其重要，因为它采用了叶片生长策略。叶数和最大深度应一起调整。
- Learning_rate：权重更新的速率。随着学习率的增加，模型学习率更快，但这是有代价的。存在遗漏全局最小值的风险。极低的学习率可能会阻止模型收敛。
- N_estimators：集合中使用的树的数目。
这些是基本参数。我们将在初始评估后调整这些参数，并引入新的参数，以减少过拟合。
先训练模型并评估其性能。
clf.fit(
X_train, y_train,
eval_set=[(X_train, y_train), (X_test, y_test)],
early_stopping_rounds=10
)
拟合方法利用训练集对模型进行训练，并根据给定的度量对模型在训练和测试中的性能进行评价。
早期停止参数用于控制训练过程。如果连续10轮损失没有改善，模型将停止训练。
下面是最后2次迭代的结果。
[499] training's multi_logloss: 0.0195056
valid_1's multi_logloss: 0.195734
[500] training's multi_logloss: 0.0193433
valid_1's multi_logloss: 0.19556
训练组的对数损失为0.019，测试集为0.196，这是绝对不可接受的。有一个严重的过拟合问题需要解决。请注意，测试集上的损失是不现实的，它会随着过拟合程度的降低而增加。
调整超参数以提高模型性能
我们将添加新的超参数以及调整现有的超参数，以减少过拟合。
第一个参数是min_data_in_leaf参数。
- Min_data_in_leaf：叶必须具有的最少数据点数。
它限制了在树中分割节点数，这样模型就不会捕捉到训练集中的细节或噪声。
'min_data_in_leaf':200 # 添加到params字典
以下是将min_data_in_leaf参数设置为100后的结果。
[500] training's multi_logloss: 0.099274
valid_1's multi_logloss: 0.239233
测试集上的损失增加，但训练和测试损失之间的差异减小。当训练与测试集存在巨大差异时，测试集的损失或精度不可靠。
下一个可以用来减少过拟合的超参数是colsample_bytree和subsample。
- colsample_bytree:LightGBM在每次迭代（树）上随机选择部分特征。比率由此参数控制。
- subsample：类似于colsample_bytree，但用于样本（即行）。
# 添加到params字典中
'colsample_bytree': 0.5
'subsample': 0.5
'subsample_freq':1 # 频率
这是新的结果。
[500] training's multi_logloss: 0.149361
valid_1's multi_logloss: 0.257776
也可以使用正则化来减少过拟合。LightGBM同时支持L1和L2正则化。
# 添加到params字典中
'reg_alpha': 5
- Reg_alpha:L1正则化超参数。
- Rep_lambda:L2正则化超参数。
添加L1正则化进一步减少了过拟合。
[500] training's multi_logloss: 0.203253
valid_1's multi_logloss: 0.296209
max_bin参数也有助于防止模型过拟合。
- Max_bin：将装入特征值的最大箱子数
少量的箱数可能会降低训练精度，但可能会提高模型的泛化性能。
# 添加到params字典中
'max_bin': 10
[500] training's multi_logloss: 0.259076
valid_1's multi_logloss: 0.326792
最后，我们可以调整max_depth和num_leaves参数来减少过拟合。
当前参数字典如下：
params = {
'boosting_type': 'gbdt',
'objective': 'multiclass',
'metric': 'multi_logloss',
'num_class':5,
'max_depth':7,
'num_leaves':50,
'learning_rate': 0.05,
'n_estimators':500,
'min_data_in_leaf':200,
'colsample_bytree': 0.5,
'subsample': 0.5,
'subsample_freq':1,
'reg_alpha': 5,
'max_bin': 10
}
模型在以下参数下的性能：
[500] training's multi_logloss: 0.271047
valid_1's multi_logloss: 0.33548
我们已大幅度减少了过拟合，但仍有改进的余地。获得更多的数据肯定有助于使模型更通用，从而减少过拟合。也可以继续尝试这些超参数的不同值或使用其他可用的值。
结论
我不认为这些值是这些超参数的最佳值。事实上，你可以通过尝试不同的组合来获得更好的结果。
我想展示这些超参数是如何调整模型及其性能的。与其尝试随机组合，不如知道一个特定的超参数具体的作用是什么。
LightGBM或其他复杂模型（如xgboost）比我们所讨论的模型具有更多的超参数。
还有一些工具和软件包可以帮助优化超参数优化，比如optuna。scikit learn的GridSearchCV和RandomizedSearchCV函数也有助于找到最佳的超参数值。
感谢你的阅读。