百度360必应搜狗淘宝本站头条
nodejsbufferorg.jsoupsetnocountoncv2.bitwise_nottime.strptime
当前位置：网站首页 > 编程字典 > 正文

Python 机器学习 XGBoost最优模型构建方法

toyiye 2024-07-08 23:07 11 浏览 0 评论


XGBoost（eXtreme Gradient Boosting）是一种高效且强大的机器学习技术，广泛用于分类、回归和排序问题中。它是基于梯度提升算法的优化实现，特别适合于处理大规模数据。构建最优模型的方法对于提高预测准确率和模型性能至关重要。使用XGBoost进行机器学习任务时，构建最优模型通常涉及到参数调优、特征选择和模型评估等多个步骤。


参考文档：https://www.cjavapy.com/article/3294/


1、数据预处理


训练XGBoost模型之前，对数据进行适当的预处理是非常重要的，它可以显著影响模型的性能和准确性。


1）处理缺失值


XGBoost能够处理缺失值，但在某些情况下，使用特定的填充策略（如中位数、均值、众数填充）可能更有利于模型性能。


import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.impute import SimpleImputer

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 处理缺失值
imputer = SimpleImputer(strategy='mean')
data_imputed = imputer.fit_transform(data)

# 转换为DataFrame
data_imputed = pd.DataFrame(data_imputed, columns=data.columns)

# 特征工程
# 例如：选择特征、转换特征等

# 拆分数据集
X = data_imputed.drop('target_column', axis=1)
y = data_imputed['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建XGBoost模型
model = XGBClassifier()

# 训练模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)


2）特征编码


对于分类特征，应用适当的编码方法，如独热编码（One-Hot Encoding）或标签编码（Label Encoding）。XGBoost能够处理数值类型的数据，因此需要将分类特征转换为数值型。


import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
import xgboost as xgb
from sklearn.metrics import accuracy_score

# 创建示例数据集
np.random.seed(42)
data = pd.DataFrame({
    'feature1': np.random.normal(loc=0, scale=1, size=100),
    'feature2': np.random.normal(loc=2, scale=2, size=100),
    'feature3': np.random.normal(loc=-2, scale=3, size=100),
    'target_column': np.random.choice([0, 1], size=100)
})

# 2. 数据预处理
# 处理缺失值、异常值等
# 这里假设数据集中包含有缺失值，使用均值填充
data.fillna(data.mean(), inplace=True)

# 3. 特征编码
# 对类别型特征进行编码，将其转换为数值型
label_encoders = {}
for column in data.select_dtypes(include=['object']).columns:
    label_encoders[column] = LabelEncoder()
    data[column] = label_encoders[column].fit_transform(data[column])

# 4. 划分数据集
X = data.drop(columns=['target_column'])
y = data['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 5. 构建XGBoost模型
model = xgb.XGBClassifier(objective='binary:logistic', random_state=42)

# 6. 训练模型
model.fit(X_train, y_train)

# 7. 模型评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)


3）特征缩放


虽然XGBoost不像基于距离的模型（如SVM或KNN）那样敏感于特征的尺度，但在某些情况下，对特征进行标准化（Standardization）或归一化（Normalization）可能有助于提高性能或加快训练速度。


from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import xgboost as xgb

# 生成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# X是特征数据，y是目标数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 使用XGBoost建模
model = xgb.XGBRegressor()
model.fit(X_train_scaled, y_train)

# 在测试集上进行预测
y_pred = model.predict(X_test_scaled)

print(y_pred)


4）特征选择


移除不相关或冗余的特征可以减少模型的复杂度，提高训练速度，有时还能提升模型的泛化能力。可以通过各种特征选择方法，如基于模型的特征选择、递归特征消除（RFE）等来实现。


import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV
from xgboost import XGBClassifier
from sklearn.metrics import accuracy_score
from sklearn.feature_selection import SelectFromModel

# 生成示例数据
np.random.seed(42)
num_samples = 1000

# 创建特征数据
X = pd.DataFrame({
    'feature1': np.random.rand(num_samples),
    'feature2': np.random.rand(num_samples),
    'feature3': np.random.rand(num_samples),
    'feature4': np.random.rand(num_samples),
    'feature5': np.random.rand(num_samples)
})

# 创建目标数据（假设为二分类）
y = np.random.randint(0, 2, num_samples)

data = pd.concat([X, pd.DataFrame({'target': y})], axis=1)
# 处理缺失值
data.dropna(inplace=True)
# 特征和标签分离
X = data.drop(columns=['target'])
y = data['target']
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 2. 特征选择
# 使用XGBoost进行特征选择
xgb = XGBClassifier()
xgb.fit(X_train, y_train)
# 显示特征重要性
feature_importance = pd.DataFrame({'Feature': X_train.columns, 'Importance': xgb.feature_importances_})
print(feature_importance)
# 根据特征重要性选择重要特征
selected_features = feature_importance[feature_importance['Importance'] > 0.1]['Feature'].tolist()
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

# 3. 模型训练
# 使用选择后的特征训练模型
xgb_selected = XGBClassifier()
xgb_selected.fit(X_train_selected, y_train)
y_pred = xgb_selected.predict(X_test_selected)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

# 4. 调参
# 定义参数网格
param_grid = {
    'learning_rate': [0.1, 0.01],
    'max_depth': [3, 5, 7],
    'subsample': [0.5, 0.8, 1.0]
}
# 使用网格搜索进行调参
grid_search = GridSearchCV(estimator=XGBClassifier(), param_grid=param_grid, cv=3)
grid_search.fit(X_train_selected, y_train)
best_params = grid_search.best_params_
print("Best Parameters:", best_params)


2、 参数调优


使用XGBoost进行机器学习项目时，找到最优的模型参数是提高模型性能的关键。参数调优通常涉及到在给定的参数空间内搜索最优参数组合。XGBoost有很多可以调整的参数，包括学习率、树的最大深度、子样本比例、列采样比例等。


1）网格搜索（Grid Search）


网格搜索是一种通过遍历给定的参数网格来搜索最佳参数组合的方法。GridSearchCV是scikit-learn提供的一个实现网格搜索的工具，它会对每一种参数组合进行交叉验证，最后选择出最佳的参数组合。


from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
import xgboost as xgb


# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数网格
param_grid = {
    'max_depth': [3, 4, 5],
    'learning_rate': [0.1, 0.01, 0.001],
    'n_estimators': [100, 200, 300],
    'subsample': [0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置网格搜索
grid_search = GridSearchCV(estimator=xgb_clf, param_grid=param_grid, scoring='accuracy', cv=5)

# 对Iris数据集进行训练
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", grid_search.best_params_)
print("Best accuracy found: ", grid_search.best_score_)


2） 随机搜索（Random Search）


相对于网格搜索，随机搜索在参数空间中随机选择参数组合。这种方法可以在更大的参数空间内进行搜索，并且通常更快地找到不错的参数组合。RandomizedSearchCV是scikit-learn提供的实现随机搜索的工具。


from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.model_selection import RandomizedSearchCV
import xgboost as xgb

# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数分布
param_dist = {
    'max_depth': [3, 4, 5, 6, 7],
    'learning_rate': [0.1, 0.01, 0.05],
    'n_estimators': [100, 200, 300, 400, 500],
    'subsample': [0.6, 0.7, 0.8, 0.9, 1.0]
}

# 初始化XGBoost分类器
xgb_clf = xgb.XGBClassifier()

# 设置随机搜索
random_search = RandomizedSearchCV(xgb_clf, param_distributions=param_dist, n_iter=25, scoring='accuracy', cv=5)

# 训练模型
random_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", random_search.best_params_)
print("Best accuracy found: ", random_search.best_score_)


3、交叉验证


机器学习中，交叉验证是一种评估模型泛化能力的方法，它通过将数据集分成几部分，然后使用其中一部分进行模型训练，剩余的部分用于测试，以此循环来评估模型的性能。XGBoost提供了一个方便的函数cv来进行交叉验证，帮助我们找到最优的模型参数。


import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 准备DMatrix数据
data_dmatrix = xgb.DMatrix(data=X, label=y)

# 参数设置
params = {
    'objective':'multi:softprob',  # 多分类的问题
    'num_class':3,  # 类别数，与Iris数据集的类别数相匹配
    'learning_rate': 0.1,
    'max_depth': 5,
    'alpha': 10
}

# 执行交叉验证
cv_results = xgb.cv(dtrain=data_dmatrix, params=params, nfold=3,
                    num_boost_round=50, early_stopping_rounds=10, metrics="merror", as_pandas=True, seed=123)

# 输出交叉验证结果
print(cv_results)


4、模型评估


使用一些标准的评估指标来评估模型的性能，如准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1得分（F1 Score）等。


使用示例：https://www.cjavapy.com/article/3294/

相关推荐

为何越来越多的编程语言使用JSON（为什么编程）

JSON是JavascriptObjectNotation的缩写，意思是Javascript对象表示法，是一种易于人类阅读和对编程友好的文本数据传递方法，是JavaScript语言规范定义的一个子...

何时在数据库中使用 JSON（数据库用json格式存储）

在本文中，您将了解何时应考虑将JSON数据类型添加到表中以及何时应避免使用它们。每天?分享?最新?软件?开发?，Devops，敏捷?，测试?以及?项目?管理?最新?，最热门?的?文章?，每天?花?...

MySQL 从零开始:05 数据类型（mysql数据类型有哪些,并举例）

前面的讲解中已经接触到了表的创建，表的创建是对字段的声明，比如：上述语句声明了字段的名称、类型、所占空间、默认值和是否可以为空等信息。其中的int、varchar、char和decimal都...

JSON对象花样进阶（json格式对象）

一、引言在现代Web开发中，JSON（JavaScriptObjectNotation）已经成为数据交换的标准格式。无论是从前端向后端发送数据，还是从后端接收数据，JSON都是不可或缺的一部分。...

深入理解 JSON 和 Form-data（json和formdata提交区别）

在讨论现代网络开发与API设计的语境下，理解客户端和服务器间如何有效且可靠地交换数据变得尤为关键。这里，特别值得关注的是两种主流数据格式：...

JSON 语法（json 语法 priority）

JSON语法是JavaScript语法的子集。JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JS...

JSON语法详解（json的语法规则）

JSON语法规则JSON语法是JavaScript对象表示法语法的子集。数据在名称/值对中数据由逗号分隔大括号保存对象中括号保存数组注意：json的key是字符串,且必须是双引号，不能是单引号...

MySQL JSON数据类型操作（mysql的json）

概述mysql自5.7.8版本开始，就支持了json结构的数据存储和查询，这表明了mysql也在不断的学习和增加nosql数据库的有点。但mysql毕竟是关系型数据库，在处理json这种非结构化的数据...

JSON的数据模式（json数据格式示例）

像XML模式一样，JSON数据格式也有Schema，这是一个基于JSON格式的规范。JSON模式也以JSON格式编写。它用于验证JSON数据。JSON模式示例以下代码显示了基本的JSON模式。{"...

前端学习——JSON格式详解（后端json格式）

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptProgrammingLa...

什么是 JSON:详解 JSON 及其优势（什么叫json）

现在程序员还有谁不知道JSON吗？无论对于前端还是后端，JSON都是一种常见的数据格式。那么JSON到底是什么呢？JSON的定义...

PostgreSQL JSON 类型:处理结构化数据

PostgreSQL提供JSON类型，以存储结构化数据。JSON是一种开放的数据格式，可用于存储各种类型的值。什么是JSON类型？JSON类型表示JSON(JavaScriptO...

JavaScript:JSON、三种包装类（javascript 包）

JOSN:我们希望可以将一个对象在不同的语言中进行传递，以达到通信的目的，最佳方式就是将一个对象转换为字符串的形式JSON（JavaScriptObjectNotation）-JS的对象表示法...

Python数据分析 只要1分钟 教你玩转JSON 全程干货

Json简介：Json，全名JavaScriptObjectNotation,JSON(JavaScriptObjectNotation(记号、标记))是一种轻量级的数据交换格式。它基于J...

比较一下JSON与XML两种数据格式?（json和xml哪个好）

JSON（JavaScriptObjectNotation）和XML（eXtensibleMarkupLanguage）是在日常开发中比较常用的两种数据格式，它们主要的作用就是用来进行数据的传...

取消回复欢迎 你 发表评论:

请填写验证码
一周热门
最近发表
标签列表