升级方法
scikit-learn 1.4版本已经正式发布，在这个版本中，不仅修复了许多bug，还进行了一些改进，并引入了一些重要的新功能。
https://scikit-learn.org/stable/whats_new/v1.4.html
通过pip或conda升级到最新版：
pip install --upgrade scikit-learn
conda install -c conda-forge scikit-learn特性1：HistGradientBoosting支持Categorical类型
集成学习的HistGradientBoostingClassifier和HistGradientBoostingRegressor现在直接支持包含分类特征的数据框（dataframes）。
下面我们有一个包含混合分类和数值特征的数据集：
from sklearn.datasets import fetch_openml
X_adult, y_adult = fetch_openml("adult", version=2, return_X_y=True)
# Remove redundant and non-feature columns
X_adult = X_adult.drop(["education-num", "fnlwgt"], axis="columns")
X_adult.dtypes数据字段类型如下：
age int64
workclass category
education category
marital-status category
occupation category
relationship category
race category
sex category
capital-gain int64
capital-loss int64
hours-per-week int64
native-country category
dtype: object通过将categorical_features参数设置为"from_dtype"，梯度提升分类器会将具有分类数据类型的列视为算法中的分类特征。下面是一个使用这一特性的示例代码：
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
X_train, X_test, y_train, y_test = train_test_split(X_adult, y_adult, random_state=0)
hist = HistGradientBoostingClassifier(categorical_features="from_dtype")
hist.fit(X_train, y_train)
y_decision = hist.decision_function(X_test)
print(f"ROC AUC score is {roc_auc_score(y_test, y_decision)}")特性2：支持 Polars 格式输出
scikit-learn的转换器现在通过set_output API支持Polars输出。
现在已经在预处理模块、聚类、降维、特征筛选的API中支持：
import polars as pl
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
df = pl.DataFrame(
{"height": [120, 140, 150, 110, 100], "pet": ["dog", "cat", "dog", "cat", "cat"]}
)
preprocessor = ColumnTransformer(
[
("numerical", StandardScaler(), ["height"]),
("categorical", OneHotEncoder(sparse_output=False), ["pet"]),
],
verbose_feature_names_out=False,
)
preprocessor.set_output(transform="polars")
df_out = preprocessor.fit_transform(df)
df_out特性3：支持缺失值
ensemble.RandomForestClassifier和ensemble.RandomForestRegressor现在支持缺失值。在训练每个独立的树时，分裂器将评估每个潜在阈值，同时将缺失值分配到左右节点。
import numpy as np
from sklearn.ensemble import RandomForestClassifier
X = np.array([0, 1, 6, np.nan]).reshape(-1, 1)
y = [0, 0, 1, 1]
forest = RandomForestClassifier(random_state=0).fit(X, y)
forest.predict(X)DecisionTreeClassifier和DecisionTreeRegressor在splitter='best'且criterion为'gini'、'entropy'、'log_loss'（分类）或 'squared_error'、 'friedman_mse'、 'poisson'（回归）时，内建支持缺失值。
from sklearn.tree import DecisionTreeClassifier
import numpy as np
X = np.array([0, 1, 6, np.nan]).reshape(-1, 1)
y = [0, 0, 1, 1]
tree = DecisionTreeClassifier(random_state=0).fit(X, y)
tree.predict(X)特征4：添加树模型的单调约束
虽然在 scikit-learn 0.23 中添加了对基于直方图的梯度提升的单调约束的支持，但我们现在支持所有其他基于树的模型（如树、随机森林、额外树和精确梯度提升）的此功能。在这里，我们在回归问题上展示了随机森林的这一功能。
单调约束指的是在统计或机器学习模型中对预测变量与目标变量之间关系的限制。具体而言，单调约束规定了这种关系的方向性，即目标变量在预测变量变化时是增加还是减少。
对应的树模型参数为monotonic_cst：
- 1: monotonically increasing
- 0: no constraint
- -1: monotonically decreasing
import matplotlib.pyplot as plt
from sklearn.inspection import PartialDependenceDisplay
from sklearn.ensemble import RandomForestRegressor
n_samples = 500
rng = np.random.RandomState(0)
X = rng.randn(n_samples, 2)
noise = rng.normal(loc=0.0, scale=0.01, size=n_samples)
y = 5 * X[:, 0] + np.sin(10 * np.pi * X[:, 0]) - noise
rf_no_cst = RandomForestRegressor().fit(X, y)
rf_cst = RandomForestRegressor(monotonic_cst=[1, 0]).fit(X, y)
disp = PartialDependenceDisplay.from_estimator(
rf_no_cst,
X,
features=[0],
feature_names=["feature 0"],
line_kw={"linewidth": 4, "label": "unconstrained", "color": "tab:blue"},
)
PartialDependenceDisplay.from_estimator(
rf_cst,
X,
features=[0],
line_kw={"linewidth": 4, "label": "constrained", "color": "tab:orange"},
ax=disp.axes_,
)
disp.axes_[0, 0].plot(
X[:, 0], y, "o", alpha=0.5, zorder=-1, label="samples", color="tab:green"
)
disp.axes_[0, 0].set_ylim(-3, 3)
disp.axes_[0, 0].set_xlim(-1, 1)
disp.axes_[0, 0].legend()
plt.show()特征5：增加稀疏数据的PCA性能
PCA（Principal Component Analysis）现在原生支持对稀疏矩阵的处理，特别是对于使用arpack求解器的情况。它通过利用scipy.sparse.linalg.LinearOperator来避免在执行数据集协方差矩阵的特征值分解时生成大型稀疏矩阵。
这一改进的主要优势在于，对于稀疏数据，不再需要显式地构建稀疏协方差矩阵，从而节省了内存和计算资源。
from sklearn.decomposition import PCA
import scipy.sparse as sp
from time import time
X_sparse = sp.random(m=1000, n=1000, random_state=0)
X_dense = X_sparse.toarray()
t0 = time()
PCA(n_components=10, svd_solver="arpack").fit(X_sparse)
time_sparse = time() - t0
t0 = time()
PCA(n_components=10, svd_solver="arpack").fit(X_dense)
time_dense = time() - t0
print(f"Speedup: {time_dense / time_sparse:.1f}x")
# Speedup: 2.7x