Python机器学习库Sklearn系列教程(1)-生成样本数据

sklearn自带数据

sklearn自动了下面几种数据用于算法练习。

load_boston([return_X_y]) 加载波士顿房价数据；用于回归问题
load_iris([return_X_y]) 加载iris 数据集；用于分类问题
load_diabetes([return_X_y]) 加载糖尿病数据集；用于回归问题
load_digits([n_class, return_X_y]) 加载手写字符集；用于分类问题
load_linnerud([return_X_y]) 加载linnerud 数据集；用于多元回归问题

波士顿房价数据，回归使用。样本数据集的特征默认是一个(506, 13)大小的矩阵，样本值是一个包含506个数值的向量。

# 房价数据
from sklearn.datasets import load_boston
from sklearn import linear_model
boston = load_boston()
data=boston.data
target = boston.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)

iris花卉数据，分类使用。样本数据集的特征默认是一个(150, 4)大小的矩阵，样本值是一个包含150个类标号的向量，包含三种分类标号。

# 花卉数据
from sklearn.datasets import load_iris
from sklearn import svm
iris = load_iris()
data=iris.data
target = iris.target
print(data.shape)
print(target.shape)
print('svm模型:\n',svm.SVC().fit(data,target))

糖尿病数据集，回归使用。样本数据集的特征默认是一个(442, 10)大小的矩阵，样本值是一个包含442个数值的向量。

# 糖尿病数据集
from sklearn.datasets import load_diabetes
from sklearn import linear_model
diabetes = load_diabetes()
data=diabetes.data
target = diabetes.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)

手写体数据，分类使用。每个手写体数据使用8*8的矩阵存放。样本数据为(1797, 64)大小的数据集。

# # ===========手写体数据===========
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt # 画图工具
digits = load_digits()
data=digits.data
print(data.shape)
plt.matshow(digits.images[3])  # 矩阵像素点的样式显示3
# plt.imshow(digits.images[3])  # 图片渐变的样式显示3
# plt.gray()   # 图片显示为灰度模式
plt.show()

linnerud数据集，多元回归使用。样本数据集的特征默认是一个(20, 3)大小的矩阵，样本值也是(20, 3)大小的矩阵。也就是3种特征，有3个输出结果，所以系数矩阵w为(3, 3)

#  # ===========多元回归===========
from sklearn.datasets import load_linnerud
from sklearn import linear_model
linnerud = load_linnerud()
data=linnerud.data
target = linnerud.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)

加载样本图案

# 图像样本数据集
from sklearn.datasets import load_sample_image
import matplotlib.pyplot as plt # 画图工具
img=load_sample_image('flower.jpg')   # 加载sk自带的花朵图案
plt.imshow(img)
plt.show()

生成自定义分类数据

sklearn.datasets.make_classification(n_samples=100, n_features=20, n_informative=2, n_redundant=2,  
                    n_repeated=0, n_classes=2, n_clusters_per_class=2, weights=None,  
                    flip_y=0.01, class_sep=1.0, hypercube=True,shift=0.0, scale=1.0,   
                    shuffle=True, random_state=None)  

通常用于分类算法。

n_features :特征个数= n_informative + n_redundant + n_repeated
n_informative：多信息特征的个数
n_redundant：冗余信息，informative特征的随机线性组合
n_repeated ：重复信息，随机提取n_informative和n_redundant 特征
n_classes：分类类别
n_clusters_per_class ：某一个类别是由几个cluster构成的

# # ===========生成分类样本数据集===========
from sklearn import datasets
import matplotlib.pyplot as plt # 画图工具
data,target=datasets.make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0,n_repeated=0, n_classes=2, n_clusters_per_class=1)
print(data.shape)
print(target.shape)
plt.scatter(data[:,0],data[:,1],c=target)
plt.show()

这里生成的数据集图如下，由于每次生成的数据都不一样，所以读者看到的图片和这里也不一样的

其他生成分类样本的函数

make_blobs函数会根据用户指定的特征数量、中心点数量、范围等来生成几类数据，这些数据可用于测试聚类算法的效果。

其中：

n_samples是待生成的样本的总数。

n_features是每个样本的特征数。

centers表示类别数。

cluster_std表示每个类别的方差，例如我们希望生成2类数据，其中一类比另一类具有更大的方差，可以将cluster_std设置为[1.0,3.0]。

sklearn.datasets.make_gaussian_quantiles(mean=None, cov=1.0, n_samples=100, n_features=2, n_classes=3,  
                    shuffle=True, random_state=None)  

make_gaussian_quantiles函数利用高斯分位点区分不同数据

sklearn.datasets.make_hastie_10_2(n_samples=12000, random_state=None)

make_hastie_10_2函数利用Hastie算法，生成2分类数据

下面我们通过代码的比较一下这些样本数据的生成。

import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.datasets import make_blobs
from sklearn.datasets import make_gaussian_quantiles
from sklearn.datasets import make_hastie_10_2
plt.figure(figsize=(10, 10))
plt.subplots_adjust(bottom=.05, top=.9, left=.05, right=.95)
plt.subplot(421)
plt.title("One informative feature, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=1,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(422)
plt.title("Two informative features, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(423)
plt.title("Two informative features, two clusters per class", fontsize='small')
X2, Y2 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2)
plt.scatter(X2[:, 0], X2[:, 1], marker='o', c=Y2)
plt.subplot(424)
plt.title("Multi-class, two informative features, one cluster",fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1, n_classes=3)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(425)
plt.title("Three blobs", fontsize='small')
# 1000个样本，2个属性，3种类别，方差分别为1.0,3.0,2.0
X1, Y1 = make_blobs(n_samples=1000, n_features=2, centers=3,cluster_std=[1.0,3.0,2.0])
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(426)
plt.title("Gaussian divided into four quantiles", fontsize='small')
X1, Y1 = make_gaussian_quantiles(n_samples=1000, n_features=2, n_classes=4)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(427)
plt.title("hastie data ", fontsize='small')
X1, Y1 = make_hastie_10_2(n_samples=1000)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.show()

自定义生成圆形和月牙形分类数据

sklearn.datasets.make_circles(n_samples=100, shuffle=True, noise=None, random_state=None, factor=0.8)  

生成环形数据

factor ：外圈与内圈的尺度因子<1

sklearn.datasets.make_moons(n_samples=100, shuffle=True, noise=None, random_state=None)  

生成半环形图

from sklearn.datasets import make_circles
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
fig = plt.figure(1)
x1, y1 = make_circles(n_samples=1000, factor=0.5, noise=0.1)
plt.subplot(121)
plt.title('make_circles function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)
plt.subplot(122)
x1, y1 = make_moons(n_samples=1000, noise=0.1)
plt.title('make_moons function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)
plt.show()

自定义生成回归样本

from sklearn.datasets import make_regression