线性回归

这是最简单的入门算法之一。这里的目标是在两个或多个变量之间拟合一条直线。如果一个是因变量而另一个是自变量（即，Y = f（X），则意味着Y的值根据X而改变，但我们可以在给定的范围内取任何X.）。因此，我们试图找到Y和X之间的关系（f（X）的定义）。其形式为Y = m * X + b。

• Y - 因变量
• X - 自变量
• m - 斜率
• b - 截距

我们试图预测给定点的真实值。这就给出了直线上的连续值。

需要注意的是，m可以是多维的，意味着X是多元的(我们可以用表格的形式来表示，而不是一维数组)。这被称为“多元线性回归”。我们通过减小预测值与原始y之间的平均平方误差(损耗)来拟合直线，这被称为梯度下降优化技术。

Python实现：

#import libraries needed
import numpy as np
from sklearn import linear_model
if __name__=="__main__":
 #load Dataset, here i am creating one for Single variable Linear regression
 x = np.array([2, 4, 3, 6, 7, 6, 9, 10 , 12])
 x=x.reshape(-1,1) #reshaping it
 #slope of the line is 3 and intercept is 6
 np.random.seed(18)
 y = 4.5*x+3*np.random.uniform(0, 100, x.shape)*0.01
 #Create an object for linear regression
 linear = linear_model.LinearRegression()
 #Train model
 linear.fit(x, y)
 print("Slope: ", linear.coef_)
 print("Intercept: ", linear.intercept_)
 '''
 If you want to plot:
 from matplotlib import pyplot as plt
 plt.plot(x, linear.coef_*x+linear.intercept_, label='predicted')
 plt.scatter(x, y, label='y')
 plt.xlabel('X (independant)')
 plt.ylabel('Ans (dependant)')
 plt.legend()
 plt.savefig('linear.png')
 plt.show()
 '''
 #predict for test data
 print("x=5 => y=", linear.predict([[5]])) 

逻辑回归

它是一种分类算法，虽然名字里有“回归”。它用于从自变量估计离散值(0/1,yes/no, true/false)。它通过逻辑函数预测事件发生的概率。它也被称为logit回归。我们知道概率在0和1之间，所以它预测值在0和1之间(像回归)。

logit（p）= ln（p /（1-p））

Python实现：

#import libraries needed
import numpy as np
from sklearn import linear_model
if __name__=="__main__":
	#load Dataset
	#here i am creating one for Single variable Linear regression
	x = np.array([[1, 2], [1, 4], [2, 3], [2, 2], [4.5, 7]])
	y = np.array([0, 0, 1, 0, 1])
	#Create an object for logistic regression
	logistic = linear_model.LogisticRegression()
	logistic.fit(x, y)
	#predict for input
	print(logistic.predict([[2, 3]]))