线性回归：最小二乘法

线性回归，又称普通最小二乘法（OLS），是回归分析中最基本、最经典的线性模型。它的目标是通过寻找参数w和b，使得模型预测值与真实值之间的均方误差最小。均方误差是预测值与真实值差的平方和除以样本数量。由于线性回归模型仅包含一个斜率和截距参数，它既简单又易于解释，但也因此无法控制模型的复杂度。

生成测试数据

为了演示线性回归的工作原理，我们可以使用以下代码生成一些测试数据：

from sklearn.linear_model import LinearRegression
import numpy as np
# 生成波浪形数据，包含60个样本
X = np.random.randn(60, 1)
y = np.random.randn(60)

数据拆分

将数据拆分为训练集和测试集：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

训练模型

使用scikit-learn的LinearRegression模型进行训练：

lr = LinearRegression().fit(X_train, y_train)

查看模型参数

查看斜率和截距：

print("斜率：{}".format(lr.coef_))
print("截距：{}".format(lr.intercept_))

输出结果：

斜率：[0.394]
截距：-0.031804343026759746

评估模型性能

评估模型在训练集和测试集上的表现：

print("训练集得分： {:.2f}".format(lr.score(X_train, y_train)))
print("测试集得分： {:.2f}".format(lr.score(X_test, y_test)))

输出结果：

训练集得分： 0.67
测试集得分： 0.66

在波士顿房价数据集上，模型表现如何？

from sklearn.datasets import load_boston
# 加载波士顿房价数据集
X, y = load_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
# 训练线性回归模型
lr = LinearRegression().fit(X_train, y_train)
# 评估模型性能
print("训练集得分： {:.2f}".format(lr.score(X_train, y_train)))
print("测试集得分： {:.2f}".format(lr.score(X_test, y_test)))

输出结果：

训练集得分： 0.95
测试集得分： 0.61

总结

线性回归是一种强大的工具，适用于许多实际问题。然而，选择线性回归之前，需要确保变量之间存在线性关系，并且数据集符合线性回归的假设条件。对于复杂的数据集，可能需要更高级的模型来捕捉非线性关系或多个交互作用。

转载地址：http://qtrg.baihongyu.com/

你可能感兴趣的文章