第十八天 线性模型

线性模型是一类用于回归和分类任务的简单而强大的工具。以下是关于线性回归和逻辑回归的详细介绍：

一、线性回归

二、逻辑回归

1. 定义：

   逻辑回归是一种广义的线性回归分析模型，用于估计二分类因变量的概率。尽管名字中包含“回归”，但逻辑回归实际上是一种分类算法，主要用于二分类问题。

2. 模型表达：

   逻辑回归通过拟合一个逻辑函数（也称为Sigmoid函数），将自变量和因变量之间的线性关系转换为概率。Sigmoid函数的表达式为σ(z)=1/(1+e^(-z))，其中z是自变量和模型参数的线性组合。逻辑回归的输出是一个概率值，通常在0到1之间，表示样本属于正类的可能性。

3. 求解方法：

   逻辑回归通常采用极大似然估计法来求解模型参数，即最大化观测到的数据的概率来估计参数。在实际应用中，还可以使用梯度下降法等优化算法来求解模型参数。

4. 应用场景：

   逻辑回归广泛应用于分类问题，如根据客户的人口统计信息和购买历史预测客户是否会流失、根据邮件内容判断是否为垃圾邮件等。它还可以用于多分类问题，但通常需要通过一些策略（如一对多）将其扩展到多分类场景。

三、线性回归与逻辑回归的联系与区别

1. 联系：

   线性回归和逻辑回归之间的联系在于，逻辑回归实际上是将线性回归计算得到的值映射到Sigmoid函数中去，从而进行样本分类。因此，逻辑回归可以看作是线性回归的一种扩展或变种。

2. 区别：

   • 因变量类型不同：线性回归的因变量是连续的数值型数据，而逻辑回归的因变量是离散的分类数据（通常是二分类）。
   • 输出类型不同：线性回归的输出是预测值，即因变量的估计值；而逻辑回归的输出是概率值，表示样本属于某个类别的可能性。
   • 应用场景不同：线性回归主要用于预测和建模连续数值型数据的关系；而逻辑回归主要用于分类问题，特别是二分类问题。

综上所述，线性回归和逻辑回归都是线性模型的重要组成部分，它们在不同的应用场景中发挥着各自的作用。