发新帖

消化:Logisic 回归

[复制链接]
350 0
消化:Logisic 回归
针对此函数的理解:


主要疑惑:使用梯度上升算法中的梯度 为什么可以写成 原始矩阵*误差矩阵?

Logistic
本质上是一个基于条件概率的判别模型(DiscriminativeModel)。利用了Sigma函数值域在[0,1]这个特性。 这里的z=w0*x0+w1*x1+w2*x2+...+wn*xn,其中x是分类器的输入数据,w=θ要求的最佳参数
----------------------------------------------------------------------(1)
如果将上面的函数扩展到多维空间,并且加上参数,则函数变成
------------------------------------------------(2)
其中X是变量,θ是参数,由于是多维,所以写成了向量的形式,也可以看作矩阵。θT表示矩阵θ的转置,即行向量变成列向量。θTX是矩阵乘法。

由于sigma函数的特性,我们可作出如下的假设,同时 在已知样本X和参数θ的情况下,样本X属性正类(y=1)和负类(y=0)的条件概率。
=>--(3)
假定样本与样本之间相互独立,那么整个样本集生成的概率即为所有样本生成概率的乘积:
-----------------------------------(4)
其中,m为样本的总数,y(i)表示第i个样本的类别,x(i)表示第i个样本,需要注意的是θ是多维向量,x(i)也是多维向量。为了简化问题,我们对整个表达式求对数,
-------------------------(5)
满足似然函数(θ)的最大的θ值即是我们需要求解的模型
指数问题转换为对数问题=>

对(6)式子的推导如下:

A=>
B=>
C=>
综合上述A,B,C三部分:   



举报 使用道具

回复
*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

更多

关注我们

QQ:448109455 周一至周日8:30-20:30
快速回复 返回顶部 返回列表