登录 或者 注册 rss
您现在的位置:?华健新闻网?>>?365棋牌作弊软件?>>?为什么Logisticregression的代价函数如此??文章正文

为什么Logisticregression的代价函数如此?

来源:华健新闻网 更新时间:02-28 点击发表评论

linearregressionlogisticregression
-linearregression的代价函数
J(θ)=1m∑mi=012(hθ(x)?y(i))2(1)
可以简化为:
cost(hθ(x),y)=12(hθ(x)?y)2(1')
-logisticregression的代价函数
J(θ)=?12m∑mi=0y(i)log(hθ(x(i)))+(1?y(i))log(1?hθ(x(i))(2)

为何在此处不采用线性回归较直观的代价函数形式(1),而是采用了看似复杂的(2)?
在AndrewNG的描述中,由于h(θ)(x)=11+e?θTx(3)
线性回归的costfunction由于是“convert”(“凸“)函数,局部最小值就是全局最小值,如下图:
20150510200942748"alt="linear"title="">
而costFunction如果采用之前线性回归最小平方错误为代价函数的方式,costfunction会变成非“凸“函数(non-convex),将有很多局部最小值干扰,如下图:
20150510201004853"alt="logistic"title="">
在其他博客中看到了另一种解释-“最大似然估计”,也很不错:

最大似然的思想使已有的数据发生的概率最大化,

p(y|x;θ)=hθ(x)y(1?hθ(x)(1?y))y=1or0

最大似然概率的表述:

L(θ|x;y)=∏i=1mp(y(i)|x(i);θ)=∏i=1mhθ(x)y(i)(1?hθ(x))1?y(i)

将其转换为对数似然函数形式载乘以常数1/(2m)便是(2)的形式.


PS:统计学习中常用的损失函数有以下几种:


(1)0-1损失函数(0-1lossfunction):

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

(2)平方损失函数(quadraticlossfunction)

L(Y,f(X))=(Y?f(X))2

(3)绝对损失函数(absolutelossfunction)

L(Y,f(X))=|Y?f(X)|

(4)对数损失函数(logarithmiclossfunction)或对数似然损失函数(log-likelihoodlossfunction)

L(Y,P(Y|X))=?logP(Y|X)


4705594712a533177f7b49908fe2e4c6c6da1-dAkUE6_fw658"alt="这里写图片描述"title="">
用户评论

????没有任何评论
用户名: *

?

手机浏览

华健新闻网 版权所有
华健新闻网 Total 0.035130(s) query 7, 报料QQ:点击这里给我发消息

为什么Logisticregression的代价函数如此?|国内新闻 - 华健新闻网 365棋牌客服是多少_365棋牌平台app_365棋牌游戏苹果版