ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

ufldl学习笔记与编程作业:Softmax Regression(softmax回归)

ufldl出了新教程。感觉比之前的好,从基础讲起。系统清晰,又有编程实践。

在deep learning高质量群里面听一些前辈说,不必深究其它机器学习的算法,能够直接来学dl。

于是近期就開始搞这个了。教程加上matlab编程,就是完美啊。

新教程的地址是:http://ufldl.stanford.edu/tutorial/

本节学习链接:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/

softmax回归事实上是逻辑回归的扩展形式,

逻辑回归通经常使用作2类的分类器,

softmax则用作多类的分类器。

从数学形式来说,事实上逻辑回归就是softmax回归中k=2的情况。这点教程里也说了。

softmax的目标函数和參数的偏导数教程推导也非常清楚。

对于编程作业。因为对matlab实现不熟,跳了非常多坑。

弄了非常久,并且还仅仅是用for循环来实现的。

这次最终体会到了,for循环的性能之差了。迭代了200次。1个多小时。

也跟这个模型比前两个模型复杂有关。

先贴第一个版本号的代码吧。以后想出了向量化的编程再补上。

下面是softmax_regression.m的代码

function [f,g] = softmax_regression_vec(theta, X,y)  %  % Arguments:  %   theta - A vector containing the parameter values to optimize.  %       In minFunc, theta is reshaped to a long vector.  So we need to  %       resize it to an n-by-(num_classes-1) matrix.  %       Recall that we assume theta(:,num_classes) = 0.  %  %   X - The examples stored in a matrix.    %       X(i,j) is the i'th coordinate of the j'th example.  %   y - The label for each example.  y(j) is the j'th example's label.  %  m=size(X,2);  n=size(X,1);  %theta本来是矩阵,传參的时候,theta(:)这样进来的。是一个vector,仅仅有一列,如今我们得把她变为矩阵  % theta is a vector;  need to reshape to n x num_classes.  theta=reshape(theta, n, []);  num_classes=size(theta,2)+1;    % initialize objective value and gradient.  f = 0;  g = zeros(size(theta));  h = theta'*X;%h(k,i)第k个theta。第i个样本  麻痹还是得循环求啊  a = exp(h);  a = [a;ones(1,size(a,2))];%加行  b = sum(a,1);  for i=1:m    for j=1:num_classes      if y(i)!=j        continue;      end      f+=log2(a(j,i)/b(i));    end  end  f=-f;%符号  flag=0;  for j=1:num_classes-1    for i=1:m      if (y(i)==j)        flag =1;      else         flag=0;      end      g(:,j)+=X(:,i)*(a(j,i)/b(i)-flag);    end  end  %  % TODO:  Compute the softmax objective function and gradient using vectorized code.  %        Store the objective function value in 'f', and the gradient in 'g'.  %        Before returning g, make sure you form it back into a vector with g=g(:);  %%%% YOUR CODE HERE %%%    g=g(:); % make gradient a vector for minFunc

下面是执行结果:

ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

旧教程http://deeplearning.stanford.edu/wiki/index.php/Exercise:Softmax_Regression

也有softmax的编程作业。里面也是识别手写体数字。

当中提到准确率的问题。

Our implementation achieved an accuracy of 92.6%. If your model’s accuracy is significantly less (less than 91%), check your code, ensure that you are using the trained weights, and that you are training your model on the full 60000 training images. Conversely, if your accuracy is too high (99-100%), ensure that you have not accidentally trained your model on the test set as well.

也就是说,从准确率来说,我的代码还是能够的。

接下来就是想办法实现向量化编程,加高速度了。


假设您有什么好想法。记得分享一下哦!

本文作者:linger

本文链接:http://blog.csdn.net/lingerlanlan/article/details/38410123

版权声明:本文博客原创文章,博客,未经同意,不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/117747.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 【Linux-vim】Linux 修改文件内容

    【Linux-vim】Linux 修改文件内容1、cd到相应的文件夹下2、查看linux文件内容:命令:catxxxx文件夹3、修改文件夹Vimxxxx文件夹3.1输入字母:i修改文件内容3.2自己要改什么,手动改好3.3退出修改命令,电脑端点击:esc3.4输入:wq!或者:wq就可以了3.5再用命令:catxxxx文件夹,查看一下修改的和你预计的是否一致…

  • com组件与dll的区别_组件对象模型

    com组件与dll的区别_组件对象模型这阵子在想一个需要利用com组件的小程序怎么做,突然想起上次去面试的时候考官问过autocad开发时为什么要利用com,而不采用一般的dll呢?   到google上查了一下,许多人也问了一样的问题:)   用com来写程序要比普通的dll麻烦一些,但是带来的好处也大很多,尤其是在开发像autocad这样大型软件的时候,需要跨区域来协同工作。 “学习COM,首先要知道COM的目的是什么,它

    2022年10月23日
  • Numpy数据类型转换astype,dtype

    Numpy数据类型转换astype,dtypendarray数据类型astype:1、查看数据类型In[11]:arr=np.array([1,2,3,4,5])In[12]:arrOut[12]:array([1,2,3,4,5])//该命令查看数据类型In[13]:arr.dtypeOut[13]:dtype(‘int64’)In[14]:float_arr=arr.astype(np.f

  • 时序数据库介绍_时序数据库公司

    时序数据库介绍_时序数据库公司首先,什么是时序数据? ​ 简单来说,时序数据就是按照时间维度索引的数据,比如车辆轨迹数据,传感器温度数据。随着物联网时代的到来,时序数据的数据量呈井喷式爆发,针对于这一数据细分的优化存储显得越来越重要。01什么是InfluxDBInfluxDB是一个开源的、高性能的时序型数据库,在时序型数据库DB-EnginesRanking上排名第一。在介绍InfluxDB之前,先来介绍下时序数据。按照时间顺序记录系统、设备状态变化的数据被称为时序数据(TimeSeriesData),如.

  • 《黑手党2》全部50本花花公子杂志收集攻略

    《黑手党2》全部50本花花公子杂志收集攻略寻找全部50本花花公子杂志……..看下面的提示找吧(写到手抽+脑抽)==||每章过去了就拿不到了第2章:2本No1.JOE的公寓-在咖啡桌上No3.MIKE的车房-M

  • 群晖 VMM虚拟机安装windows XP[通俗易懂]

    群晖 VMM虚拟机安装windows XP[通俗易懂]群晖VMM虚拟机安装windowsXP。作为微软历史上最成功的操作系统之一,推出的10余年来,其应用十分广泛,拥有庞大的用户群体。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号