优化算法——牛顿法(Newton Method)

优化算法——牛顿法(Newton Method)一、牛顿法概述

大家好,又见面了,我是你们的朋友全栈君。

一、牛顿法概述

    除了前面说的梯度下降法,牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法的基本思想是利用迭代点
优化算法——牛顿法(Newton Method)处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似,然后把二次模型的极小点作为新的迭代点,并不断重复这一过程,直至求得满足精度的近似极小值。牛顿法的速度相当快,而且能高度逼近最优值。牛顿法分为基本的牛顿法和全局牛顿法。

二、基本牛顿法

1、基本牛顿法的原理

    基本牛顿法是一种是用导数的算法,它每一步的迭代方向都是沿着当前点函数值下降的方向。
    我们主要集中讨论在一维的情形,对于一个需要求解的优化函数
优化算法——牛顿法(Newton Method),求函数的极值的问题可以转化为求导函数
优化算法——牛顿法(Newton Method)。对函数
优化算法——牛顿法(Newton Method)进行泰勒展开到二阶,得到
优化算法——牛顿法(Newton Method)
对上式求导并令其为0,则为
优化算法——牛顿法(Newton Method)
即得到
优化算法——牛顿法(Newton Method)
这就是牛顿法的更新公式。

2、基本牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method),初始点优化算法——牛顿法(Newton Method),令优化算法——牛顿法(Newton Method)
  2. 计算优化算法——牛顿法(Newton Method),若优化算法——牛顿法(Newton Method),则停止,输出优化算法——牛顿法(Newton Method)
  3. 计算优化算法——牛顿法(Newton Method),并求解线性方程组得解优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method)
  4. 优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method),并转2。

三、全局牛顿法

    牛顿法最突出的优点是收敛速度快,具有局部二阶收敛性,但是,基本牛顿法初始点需要足够“靠近”极小点,否则,有可能导致算法不收敛。这样就引入了全局牛顿法。

1、全局牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method),初始点优化算法——牛顿法(Newton Method),令优化算法——牛顿法(Newton Method)
  2. 计算优化算法——牛顿法(Newton Method),若优化算法——牛顿法(Newton Method),则停止,输出优化算法——牛顿法(Newton Method)
  3. 计算优化算法——牛顿法(Newton Method),并求解线性方程组得解优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method)
  4. 优化算法——牛顿法(Newton Method)是不满足下列不等式的最小非负整数优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method)
  5. 优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method)优化算法——牛顿法(Newton Method),并转2。

2、Armijo搜索

    全局牛顿法是基于Armijo的搜索,满足Armijo准则:
给定
优化算法——牛顿法(Newton Method)
优化算法——牛顿法(Newton Method),令步长因子
优化算法——牛顿法(Newton Method),其中
优化算法——牛顿法(Newton Method)是满足下列不等式的最小非负整数:
优化算法——牛顿法(Newton Method)

四、算法实现

    实验部分使用Java实现,需要优化的函数
优化算法——牛顿法(Newton Method),最小值为
优化算法——牛顿法(Newton Method)

1、基本牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * Newton法
 * 
 * @author dell
 * 
 */
public class NewtonMethod {
	private double originalX;// 初始点
	private double e;// 误差阈值
	private double maxCycle;// 最大循环次数

	/**
	 * 构造方法
	 * 
	 * @param originalX初始值
	 * @param e误差阈值
	 * @param maxCycle最大循环次数
	 */
	public NewtonMethod(double originalX, double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	// 一系列get和set方法
	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			x = x - one / two;
			k++;
		}
		return y;
	}

}

 

2、全局牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * 全局牛顿法
 * 
 * @author dell
 * 
 */
public class GlobalNewtonMethod {
	private double originalX;
	private double delta;
	private double sigma;
	private double e;
	private double maxCycle;

	public GlobalNewtonMethod(double originalX, double delta, double sigma,
			double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setDelta(delta);
		this.setSigma(sigma);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getDelta() {
		return delta;
	}

	public void setDelta(double delta) {
		this.delta = delta;
	}

	public double getSigma() {
		return sigma;
	}

	public void setSigma(double sigma) {
		this.sigma = sigma;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getGlobalNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			double dk = -one / two;// 搜索的方向
			double m = 0;
			double mk = 0;
			while (m < 20) {
				double left = this.getOriginal(x + Math.pow(this.getDelta(), m)
						* dk);
				double right = this.getOriginal(x) + this.getSigma()
						* Math.pow(this.getDelta(), m)
						* this.getOneDerivative(x) * dk;
				if (left <= right) {
					mk = m;
					break;
				}
				m++;
			}
			x = x + Math.pow(this.getDelta(), mk)*dk;
			k++;
		}
		return y;
	}
}

 

3、主函数

package org.algorithm.newtonmethod;

/**
 * 测试函数
 * @author dell
 *
 */
public class TestNewton {
	public static void main(String args[]) {
		NewtonMethod newton = new NewtonMethod(0, 0.00001, 100);
		System.out.println("基本牛顿法求解:" + newton.getNewtonMin());

		GlobalNewtonMethod gNewton = new GlobalNewtonMethod(0, 0.55, 0.4,
				0.00001, 100);
		System.out.println("全局牛顿法求解:" + gNewton.getGlobalNewtonMin());
	}
}

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/138693.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(1)
blank

相关推荐

  • docker(11)Dockerfile 中的COPY与ADD 命令「建议收藏」

    docker(11)Dockerfile 中的COPY与ADD 命令「建议收藏」前言Dockerfile中提供了两个非常相似的命令COPY和ADD,本文尝试解释这两个命令的基本功能,以及其异同点,然后总结其各自适合的应用场景。Build上下文的概念在使用dock

  • c++语言入门教程–16c++ 中的 String 类

    c++语言入门教程–16c++ 中的 String 类

  • A4988步进驱动

    A4988步进驱动基本知识绕组  常用的步进电机有四根线,1A1B2A2B,1A和1B是一个绕组,2A和2B是一个绕组,用万用表测试1A和1B之间是短路的,2A和2B之间是短路的,1A和1B,2A和2B是等效的。  通常状况下,步进电机可以自由转动(用手可以拧动),1A和1B接在一起的时候,用手拧会感到明显阻力,1A和1B,2A和2B分别接在一起,则阻力更大。步距角  所谓步进电机,就是可以…

  • JAVA 线上故障排查完整套路,从 CPU、磁盘、内存、网络、GC 一条龙!

    点击上方“全栈程序员社区”,星标公众号 重磅干货,第一时间送达 作者:fredal https://fredal.xin/java-error-check CPU 磁盘 内存 GC…

  • idea激活码2021.4.21【在线破解激活】

    idea激活码2021.4.21【在线破解激活】,https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • 「快闪群」批量成交攻略

    「快闪群」批量成交攻略相较于朋友圈,APP里面的“限时秒杀”,快闪群更能塑造秒杀的氛围。在大多数消费场景中,如果1对1顾问式服务引导用户转化,那么人工、时间成本将会很高。所以一对多,能够一次性批量成交的运营手段越来越广泛的被商家使用,比如直播、快闪群之类的。快闪群,即超短时间的团购秒杀群。以小时为单位,在社群内通过短期的优惠刺激,利用人们的从众心理、稀缺效应以及紧迫感,达到快速出单,批量成交的目的。一般适用于决策成本低、产品服务相对标准化的零售企业、平台型电商,或线下实体门店。相比于朋友圈、APP里所谓的“限时秒杀”,

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号