算法设计克林伯格pdf_LSTM算法

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

第一部分  levmar的安装与使用 

Levenberg-Marquardt算法是求解非线性问题的一个非常好用的算法。该算法属于信赖域算法的一种，关于信赖域算法的解释可以参考这一博主的解释：关于信赖域算法理解，个人感觉很好。

       Levenberg-Marquardt算法是一个开源的算法，其文件下载地址如下：

http://www.netlib.org/clapack/CLAPACK-3.1.1-VisualStudio.zip 下载clapack

http://www.ics.forth.gr/~lourakis/levmar/levmar-2.5.tgz       下载LEVMAR

http://www.cmake.org/files/v2.8/cmake-2.8.0-win32-x86.exe   下载cmake

利用cmake将源码组织成一个工程，其具体安装可参照这篇博客：levmar安装

下面说明下dlevmar_dif()函数的参数内容。

dlevmar_dif()函数共有11个参数：

参数1：void (*func)(double *p, double *hx, int m, int n, void *adata)

就是求解的函数，需要自己构造。以其demo中wood函数为例：

void wood(double *p, double *x, int m, int n, void *data)   /* 非线性目标函数f(x1,x2,x3,x4)  */
{

register int i;
  for(i=0; i<n; i+=6){

    x[i]=10.0*(p[1] – p[0]*p[0]);                  // f(x1,x2,x3,x4) = 10*(x2 – x1*x1);
    x[i+1]=1.0 – p[0];                                  // f(x1,x2,x3,x4) = 1.0 – x1;
    x[i+2]=sqrt(90.0)*(p[3] – p[2]*p[2]);      // f(x1,x2,x3,x4) = sqrt(90.0)*(x4 – x3*x3);
    x[i+3]=1.0 – p[2];                                 //  f(x1,x2,x3,x4) = 1 – x3;  
    x[i+4]=sqrt(10.0)*(p[1]+p[3] – 2.0);      //  f(x1,x2,x3,x4) = sqrt(10.0) *(x2 + x4 – 2); 
    x[i+5]=(p[1] – p[3])/sqrt(10.0);             //  f(x1,x2,x3,x4) = (x2 – x4)/sqrt(10.0)
  }
}

参数2：double *p

输入输出参数，输入初始迭代的参数向量，输出最佳逼近的向量。

参数3：double *x

该参数为期望值向量，即为逼近的目标。

参数4：int m

参数向量P的维数。

参数5：int n

期望向量维数

参数6：int itmax

该参数表示最大迭代次数

参数7：double opts[5]

迭代过程中的一些阈值，包括最初计算阻尼系数时需要的系数、迭代结束需要的系数。如果不知道怎么设可以为NULL，代码有默认配置。

参数8：double info[LM_INFO_SZ]

返回迭代结束的一些信息，如迭代次数、结束原因等。

参数9：double *work

该参数从源码看，并没什么用，可以设为NULL。

参数10：double *covar

该参数为正交矩阵系数（记得不清了，在论文有提到，但我在自己写代码的时候没有用到），该参数可设为NULL。

参数11：void *adata

该参数为是为了当有特殊需求时才传的参数，该参数与(func*)中的void *adata一致，目前没看出怎么用，暂时设为NULL。

第二部分  自己动手编写levmar算法

    可以参考原论文：下载地址

    可以参考K. Madsen等人的《Methods for non-linear least squares problems》写得很不错，推荐看这论文：下载地址

   具体原理我就不多啰嗦，论文解释得还是挺清楚的，自我感觉需要啰嗦一下下的小问题：

1. 雅克比矩阵的求解，可根据导数的定义来近似求解雅克比矩阵，雅克比矩阵：

   jac = f'(x) = [ f(x)-f(x- delta * x) ]/(x- delta * x))

2. 海森矩阵的求解，海森矩阵的计算近似等于：雅克比矩阵的转置乘以雅克比矩阵 ==>  Hessen = jacT * jac

3. 线性系统求解“步进”，求解参数向量的“步进”Dp，这是一个求解线性系统问题；求解线性系统问题有许多方法和工具，这里我为了简单就使用了opencv中的 cvSlove()函数求解。

   根据其提供伪代码配合理论就可以很快编写出自己的levmar函数了。

   啰嗦下因为采用的求解线性系统的方法不一样，所以在迭代次数和结果上与原版levmar算有一点点差异，迭代次数可能相差几次，及结果会相差一点（一般相差不会超过0.01）。

   levmar伪代码如下：