最速下降法基于这样的原理:对于实值函数F(x),如果F(x)在某点x_0处有定义且可微,则函数在该点处沿着梯度相反的方向-∇F(x_0)下降最快。因此,使用梯度下降法时,应首先计算函数在某点处的梯度,再沿着梯度的反方向以一定的步长调整自变量的值。
假设x_1=x_0-η∇F(x_0 ),当步长η足够小时,必有下式成立:
F(x_1 )<F(x_0)
因此,只需给定一个初始值x_0和步长η,根据
x_(n+1)=x_n-η∇F(x_n)
就可以得到一个自变量的序列,并满足
F(x_(n+1) )<F(x_n )<⋯<F(x_1 )<F(x_0 )
反复迭代,就可以求出函数的最小值。
对于BP神经网络来说,由于传递函数都是可微的,因此能满足最速下降法的使用条件。
变量定义
在三层BP网络中,假设输入神经元个数为M,隐含层神经元个数为I,输出层神经元个数为J。输入层第m个神经元记为x_m,隐含层第i个神经元记为k_i,输出层第j个神经元记为y_j。从x_m到k_i的连接权值为叫ω_mi,从k_i到y_j的连接权值为ω_ij。隐含层传递函数为Sigmoid函数,输出层传递函数为Sigmoid函数
上一篇:模糊控制在变频调速系统中的应用
下一篇:磁悬浮系统的模糊控制器设计

PSCAD正序故障分量方向保护算法设计及仿真

基于Kinect手势识别的遥操...

船舶纯方位目标定位环行算法设计

基于51单片机自动门智能控制系统设计

基于TI-DSP平台的电力电子测控平台设计

基于传感器网络的分布式集员滤波问题的研究

基于飞思卡尔芯片LED色彩控制器的设计

多元化刑事简易程序构建探讨【9365字】

辩护律师的作证义务和保...

浅谈传统人文精神茬大學...

谷度酒庄消费者回访调查问卷表

中国古代秘书擅权的发展和恶变

拉力采集上位机软件开发任务书

《醉青春》导演作品阐述

浅谈新形势下妇产科护理...

高校网球场馆运营管理初探【1805字】

国内外无刷直流电动机研究现状