反馈型神经网络

原创
2017/12/31 21:00
阅读数 27

反馈型神经网络(recurrent networks)是一种从输出到输入具有反馈连接的神经网络,其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络和Hopfield网络。Elman网络是两层反向传播网络,隐层和输入向量连接的神经元,其输出不仅作为输出层的输入,而且还连接隐层内的另外也一些神经元,反馈到隐层的输入。由于其输入表示了信号的空域信息,而反馈支路是一个延迟单元,反映了信号的时序信息,所以Elman网络可以在时域和空域上进行模式识别。

Hopfield网络又称为联想记忆网络,它常常存储一个或多个稳定的目标向量,当网络输入端输入相似的向量时,这些稳定的目标向量将“唤醒”网络记忆的模式,并通过输出呈现出来。

一、反馈神经网络的函数

1. 创建函数

1.1 newhop函数

该函数用于创建一个离散的Hopfield神经网络,函数的调用格式为:

net = newhop(T)

其中,T为目标向量,net为生成的神经网络。newhop返回反馈网络的权值偏差。向量元素的取值为-11,函数返回创建好的hopfield网络,并在给定的向量上有稳定的平衡点,且需要使为平衡点尽可能少。

1.2 newelm函数

该函数用于创建一个Elman函数。函数的调用格式为:

net =

newelm(P,T[S1,S2,...S(N-1)],{TF1,TF2,...,TFN1},BTF,BLF,PF,IPF,OPF,DDF)

其中,PQ1R维的输入向量矩阵;TQ2SN维的输出向量矩阵;Si为各层神经元的个数;TFi为各层的传递函数,默认为tansig函数;BTF网络的训练函数,默认为trainlm函数;BLFBP学习算法,默认为learngdm函数;PF网络的性能函数,默认为mse函数;IPF为输入处理函数的行单元阵列,默认为fixunknownsremoveconstantrowsmapminmax函数;OPF为输出处理函数的行单元阵列,默认为removeconstantrowsmapminmax函数;DDF为数据函数,默认为dividerand函数;net为生成的新Elman网络。

clear all;

clc;

T1=1:80;

x1=cos(1:20);

x2=3*cos(1:20);

t1=ones(1,20);

t2=3*ones(1,20);

p=[x1 x2 x1 x2];

t=[t1 t2 t1 t2];

x=con2seq(p);%将矩阵信号转换为序列信号

T=con2seq(t);

plot(T1,cat(2,x{:}),':',T1,cat(2,T{:}),'-');

[r,n]=size(x);

[s2,n2]=size(t);

s1=10;

net=newelm(x,T,[s1 s2],{'tansig','purelin'},'trainlm');

net.trainParam.epochs=500;

[net,tr]=train(net,x,T);

y=sim(net,x);

hold on

plot(T1,cat(2,y{:}),'o',T1,cat(2,T{:}),'p');

legend('输入信号曲线','目标信号曲线','输出信号曲线','目标信号曲线');

1.3 patternnet函数

用于创建识别神经网络。函数的调用格式为:

patternnet(hiddenSizes,trainFxn,performFcn)

其中,参数hiddenSizes为隐含层的大小,是一个行向量,默认值为10trainFcn表示hi函数的字符串,默认值为trainscgperformFcn为一个性能函数,默认值为‘crossentropy’。

1.4 elmannet函数

elmannet函数创建的Elman神经网络是局部反馈网络,在计算时采用staticderiv函数计算导数,其调用格式为:

elmannet(layerdelays,hiddenSizes,trainFcn)

其中,参数layerdelays表示网络层延迟的行向量,可取的值为0或整数,默认值为12hiddenSizes为隐含层的大小,是一个行向量,默认值为10trainFcn表示训练函数的字符串,默认值为‘trainlm

2. 传递函数

2.1 satlin函数

该函数为饱和线性传递函数,是神经网络的传递函数,它用神经元的网络输入计算网络输出。

2.2 satlins函数

该函数表示对称饱和传递函数。

二、反馈神经网络的应用

1. 离散Hopfield神经网络

设计一个Hopfield网络,使其具有联想记忆功能,能正确是被阿拉伯数字,当数字被噪声污染后仍可以正确识别。

clear all;

clc;

ones=[-1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1;...

    -1 -1 -1 -1 1 1 -1 -1 -1 -1];

twos=[-1 1 1 1 1 1 1 1 1 -1;...

    -1 1 1 1 1 1 1 1 1 -1;...

    -1 -1 -1 -1 -1 -1 -1 -1 1 1;...

    -1 -1 -1 -1 -1 -1 -1 -1 1 1;...

    -1 1 1 1 1 1 1 1 1 -1;...

    -1 1 1 1 1 1 1 1 1 -1;...

    -1 1 1 -1 -1 -1 -1 -1 -1 -1;...

    -1 1 1 -1 -1 -1 -1 -1 -1 -1;...

    -1 1 1 1 1 1 1 1 1 -1;...

    -1 1 1 1 1 1 1 1 1 -1];

% 利用这两个数字点阵构成训练样本T

T=[ones;twos]';

% 利用newhop函数创建一个离散型hopfield神经网络

net=newhop(T);

 

 

noisy_one=ones;

noisy_two=twos;

for i =1:100

    a=rand;

    if a<0.15

        noisy_one(i)=-ones(i);

        noisy_two(i)=-twos(i);

    end

end

% 仿真测试

noisy_one2={(noisy_one)'};

identify_one=sim(net,{10,10},{},noisy_one2);

identify_one{10}'  %获取复原后数字1点阵

 

 

noisy_two2={(noisy_two)'};

identify_two=sim(net,{10,10},{},noisy_two2);

identify_two{10}'  %获取复原后数字1点阵

% 以图行的形式将点阵数字绘制出

subplot(321);one = imresize(ones,20);

imshow(one);title('原始数据1');

subplot(322);two = imresize(twos,20);

imshow(two);title('原始数据2');

 

subplot(323);noisy_one = imresize(noisy_one,20);

imshow(noisy_one);title('带噪声数据1');

subplot(324);noisy_two = imresize(noisy_two,20);

imshow(noisy_two);title('带噪声数据2');

 

 

subplot(325);one2 = imresize(identify_one{10}',20);

imshow(one2);title('复原数据1');

subplot(326);identify_two = imresize(identify_two{10}',20);

imshow(identify_two);title('复原数据2');

2. Elman神经网络预测

clear all;

load stock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

stock1=(stock1-mi)/(ma-mi);

% 划分训练数据与测试数据,前210个为训练样本,后210个为测试样本

traindata=stock1(1:210);

p=[];

for i=1:210-5

    p=[p;traindata(i:i+4)];

end

p=p';

t=traindata(6:210);%期望输出

%穿件Elman网络

threshold=[0 1;0 1;0 1;0 1;0 1];

net=newelm(threshold,[0 1],[20,1],{'tansig','purelin'});

% 开始训练

net.trainParam.epochs=1000;

% 初始化

net = init(net);

net = train(net,p,t);

save stock2 net

 

y=sim(net,p);

error=y-t;

mse(error);

fprintf('error = %f\n',error);

t=t*(ma-mi)+mi;

y=y*(ma-mi)+mi;

plot(6:210,t,'b-',6:210,y,'r-');

title('使用原始数据测试');

legend('真实值','测试数据');

clear all;

% 加载数据

load stock2%读取elman网络

load stock1

%归一化处理

mi=min(stock1);

ma=max(stock1);

testdata=stock1(211:420);

testdata=(testdata-mi)/(ma-mi);

% 用后面210个数据进行测试

pt=[];

for i=1:210-5

    pt=[pt;testdata(i:i+4)];

end

pt=pt';

% 测试

yt=sim(net,pt);

% 还原数据

yyt=yt*(ma-mi)+mi;

figure

plot(216:420,stock1(216:420),'r',216:420,yyt,'b');

legend('真实值','测试结果');


 

 

 

 

 

 

 

 

 

 



本文分享自微信公众号 - 瓜大三哥(xiguazai_tortoise)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部