深度学习简介

发布时间:2014-10-23 23:25:11
来源:分享查询网

一.概念      1.是机器学习研究中的一个新的领域,其动机在于建立,模拟人脑进行分析学习的神经网络,它模拟人脑的机制进行解释数据,学习方法也分为监督学习和非监督学习两种方式。      2.深度学习成功的条件       大数据+大规模计算能力+复杂模型+高效算法   二.适于解决的问题的特征      1.深度不足会出现问题      2.人脑具有一个深度结构      3.认知过程逐层进行,逐步抽象   三.核心思想 1.  无监督学习用于每一层网络的pre-train 2.   每次用无监督学习训练一层,将其训练结果作为其高一层的输入 3.   用监督学习去学习去调整所有层   四.基本思想 对堆叠的多个层,把这一层的输出作为下一层的输入   五.Geoffrey Hinton    1.多隐的神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而更有利于可视化和分类    2.深度神经网络在训练上的难度可以通过“逐层初始化”来有效克服。   六.深度学习的实质 是通过构建具有多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,“深度模型”是手段,”特征学习”是目的。区别于传统的浅层学习,深度学习的目不同在于: (1).强调了模型结构的深度,通常有5层,6层,甚至十多层的隐层节点 (2).明确突出了特征学习的重要性,也就是说,通过逐层数据变换,将样本在原空间的特征表示变换到一个新的特征空间中,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。 七.Wake-Sleep 算法    1.wake阶段:认知过程,通过外界的特征和向上的权重(认知权重)产生每一层的抽象表示(结点状态),并且通过梯度下降修改层间的下行权重(生成权重),也就是“如果现实和我想的不一样,改变我的权重使得我想要的东西就是这样的”    2.sleep阶段:生成过程,通过顶层表示和向下权重,生成底层的状态,同时修改层间向上的权重。也就是说“如果梦中的景象不是我脑中的相应概念,改变我的认知权重使得这种景象在我看来就是这个概念” 八.Deep learning训练过程 1.使用自下上升非监督学习 2.自顶向下的监督学习 九.常用模型和方法 1.AutoEncoder自动编码器 (1)给定无标签数据,用非监督学习学习特征  Input----->Encoder----->Decoder--------------Error        |         |                          |         |__________________________|       (2)通过编码器得到特征,然后把上一层的输出作为下一层的输入,这样逐层训练      (3)有监督微调             在AutoEncoder 的顶层的编码层添加一个分类器,然后通过标准的多层神经网络的监督学习方法去训练。       (4)Sparse AutoEncoder 稀疏自动编码器       (5)Denoising AutoEncoder 降噪自动编码器   2.Sparse Coding 稀疏编码     目标函数:min(∑|x-∑a*φ|^2+λ∑∑a)   (1)Training 阶段        A.固定字典φ[k],然后调整a[k],使得目标函数最小(即解LASSO问题)        B.然后固定a[k],调整φ[k]使得目标函数最小(即解凸QP问题) 不断迭代直至收敛。这样就可以得到一组可以良好表示这一系列x的基,也就是字典   (2)Coding阶段:给定一个新的图片x,由上面得到的字典,用过解LASSO问题得到稀疏向量a             

返回顶部
查看电脑版