Java, Only Java!

统计

留言簿(19)

积分与排名

好友空间

文档技巧

阅读排行榜

评论排行榜

《神经网络算法与实现-基于Java语言》的读书笔记

全书总评

  • 书本印刷质量:5星。纸张很白,印刷清楚,文字排版合适,基本没有排版过程中引入的错误,阅读不累眼睛。
  • 著作编写质量:3星。入门书,看完后可能会对神经网络有个基本概念,但是也可能就只有个基本概念。基本概念描述还是清楚的,还给出了比较好的参考资料。几个例子讲的很浅,好处就是提供了代码,如果有开发方向的需要可以参考。深入学习神经网络还是参考《神经网络和机器学习》这本书吧。
  • 著作翻译质量:4星。用的都是常用词汇。对于不了解神经网络的读者,通过本书了解一些基本概念,为将来学习其他书籍打下基础;对于了解神经网络的读者不会造成概念混淆。
  • 代码质量:3星。基本没错误,但是思路跟书上不完全匹配。比如说:感知机一般都是单层的,就是一个神经元,一个偏置量,两个输入的值,一个输出的值,两个权值。但是作者在测试代码中放入两个输入权值,一个输出权值,不明白,后面都是这样的思路,于是只好弃了。

读书笔记

C1.初识神经网络

基本概念:人工神经元,激活函数,权值,偏置,层。

神经网络结构:

  • 神经元连接
    • 单层神经网络:单层感知机,自适应机,自组织映射、Elman网络和Hopfield网络。
    • 多层神经网络:多层感知机,径向基函数。
  • 信号流
    • 前馈神经网络:多层感知机,径向基函数。
    • 反馈神经网络:单层的(Elman网络和Hopfield网络)和多层的(递归多层感知机和Echo网络)。

C2.神经网络是如何学习的

学习范式:

  • 有监督学习:
    • 描述:已知的数据集与学习得到的结果之间的误差最小,最小的评价基于某个代价函数。
    • 应用:图像分类,语音识别,函数逼近和趋势预测。
  • 无监督学习:
    • 描述:从已知的数据集提取知识,即将数据集分类,类间距离大,类内距离小,评价基于某个代价函数。
    • 应用:聚类分析,数据压缩,统计建模和语言建模。

学习算法:

  • 两个阶段:训练和测试。
  • 重要细节:参数。
  • 评价方式:误差度量和代价函数。
  • 例子:Perceptron 感知机和Delta规则。

C3.有监督学习(运用感知机)

  • 单层感知机的作用和局限性:解决线性可分问题,不能解决非线性问题。
  • 多层感知机(MLP):
    • 层:
      • 输入层:
      • 隐藏层:激活函数一般选择双曲正切或者sigmoid,因为它们是可导的。
      • 输出层:
    • 学习过程:
      • 反向传播:敏感性反向传播。收敛速度比较慢。
      • Levenberg-Marquardt:

C4.无监督学习(自组织映射)

  • 竞争学习或赢家通吃:产生最大值的神经元更新它的权值。
  • Kohonen自组织映射(Self-Organization Map):
    • 一维SOM:产生最大值的神经元更新它的权值,与之相邻的神经元以相对较低的学习率更新权值。
    • 二维SOM:领域函数判断相邻的神经元,使结构更“组织化”。

Rreferences(参考文献)

Bishop C M. Neural networks for pattern recognition[M]. Oxford university press, 1995. Duda R O, Hart P E, Stork D G. Unsupervised learning and clustering[J]. Pattern classification, 2001: 517-601. Freedman D A. Statistical models: theory and practice[M]. cambridge university press, 2009. Haykin S S, Haykin S S, Haykin S S, et al. Neural networks and learning machines[M]. Upper Saddle River: Pearson, 2009.

posted on 2019-03-19 11:51 zYx.Tom 阅读(34) 评论(0)  编辑  收藏 所属分类: 8. 模式识别与机器学习


只有注册用户登录后才能发表评论。


网站导航: