【第四课】作业汇总-RNN与NLP专题

[wqw547243068]

第三课作业

温故

• 3brown1blue的神经网络系列视频，至少看一遍，建议做笔记，记录到自己的github上，把链接贴上来
• 参考课堂上的示例代码，亲自用python实现神经网络，求解异或问题
  • 最好把nilson的神经网络与深度学习这本书买下来，好好研究
• 学一门深度学习工具包：tensorflow、pytorch、keras三选一，实现mnist分类

知新

• 主题：RNN与NLP，对应fastai第四课
• 案例：
  • 文本挖掘
  • 聊天机器人

其它

• 第一课的宠物分类已经有6人提交作业，好几个人不只是执行代码，还做了进一步的优化：正则表达式、学习率精调、分组实验等，最终王瑞华的准确率最高95.66%
• 优化思路还有不少，比如上次课提到的inception v4网络
• 欢迎大家继续比拼下去，看谁最终取胜

[daaafuuu]

【第四课】作业3blue1brown视频学习笔记：https://github.com/users/daaafuuu/projects/1

---

批注

• 笔记总体上偏基本介绍
• 可以进一步思考：
  • 都说神经网络是黑盒，看了这些视频后，你觉得是黑盒吗？
  • mnist分类中，隐含层到底有什么用

[daaafuuu]

1.我认为神经网络不是一个黑盒子，只是目前数学视角可能没有建立。以神经元器件连接的方式形成的非线性变换能够做到拟合的效果，我感兴趣的是神经元不一样，所有的权重参数是一种“形态”，实现相同功能可能有很多不同的“形态”，这些形态间有什么关联，与神经元之间有什么关联？LSTM里面会设计组件，这些组件的设计也是为了更容易的达到某种拟合的效果，是不是这些组件比直接运用神经元堆叠的效果更容易学习目标数据。
数据本身可以以分布的观点看，但是神经网络所有的参数形成的某种“形态”可以发掘什么，是我感兴趣的，如果有什么内容，也请推荐给我学习。
2.隐含层的作用是进一步提取特征的作用，隐含层中每一个神经元可能会更加关注数据的某方面特征，多个神经元提取其所关心的高阶特征综合后再送到下一层，下一层提取更高阶的特征。这是我学习后理解的。

[daaafuuu]

通过keras实现mnist分类：
https://colab.research.google.com/drive/1BHOCO5q9ciThT8AaX0IITIvoDx70tmkW

[zhouqihong]

NLP词频统计和词云
https://colab.research.google.com/drive/1jKELsJMgpnESoJGNcpUJE27hawJe1ZOp