awesome-deep-learning

学习过程中，收集的深度学习资料，在不断更新中。 如果您有好的学习资料，请联系我们，QQ群：791193818

目录

• 1 深度学习基础知识
  • 1.1 数学基础
  • 1.2 网络元素
  • 1.3 网络结构
  • 1.4 优化算法
  • 1.5 深度学习例子
• 2 目标检测
  • 2.1 综述
  • 2.2 计算机视觉基础
  • 2.3 目标检测框架
  • 2.4 代码详解
  • 2.5 人脸识别
• 3 强化学习
  • 3.1 基础知识
  • 3.2 强化学习基础
  • 3.3 强化学习与Python
  • 3.4 AlphaGo Zero
• 4 生成对抗网络（GAN）
  • 4.1 综述
  • 4.2 各种类型的GAN
  • 4.3 生成模型
• 5 自然语言处理(NLP)
  • 5.1 词向量（Word2vec）
  • 5.2 注意力机制（Attention Mechanism）

0 更新 Update

0.1 Causal Discovery

• Causal Discovery with Reinforcement Learning ShengyuZhu, IgnavierNg, ZhitangChen.

• A Graph Autoencoder Approach to Causal Structure Learning Ignavier Ng, Shengyu Zhu, Zhitang Chen, Zhuangyan Fang

  0.1.1 Software

  • Trustworthy AI

1 深度学习基础知识

1.1 数学基础

包含深度神经网络、卷积神经网络、循环神经网络的前向传播、后向传播公式推导，以及损失函数和激活函数的推导，学习重点：前向、后向公式推导、激活函数、损失函数，特别是为什么使用交叉熵损失函数。

• 深度神经网络（DNN）模型与前向传播算法
• 深度神经网络（DNN）反向传播算法(BP)
• 深度神经网络（DNN）损失函数和激活函数的选择
• 深度神经网络（DNN）的正则化
• 卷积神经网络(CNN)模型结构
• 卷积神经网络(CNN)前向传播算法
• 卷积神经网络(CNN)反向传播算法
• 循环神经网络(RNN)模型与前向反向传播算法
• LSTM模型与前向反向传播算法

1.2 网络元素

• 多层感知机MLP

卷积神经网络，学习重点：核、步幅、填充、池化

• 卷积神经网络CNN
  • 二维卷积层
  • 填充和步幅
  • 多输入通道和多输出通道
  • 池化层

循环神经网络，学习重点：BPTT、LSTM、GRU

• 循环神经网络RNN
  • 循环神经网络
  • 通过时间反向传播BPTT
  • 长短期记忆（LSTM）
  • 门控循环单元（GRU）
  • 双向循环神经网络

1.3 网络结构

网络结构，学习重点：VGG、GooLeNet、ResNet、DPN

• LeNet
  • LeNet-Keras
• AlexNet
  • AlexNet-Keras
• VGG
  • VGG16-Keras
  • VGG19-Keras
• GoogLeNet
  • GoogLeNet-Keras
  • inception_resnet_v2-Keras
  • inception_v3-Keras
• ResNet
  • resnet-Keras
  • resnet_v2-Keras
• DenseNet
  • DenseNet-Keras
• ResNeXt
  • ResNext-Keras
• DPN Dual Path Net
  • DPN-Keras
• SeNet
  • SeNet-Caffe

1.4 优化算法

优化算法，学习重点：SGD、AdaGrad、RMSProp、Adam

• 随机梯度下降SGD
• 动量法
• AdaGrad算法
• RMSProp算法
• AdaDelta算法
• Adam算法

1.5 深度学习例子

使用Keras进行文本分类、数字分类、图像分类，了解基本深度学习使用场景

• 使用卷积神经网络进行文本分类
• 使用LSTM进行文本分类
• 使用双向LSTM进行文本分类
• 使用CNN+LSTM进行文本分类
• 使用CNN进行MNIST数字分类
• 使用CNN进行CIFAR10图像分类
• 使用ResNet进行CIFAR10图像分类

2 目标检测

从目标检查开始，逐渐结合论文、代码、应用等，难度慢慢增大了

2.1 综述

中国国防科技大学、芬兰奥卢大学、澳大利亚悉尼大学、中国香港中文大学和加拿大滑铁卢大学等人推出一篇最新目标检测综述，详细阐述了当前目标检测最新成就和关键技术。

• 目标检测综述
  • Deep Learning for Generic Object Detection: A Survey
• 论文笔记-2019-Object Detection in 20 Years: A Survey
  • Object Detection in 20 Years: A Survey
• 人脸识别综述
  • Deep Face Recognition: A Survey

2.2 计算机视觉基础

学习重点：图像增广、边界框、锚框、交并比IoU、非极大值抑制（NMS）

• 图像增广
• 微调
• 目标检测和边界框
• 锚框

2.3 目标检测框架

• 一文读懂目标检测
• [R-CNN] Rich feature hierarchies for accurate object detection and semantic segmentation | [CVPR' 14] |[pdf] [official code - caffe]
• [Fast R-CNN] Fast R-CNN | [ICCV' 15] |[pdf] [official code - caffe]
• [Faster R-CNN, RPN] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks | [NIPS' 15] |[pdf] [official code - caffe] [unofficial code - tensorflow] [unofficial code - pytorch]
• [YOLO v1] You Only Look Once: Unified, Real-Time Object Detection | [CVPR' 16] |[pdf] [official code - c]
• [SSD] SSD: Single Shot MultiBox Detector | [ECCV' 16] |[pdf] [official code - caffe] [unofficial code - tensorflow] [unofficial code - pytorch]
• [YOLO v2] YOLO9000: Better, Faster, Stronger | [CVPR' 17] |[pdf] [official code - c] [unofficial code - caffe] [unofficial code - tensorflow] [unofficial code - tensorflow] [unofficial code - pytorch]
• [FPN] Feature Pyramid Networks for Object Detection | [CVPR' 17] |[pdf] [unofficial code - caffe]
• [RetinaNet] Focal Loss for Dense Object Detection | [ICCV' 17] |[pdf] [official code - keras] [unofficial code - pytorch] [unofficial code - mxnet] [unofficial code - tensorflow]
• [Mask R-CNN] Mask R-CNN | [ICCV' 17] |[pdf] [official code - caffe2] [unofficial code - tensorflow] [unofficial code - tensorflow] [unofficial code - pytorch]
• [YOLO v3] YOLOv3: An Incremental Improvement | [arXiv' 18] |[pdf] [official code - c] [unofficial code - pytorch] [unofficial code - pytorch] [unofficial code - keras] [unofficial code - tensorflow]
• [M2Det] M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network | [AAAI' 19] |[pdf] [official code - pytorch]
• 更多细节

2.4 代码详解

• [YOLO v3]
  • 探索 YOLO v3 源码 - 第1篇 训练
  • 探索 YOLO v3 源码 - 第2篇 模型
  • 探索 YOLO v3 源码 - 第3篇 网络
  • 探索 YOLO v3 源码 - 第4篇 真值
  • 探索 YOLO v3 源码 - 第5篇 Loss
  • 探索 YOLO v3 源码 - 完结篇 预测
• 目标检测算法综述之FPN优化篇
• FaceNet源码解读1
• FaceNet源码解读2
• 格灵深瞳：人脸识别最新进展以及工业级大规模人脸识别实践探讨
• DeepID+DeepID2+DeepID3人脸识别算法总结
• insightface
• triplet-loss-mnist
• triplet_recommendations_keras
• keras-arcface
• MNIST-center-loss
• wide_resnets_keras

2.5 人脸识别

• 人脸识别系列（一）:DeepFace
• 人脸识别系列（二）：DeepID1
• 人脸识别系列（三）：DeepID2
• 人脸识别系列（四）：Webface系列1（CASIA-WebFace）
• 人脸识别系列（五）：face++
• 人脸识别系列（六）：FaceNet
• 人脸识别系列(七)：百度的人脸识别
• 人脸识别系列（八）：VGGFace
• 人脸识别系列（九）：FR+FCN
• 人脸识别系列（十）：Webface系列2
• 人脸识别系列（十一）：Webface系列3
• 人脸识别系列（十二）：Center Loss
• 人脸识别系列（十三）：SphereFace
• 人脸识别系列（十四）：NormFace
• 人脸识别系列（十五）：COCO Loss
• 人脸识别系列（十六）：AMSoftmax
• 人脸识别系列（十七）：ArcFace/Insight Face
• 人脸识别系列（十八）：MobileFaceNets
• SphereFace算法详解
• 损失函数改进之Large-Margin Softmax Loss

3 强化学习

3.1 基础知识

• 模型基础
• 马尔科夫决策过程(MDP)
• 用动态规划（DP）求解
• 用蒙特卡罗法（MC）求解
• 基于模拟的搜索与蒙特卡罗树搜索(MCTS)

3.2 强化学习基础

• 时序差分离线控制算法Q-Learning
• 时序差分在线控制算法SARSA
• 价值函数的近似表示与Deep Q-Learning
• Deep Q-Learning进阶之Nature DQN
• 策略梯度(Policy Gradient)
• Actor-Critic
• A3C
• 深度确定性策略梯度(DDPG)

3.3 强化学习与Python

上面3.2 强化学习基础，包含很多公式，可能看起来有点吃力，下面是莫烦的强化学习知识点，可能稍微好一点，看起来不这么费劲。

• [Q-learning]
  • 什么是 Q Leaning
  • 小例子
  • Q-learning 算法更新
  • Q-learning 思维决策
• [Sarsa]
  • 什么是 Sarsa
  • Sarsa 算法更新
  • Sarsa 思维决策
  • 什么是 Sarsa(lambda)
  • Sarsa-lambda
• [Deep Q Network]
  • 什么是 DQN
  • DQN 算法更新 (Tensorflow)
  • DQN 神经网络 (Tensorflow)
  • DQN 思维决策 (Tensorflow)
  • OpenAI gym 环境库
  • Double DQN (Tensorflow)
  • Prioritized Experience Replay (DQN) (Tensorflow)
  • Dueling DQN (Tensorflow)
• [Policy Gradient]
  • 什么是 Policy Gradients
  • Policy Gradients 算法更新 (Tensorflow)
  • Policy Gradients 思维决策 (Tensorflow)
• [Actor Critic]
  • 什么是 Actor Critic
  • Actor Critic (Tensorflow)
  • 什么是 Deep Deterministic Policy Gradient (DDPG)
  • Deep Deterministic Policy Gradient (DDPG) (Tensorflow)
  • 什么是 Asynchronous Advantage Actor-Critic (A3C)
  • Asynchronous Advantage Actor-Critic (A3C) (Tensorflow)
  • Distributed Proximal Policy Optimization (DPPO) (Tensorflow)

3.4 AlphaGo Zero

• AlphaGo Zero 详解
• 蒙特卡洛树搜索（MCTS）代码详解
• AlphaZero五子棋网络模型

4 生成对抗网络（GAN）

4.1 综述

• 万字综述之生成对抗网络（GAN）
  • How Generative Adversarial Networks and Their Variants Work: An Overview
  • 令人拍案叫绝的Wasserstein GAN

4.2 各种类型的GAN

• Generative Adversarial Network
• Deep Convolutional GAN
• Auxiliary Classifier GAN
• Wasserstein GAN
• Wasserstein GAN GP
• CycleGAN
• Pix2Pix
• InfoGAN

4.3 生成模型

• VAE(Variational Autoencoder)的原理

• 变分自编码器（一）：原来是这么一回事

• 变分自编码器（二）：从贝叶斯观点出发

• 变分自编码器（三）：这样做为什么能成？

• 变分自编码器（四）：一步到位的聚类方案

• VAE(Variational Autoencoder)的原理

• VQ-VAE的简明介绍：量子化自编码器

5 自然语言处理（NLP）

5.1 词向量（Word2vec）

• word2vec原理(一) CBOW与Skip-Gram模型基础
• word2vec原理(二) 基于Hierarchical Softmax的模型
• word2vec原理(三) 基于Negative Sampling的模型
• NLP︱高级词向量表达（二）——FastText（简述、学习笔记）
  • facebookresearch/fastText
  • ivanhk/fastText_java
• fastText入门
• fastText(二)：微博短文本下fastText的应用（一）
• fastText(三)：微博短文本下fastText的应用（二）

5.2 注意力机制（Attention Mechanism）

• 《Attention is All You Need》浅读（简介+代码）
• 为节约而生：从标准Attention到稀疏Attention
• BERT大火却不懂Transformer？读这一篇就够了