Tags CV

Transformer论文精读

Transformer模型笔记整理,参考资料已附在开头。

CV(3):神经网络训练技巧

CS231n Lec6-8 笔记,资料整合与一些自己的思考。初始化(激活函数、数据预处理、权重初始化、正则化、梯度检查),训练动态(监控学习过程、参数更新、超参数优化),本文讲解训练神经网络的核心方法:优化方式(SGD、动量更新、Nesterov动量、Adagrad、RMSProp、Adam等),正则化(L2、Dropout),迁移学习,模型集成,常见深度学习框架与硬件。

CV(2):卷积神经网络

CS231n Lec5 笔记,资料整合与一些自己的思考。卷积神经网络(卷积层、池化层、ReLU层、全连接层、局部连接、参数共享、最大池化、步长、零填充)。部分内容与NLP重合不过多赘述。

CV(1):CV知识简介

CS231n Lec1-4 笔记,资料整合与一些自己的思考。CV简介、图像分割基础、损失函数与最优化、神经网络与反向传播。部分内容与NLP重合不过多赘述。