秋月春风学AI/DS

2024

03月

ResNet论文精读

ResNet精读与整理,缓解梯度爆炸的数学原理。

Transformer论文精读

Transformer模型笔记整理,参考资料已附在开头。

正则化为什么能缓解过拟合

正则化为什么能缓解过拟合的数学原理与直觉理解。正则化之所以能防止过拟合,是因为它改变了优化目标,使模型在拟合数据的同时,为“复杂度”付出代价,从而排除那些依赖极端参数、只对训练噪声有效的解。

02月

CV(3):神经网络训练技巧

CS231n Lec6-8 笔记,资料整合与一些自己的思考。初始化(激活函数、数据预处理、权重初始化、正则化、梯度检查),训练动态(监控学习过程、参数更新、超参数优化),本文讲解训练神经网络的核心方法:优化方式(SGD、动量更新、Nesterov动量、Adagrad、RMSProp、Adam等),正则化(L2、Dropout),迁移学习,模型集成,常见深度学习框架与硬件。

CV(2):卷积神经网络

CS231n Lec5 笔记,资料整合与一些自己的思考。卷积神经网络(卷积层、池化层、ReLU层、全连接层、局部连接、参数共享、最大池化、步长、零填充)。部分内容与NLP重合不过多赘述。

CV(1):CV知识简介

CS231n Lec1-4 笔记,资料整合与一些自己的思考。CV简介、图像分割基础、损失函数与最优化、神经网络与反向传播。部分内容与NLP重合不过多赘述。

NLP(9):句法分析与树形递归神经网络

CS224n Lec18 笔记,资料整合与一些自己的思考。

NLP(8):子词模型、指代消解问题

CS224n Lec12&16 笔记,资料整合与一些自己的思考。

NLP(8):NLP中的卷积神经网络

CS224n Lec11 笔记,资料整合与一些自己的思考。CNN、VD-CNN、Q-RNN。

NLP(6):问答系统

CS224n Lec10 笔记,资料整合与一些自己的思考。阅读理解问答、开放域问答、知识库问答。