Tags NLP

ResNet论文精读

ResNet精读与整理,缓解梯度爆炸的数学原理。

Transformer论文精读

Transformer模型笔记整理,参考资料已附在开头。

正则化为什么能缓解过拟合

正则化为什么能缓解过拟合的数学原理与直觉理解。正则化之所以能防止过拟合,是因为它改变了优化目标,使模型在拟合数据的同时,为“复杂度”付出代价,从而排除那些依赖极端参数、只对训练噪声有效的解。

DL脉络梳理

DL梳理,提纲挈领地串联起发展脉络,有助于理解概念。

NLP脉络梳理

基于 NLP(1)–(9) 系列笔记,提纲挈领串联自然语言处理中的表示、结构、序列建模与应用脉络,便于对照课程与复盘。

NLP(9):句法分析与树形递归神经网络

CS224n Lec18 笔记,资料整合与一些自己的思考。

NLP(8):子词模型、指代消解问题

CS224n Lec12&16 笔记,资料整合与一些自己的思考。

NLP(8):NLP中的卷积神经网络

CS224n Lec11 笔记,资料整合与一些自己的思考。CNN、VD-CNN、Q-RNN。

NLP(6):问答系统

CS224n Lec10 笔记,资料整合与一些自己的思考。阅读理解问答、开放域问答、知识库问答。

NLP(5):机器翻译、seq2seq、注意力机制

CS224n Lec8 笔记,资料整合与一些自己的思考。机器翻译、seq2seq、注意力机制、机器翻译摘要与文本生成的评估指标(BLEU、ROUGE、METEOR、PPL、BERTScore)。