Tags LLM

Transformer论文精读

Transformer模型笔记整理,参考资料已附在开头。

正则化为什么能缓解过拟合

正则化为什么能缓解过拟合的数学原理与直觉理解。正则化之所以能防止过拟合,是因为它改变了优化目标,使模型在拟合数据的同时,为“复杂度”付出代价,从而排除那些依赖极端参数、只对训练噪声有效的解。