对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？

你好，我是Giant。
最近有同学私信我，自己是NLP方向的硕士，一直弄不懂神经网络原理，看了很多教程博客还是没明白，是不是不需要弄懂啊？其实，神经网络的原理包含两个层面：1）从狭义上说，神经网络的基本原理就是前向传播+反向传播，给你一个双层MLP，能把参数更新手推出来就算弄明白原理了；2）从广义上说，神经网络为什么能work，学术界以及大厂资深的算法工程师们也无法给出完美的解释。如果数学基础不扎实，直接硬刚偏微分方程，凸优化，二阶优化等深度学习理论，很容易被虐，甚至从此失去对算法的兴趣。所以先说结论：大部分深度学习方向的硕士博士毕业，从事的是以业务为导向的算法岗。算法工程师的真正价值在于理解业务，为公司带来实际的收益增长。弄明白所谓DL原理，也只是为了将算法和业务更好地结合。比如把业务抽象成算法的能力，通过数据分析和模型优化提升线上指标和用户体感的能力，通过算法降低人工成本的能力等等。以上是从“道”的层面分析这个问题。为了更好地将算法在实际中应用，需要算法工程师从“术”的角度掌握一些基础的机器学习和深度学习原理，例如：1）了解常见的损失函数，激活函数和优化算法，明白它们的区别优劣，例如 relu 相比 sigmoid 的优点在哪，Adam对于SGD做了哪些改进，交叉熵公式是什么；2）了解常见的评价指标以及它们的区别，例如 accuracy，precision，recall，F1，AUC，混淆矩阵 各自的公式；3）有哪些防止过拟合的策略，至少3个以上；4）了解梯度下降算法原理，准确指出梯度下降、随机梯度下降、批量梯度下降的区别；5）如何合理的设置训练batch，是不是越大越好？

6）了解基础的神经网络，例如 MLP、CNN、RNN(GRU, LSTM)、Attention，基本各个子领域都会用到；

7）明白各个神经网络的优缺点是什么，例如 Attention相比CNN做了哪些改进，RNN为什么容易造成梯度消失&爆炸；

8）有哪些缓解数据分布不均匀的方法，至少3个以上；9）了解基本的数据冷启动和数据增强策略；对于没有从事纯深度学习理论研究的同学，彻底弄清神经网络的原理可能既无必要也不现实。相比之下，在工作中具备Owner意识、工作安排划分好优先级、平衡产能和产出、时刻进行自我监视与反省是一名优秀工程师应具备的基本能力，值得不断提升。纸上得来终觉浅，绝知此事要躬行。

为了更好地利用神经网络，避免踩坑，在日常工作中需要我们多摸索多实验。

进技术交流群请添加AINLP小助手微信（id: ainlper)
请备注具体方向+所用到的相关技术点

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。

阅读至此了，分享、点赞、在看三选一吧🙏