4
AI 的算法和数据结构中的算法一样吗， AI 的模型和数学建模一样吗？
source link: https://www.v2ex.com/t/786596
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
现在 AI 这么火，但是有些概念没搞懂（如题），还有搭建神经网络 是不是就是在那做数学建模？。
另外什么是算法工程师，我感觉他们也没搞出什么算法，都在标注数据、训练、调参，完了继续重复上述过程（中间可能看看复杂的各种学术论文=天书）
另外什么是算法工程师，我感觉他们也没搞出什么算法，都在标注数据、训练、调参，完了继续重复上述过程（中间可能看看复杂的各种学术论文=天书）
40 条回复 • 2021-06-30 22:41:37 +08:00
jdhao 17 小时 56 分钟前 via Android 
1
差不多，算法就是解决问题流程代码话而已。
也不一样，leetcode 上的算法，譬如二分，搜索等等，比较简单，而且程序运行结果大多数是确定的，输入 A，必须输出 B 。AI 用的算法就不是这样，因为用到了模型，必须要训练这个模型，经过训练模型的输出，也不一定会是你想要的输出，所以 AI 算法才有准确率的问题。
也不一样，leetcode 上的算法，譬如二分，搜索等等，比较简单，而且程序运行结果大多数是确定的，输入 A，必须输出 B 。AI 用的算法就不是这样，因为用到了模型，必须要训练这个模型，经过训练模型的输出，也不一定会是你想要的输出，所以 AI 算法才有准确率的问题。
p2pCoder 17 小时 52 分钟前 1
片面点来讲，AI 最基础来说，就是统计，最基础的就是数据，有了数据就是去拟合一个 f(x)j=y 这个函数，就比如大学做实验的时候，我们会在坐标纸上根据点的分布，去拟合一个线性函数，这也是机器学习的一种基础应用。只是真实世界的数据特别特别多，很高维，对应的函数也特别复杂
这是很简单片面的理解，到了真正的落地就很复杂了
这是很简单片面的理解，到了真正的落地就很复杂了
James369 17 小时 43 分钟前
@root99527 是吗，我觉得算法工程师的价值不在于 工程落地，而是在于研究出新颖的算法，发表顶级论文（本身论文就是评估算法工程师的一项指标）。
工程落地是属于软件工程师和系统架构师的职责。
工程落地是属于软件工程师和系统架构师的职责。
MinQ 17 小时 38 分钟前 2
@James369 工程师这个称呼本身就代表着他要面对的是工程场景，他们要做的事情就是将算法在一个合适的场景中实现，达到在各种资源的约束下的最优解。研究新颖算法的人我们管他们叫做研究员
p2pCoder 17 小时 22 分钟前
@James369 算法工程师核心在于落地，而且所有问题的基础在于数据，无论对于实验室的研究员还是大厂的算法工程师，做数据的时间都远多于做模型的时间，因为再复杂的模型都是一个确定的结构，都算是简单的，但是数据却有太多东西需要去探索。
p2pCoder 17 小时 9 分钟前
@James369 所有技术的核心都在于商业价值，无论对于 cv nlp 还是推荐 搜索 广告，整个系统的计算和存储成本都是极高的，而算法模型的结构复杂度，参数数量，都是对计算 和存储的成本的极大考量。还有就是大公司的算法的核心 kpi 在于业务指标，不在于发论文，大厂的算法研究员现在也大都有落地的 kpi 了。
James369 16 小时 54 分钟前
@p2pCoder 让他们按一定指标去优化算法还有可能，不过很多算法工程师只会用 Python （甚至连计算机系统原理都不懂），所以让他们去落地我想还得借助于软件工程师。但是他们的工资开的老高了，真是匪夷所思。
TimePPT 16 小时 12 分钟前
@James369 术业有专攻而已，解决的是整个系统里不同的问题，你让普通的系统工程师天天面对深度学习各种问题调参也会懵逼。
至于工资价格，是市场供需决定的，未来趋势是 AI 技术平民化，工资溢价自然会降低。
至于工资价格，是市场供需决定的，未来趋势是 AI 技术平民化，工资溢价自然会降低。
GrayXu 16 小时 4 分钟前
pcslide 14 小时 14 分钟前
@James369 喷算法工程师不懂计算机原理有点过了吧？计算机组成，操作系统，编译原理，c 语言这些是系里的必修课。研究生阶段大概太多时间放在算法这块，之前的知识变得模糊了，但不可能不懂。
imn1 13 小时 48 分钟前 2
这样说吧，理论家和实业家
举个例子，那两位获得诺贝尔奖的硬盘之父之父，就是理论家，但他们能自己造出大家通用的硬盘么？估计够呛，还是需要实业家把他们的科学成果落地
AI 建模也是分理论和实体的，研究数学模型的人，把原本不可比较的数据，通过数学方法（降维、变形等等），实现“可比较”，但是这样的人，地球上少之又少，如果把具体的业务数据交给他们，他们可能也只能作出“数学结论”，而不是业务可用的报告
现在的算法工程师，是把别人的数学理论，落地到实用业务，他们需要了解所使用的数学知识，才能把“数学结论”转化为业务报告，但他们本身不需要创造这个数学计算过程，其实也很难创造
AI 算法，实际上已经是业务范畴了，它背后的数学原理，最初其实和 AI 没太大关系，最初的数学研究其实就是把不可比数据实现可比-->找出其中的数学规律，仅此而已，只是后来人把这套理论，发展到 AI 上，发扬光大
现在的算法工程师，可以说是后来人的后来人的后来人，就是逐步发展中产生的人才，也是业务具体化、实例化的实现者
实例化就是双向结合，例如人脸辨认中有一种算法 KNN 距离近邻，KNN 里面也有多种近邻方式，其中马氏距离（或叫闵氏距离、明氏距离，译音区别）、欧氏距离这些，远在 AI 这个概念出现之前就有了，逐渐产生分类、聚类算法时，也和 AI 扯不上关系，当时
而一些需要在实物生产中需要分类的实业家，例如制衣业衣服的大中小码，发现可以使用这些数学方法，把不同的人的身体的尺寸，应用到这些数学方法的“初始数据”，就能实现聚类出少数的几种尺码，大大降低生产的成本
AI 就是在聚类分析发展过程中的，第三、第四代产物
算法工程师就是把有意义的业务数据，代入数学原理中那些无意义的数字，使用其方法原理，产生数学结论，再把这些数学结论（结论也只是数字，也是没有实际意思），通过筛选和匹配，转化为有意义的业务结果，指导业务发展
“没有最佳、只有最适合”，这是数学建模中普遍说的一句话，算法工程师就是寻找这个“最适合”的人
举个例子，那两位获得诺贝尔奖的硬盘之父之父，就是理论家，但他们能自己造出大家通用的硬盘么？估计够呛，还是需要实业家把他们的科学成果落地
AI 建模也是分理论和实体的，研究数学模型的人，把原本不可比较的数据，通过数学方法（降维、变形等等），实现“可比较”，但是这样的人，地球上少之又少，如果把具体的业务数据交给他们，他们可能也只能作出“数学结论”，而不是业务可用的报告
现在的算法工程师，是把别人的数学理论，落地到实用业务，他们需要了解所使用的数学知识，才能把“数学结论”转化为业务报告，但他们本身不需要创造这个数学计算过程，其实也很难创造
AI 算法，实际上已经是业务范畴了，它背后的数学原理，最初其实和 AI 没太大关系，最初的数学研究其实就是把不可比数据实现可比-->找出其中的数学规律，仅此而已，只是后来人把这套理论，发展到 AI 上，发扬光大
现在的算法工程师，可以说是后来人的后来人的后来人，就是逐步发展中产生的人才，也是业务具体化、实例化的实现者
实例化就是双向结合，例如人脸辨认中有一种算法 KNN 距离近邻，KNN 里面也有多种近邻方式，其中马氏距离（或叫闵氏距离、明氏距离，译音区别）、欧氏距离这些，远在 AI 这个概念出现之前就有了，逐渐产生分类、聚类算法时，也和 AI 扯不上关系，当时
而一些需要在实物生产中需要分类的实业家，例如制衣业衣服的大中小码，发现可以使用这些数学方法，把不同的人的身体的尺寸，应用到这些数学方法的“初始数据”，就能实现聚类出少数的几种尺码，大大降低生产的成本
AI 就是在聚类分析发展过程中的，第三、第四代产物
算法工程师就是把有意义的业务数据，代入数学原理中那些无意义的数字，使用其方法原理，产生数学结论，再把这些数学结论（结论也只是数字，也是没有实际意思），通过筛选和匹配，转化为有意义的业务结果，指导业务发展
“没有最佳、只有最适合”，这是数学建模中普遍说的一句话，算法工程师就是寻找这个“最适合”的人
James369 13 小时 11 分钟前
@imn1 看了这么多，我还是觉得离落地实现 有一定距离，也就是说算法还是需要 工程人员进行落地实现，这也是未来 AI 时代软件工程师的发展空间。算法工程师可以说是衔接在 研究员和程序员之间的桥梁吧。
imn1 13 小时 4 分钟前
pcslide 12 小时 40 分钟前
@James369
你提的这些，好像除了不会 linux （应该指 shell ？？），都不影响工作。。。。
我记得之前有教授说，现在软件变得非常复杂，对大多数使用者（工程师）来说，很多组件都是黑盒。人们不再在乎黑盒内部，而是通过 poking （尝试？），来琢磨如何使用。
就比如你说的”动态库 /静态库“，大多数情况下，对于要处理大量数据的进程（数据量远远大于代码），是动态库还是静态库（我理解得没错吧？）这点细微差别可以忽略不计。所以知不知道又有什么差别？
可能有些场景，你对系统了解些，你 debug 会快，程序效率会增加那么一点。但是经典算法已经被 n 多仙人打磨过了，轮不到你磨。自己造的轮子，更需要改进的是数据处理和算法本身，版本迭代比换新衣服还快，与其在乎增加那点点效率，不如放心思在容易看懂，容易修改方面比较实在。
你提的这些，好像除了不会 linux （应该指 shell ？？），都不影响工作。。。。
我记得之前有教授说，现在软件变得非常复杂，对大多数使用者（工程师）来说，很多组件都是黑盒。人们不再在乎黑盒内部，而是通过 poking （尝试？），来琢磨如何使用。
就比如你说的”动态库 /静态库“，大多数情况下，对于要处理大量数据的进程（数据量远远大于代码），是动态库还是静态库（我理解得没错吧？）这点细微差别可以忽略不计。所以知不知道又有什么差别？
可能有些场景，你对系统了解些，你 debug 会快，程序效率会增加那么一点。但是经典算法已经被 n 多仙人打磨过了，轮不到你磨。自己造的轮子，更需要改进的是数据处理和算法本身，版本迭代比换新衣服还快，与其在乎增加那点点效率，不如放心思在容易看懂，容易修改方面比较实在。
pcslide 12 小时 28 分钟前
@James369 至于 linux 里得管道如何工作（还有进程如何会话），是通过文件还是通过内存或者是透过内核消息，这些对使用者并不重要。即使表面上透过文件读写来共享数据其实质也可能是内存共享，这些都是很好得抽象层。最重要的 posix 规范并不会去管你如何实现，一如 C 和 python 国际标准只会规范哪些函数需要 thread-safe，至于这些函数你怎么实现，没人管你。
James369 12 小时 28 分钟前
@GrayXu #28 不，我想阐述的观点就是，算法工程师与软件工程师各司其职，术业有专攻。
正如#29 楼所描述，这样的算法工程师仅仅只能做算法而已，做不了软件系统。
正如#29 楼所描述，这样的算法工程师仅仅只能做算法而已，做不了软件系统。
InvincibleDream 12 小时 27 分钟前
简单来说 AI 相关的算法一般是基于机器学习的，最终成品是结合了算法模型和数据。算法模型相同但是数据不同的情况下，在同一业务场景下成品的效果也不同。而数据结构的算法多数是不依赖数据的。从算法实现来讲，大部分 AI 算法与已有的数据结构算法实现不同，没法直接复用。AI 模型常用于解决一般性问题，比如 CV 中的目标检测，NLP 中的文本生成。我理解的数学建模一般是针对特定对象进行，比如供应链、客流量等。
pcslide 12 小时 16 分钟前
@James369 每个人得经历不一样，你可能碰到的是我这种比较菜的。我碰到过不少 nvidia，自动驾驶大厂，做机器学习专用芯片的算法工程师，人家搞 C 和系统就像砍瓜切菜一样。
IgniteWhite 11 小时 40 分钟前 via iPhone
@pcslide #33 我有个牛逼同学博士也学这个的，直接优化给 ASIC 或者 FPGA 的机器学习算法，Python 那些个库都看不上。我个菜鸡以为用 Python 库就很高端了……
SmiteChow 10 小时 9 分钟前
算法内涵不一样 书上的算法是过程的经典实现 在实际场景中面对不同的输入效果好坏都不一定 所以需要估算时空复杂度
AI 的算法就不是时空复杂度能框定效果了，它的自由度更高，在不同的参数下效率有本质的不同，所以需要喂数据去拟合参数
至于模型就是一个通用的词，代表了某个场景的解决方案，所以数据建模是面向场景，你喂的数据也是来源场景的，故可以认为一样的含义
AI 的算法就不是时空复杂度能框定效果了，它的自由度更高，在不同的参数下效率有本质的不同，所以需要喂数据去拟合参数
至于模型就是一个通用的词，代表了某个场景的解决方案，所以数据建模是面向场景，你喂的数据也是来源场景的，故可以认为一样的含义
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK