3

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

 1 year ago
source link: https://www.qbitai.com/2023/05/56559.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

head.jpg梦晨 2023-05-27 13:55:46 来源:量子位

节省成本百分之99

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-4替代初级数据分析师的成本只有0.71%,换成高级数据分析师则是0.45%……

你没看错,是百分之零点七一,不是百分之七十一。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

按新加坡行情,年薪8.6万-9万美元(60-63万人民币)的高级数据分析师,换成GPT-4就只需要三四百美元(2000多人民币)了。

这项结论来自阿里达摩院新加坡南洋理工大学的新论文,被网友评价为对AI和数据分析领域感兴趣的必读论文。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

具体来说,结论中高级分析师指在金融行业拥有多年工作经验的数据分析师。

而GPT-4的表现,在大多数指标上能与一位6年工作经验的人类相当,正确性低于人类,但复杂性和一致性指标高于人类。

在与另一位5年工作经验的分析师对比中,GPT-4在信息的正确性、图表的美观性、洞察的复杂性等方面输给人类。

如果与2年工作经验的初级分析师对比,GPT-4在正确性上表现更好,而且能完成更多的工作。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

但GPT-4完成所有类型的任务都要比人类快得多。

在假设每个月有21个工作日,每天8小时工作时间,按市场价支付工资的前提下,得出最终结论。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

GPT-4当数据分析师,都能干什么

论文重点考察了GPT-4作为数据分析师的以下几种能力:

  • 生成SQL和Python代码
  • 执行代码获得数据和图表
  • 从数据和外部知识源中分析数据,得出结论
阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

200个样本的实验表明,对于绘制图表任务,GPT-4能够理解指令含义,且对图表类型有一定背景知识,从而绘制出正确的图表。

图表大部分清晰可见,没有任何格式错误,图标的美观性指标满分3分,GPT-4平均得分2.73。

但手工检查还是能发现一些小错误,图表准确性指标满分1分,GPT-4平均得分0.78。

论文中特别说明他们的评估标准非常严格,只要x轴或y轴的任何数据或任何标签有错误,都要扣分。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

对于数据分析任务,GPT-4在一致性和流畅性中平均得到满分,验证了生成流畅且语法正确的句子对GPT-4来说绝对不是问题。

有意思的是,到了数据分析这一步的准确性要比图表信息的准确性高得多,说明尽管GPT-4画了错误的图表但分析出了正确的结论。

阿里达摩院:GPT-4替代年薪60万数据分析师只要几千块,论文已发

在案例分析中,研究团队还总结出三条GPT-4与人类数据分析师的主要区别:

  • 人类分析师可以用个人思想和情感来表达,比如在分析时写“令人惊讶的是……”;人类读者容易从这样的表述中理解数据是符合预期还是不正常的。
  • 人类分析师倾向于结合背景知识得出结论,如写到“……常见于……”;GPT-4通常只关注提取到的数据本身,允许GPT-4上网搜索实时在线信息可以改善这一点。
  • 当提供见解或建议时,人类分析师倾向于保守,如声明“假如数据没有问题的话……”;GPT-4会以自信的语气直接给出建议,不会提及假设。

另外团队表示,由于预算有限,主要是雇一个来与GPT-4对比的高级分析师太贵了,人工评估和数据标注的数量相对较少。

在最后的结论则是:

实验结果和分析表明,GPT-4在数据分析上有与人类相当的性能,但是否可以取代数据分析师需要近一步研究才能得出结论。

论文:
https://arxiv.org/abs/2305.15038

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK