4

奢望AI写作文?先把校对干好再说

 1 year ago
source link: https://www.woshipm.com/ai/5844477.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

奢望AI写作文?先把校对干好再说

2023-06-10
0 评论 5 浏览 0 收藏 17 分钟

在高考作文题目出来之后,许多网友都用AI大模型做起了测试。那么如果让AI大模型做简单的校对工作,它们能做好吗?在本篇文章里,作者就尝试利用AI大模型进行了测评对比,一起来看看本文的测评反馈。

39573c70-d9ef-11ed-889f-00163e0b5ff3.jpg

连高考作文都能写,面对更简单的校对工作,AI大模型能做好吗?

高考开始后,除了考生之外,最忙碌的可能就是AI大模型们了,有人测试它写高考作文,有人测试它解数学应用,各家AI大模型,这几天很忙。

十项全能的AI大模型,连高考考场都敢上,对于相对简单的校对工作,是不是更不在话下?对此,不同的使用人群,有着不一样的反馈。

今天,潘哥准备进行AI大比武,选取科大讯飞的讯飞星火、百度的文心一言、阿里的通义千问、360的360智脑、以及OpenAI的GPT4,看看同一文本下,这五家AI大模型,谁的校对能力最好。

一场碳基与硅基生物的较量,以及硅基生物之间的较量,即将在这里上演。

一、字词校对可以吗?

对于AI大模型来说,校对时最主要的工作,似乎就是发现错别字。

对此,潘哥使用例句:“洛阳亲友如相问,就说我在岳阳楼。”将“相问”故意错拼成“翔问”,看看这个明显错误,AI能不能发觉。

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

潘哥发现,在第一轮测试中,讯飞星火、文心一言、通义千问、GPT4,都准确无误地完成了工作;只有360智脑,潘哥对它连问两次,都没有发现其中错误。

在第二轮测试中,潘哥利用人们键盘打字时,容易拼错、选错的失误,再次给AI挖了个坑。

潘哥的座右铭诗句:“我自横刀向天笑,笑完我就去睡觉。睡醒我再拿起刀,我又横刀向天笑。”将“睡醒”拼成“水醒”,看看AI能不能校对出来?

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

这一轮,胜出者只有GPT4;讯飞星火将“水醒”变成了“水星醒”,文心一言一字未改,通义千问和360智脑,都大幅改动了原句,其中360智脑的画风略惊悚。

键盘拼写时出现的错别字,已经让有些AI难以应付,对于博大精深的成语,AI能否识别呢?

为此,潘哥选择了一句发疯文学:“每天上班早起,都有种魂飞魄散的感觉。”将其中的成语“魂飞魄散”,故意写作“魂飞魂散”,等着AI跳坑。

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

潘哥发现,这一轮测试,360智脑、GPT4校对成功;讯飞星火将“魂飞魂散”,改成了“神游物外”;文心一言两轮校对,都将前半句改成“每天早上都要早起上班”,可见其对上班怨念之深,后半句也给潘哥换了成语;通义千问两轮校对中,则出现了精神分裂,第一次“如释重负”,第二次却“疲惫不堪”。

到这里,潘哥想给AI增加难度,将易拼错、易写错、四字成语叠加在一起,看看AI如何应对?

为此,潘哥使用丧气文学:“有钱人终成眷属,没钱人亲眼目睹,我独自坐在路边,看得清清楚楚。”将“清清楚楚”改成“青清楚楚”,

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

这轮测试中,讯飞星火、文心一言、GPT4,都轻松完成了工作;通义千问虽然改对了“清清楚楚”,但固执地要把“亲眼目睹”改成“只有干瞪眼”;360智脑则认为句子无误。

二、语病能否被发现?

仅仅让AI发现错别字,难度似乎还不够,一个合格的校对人员,还应看出文本中的语病。

众所周知,汉字语序颠倒,有时并不影响阅读。因此,潘哥选择诗词新作:“众里寻他千百度,蓦然回首,那人却在床上穿秋裤。”将后半句语序打乱,变成“那人床上却在穿秋裤”,看看AI能发现其中蹊跷吗?

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

可以看出,这轮的胜出者,只有GPT4一家;讯飞星火、文心一言都没有发现任何错误;通义千问改对了语序,却把“穿秋裤”的人放在了枕上,玩起了高难度动作;360智脑同样改对了语序,却画蛇添足地加了一个“在”字,生成了另一个病句。

除了语序错误之外,文本校对过程中,还有些更为隐蔽的语病,没看过《五年高考三年模拟》的AI,对此会怎么解?

为此,潘哥自创病句:“去年毕业的他,现在就职于一家公司的舔狗工作。”看看这道难题,AI大模型能做对吗?

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

在这轮测试中,除了GPT4之外,另外四家AI全部折戟,文心一言更是把“舔狗”直接改成了“助理”;GPT4首轮似乎认为“舔狗”二字不合规,被潘哥改成了“助理”之后,成功修改了语病。

具有明显语病的句子,已经让AI感到吃力;对于带有歧义的句子,AI能否辨别出来呢?

为此,潘哥写下:“在床上‘葛优瘫’了一天,他突然想起来了。”看看这句带有歧义的话,AI大模型能校对出来吗?

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

这一轮测试,除了GPT4发现了其中歧义,其他四家AI再次校对失败;讯飞星火、360智脑对此表示无误;文心一言将整个句子,重新改写了一遍;通义千问则删除了“葛优”二字。

让AI大模型在校对时,主动识别歧义句,潘哥觉得有难度有点大,如果让AI直接判断是否具有歧义,效果又会如何呢?

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

可以看出,在潘哥直接发问下,文心一言、通义千问、360智脑,都表示句子没有歧义;讯飞星火指出了解读歧义,但搞错了造成歧义的原因;而浓眉大眼的GPT4,这次却临阵叛变,表示:“这句话没有明显的歧义”。

三、AI校对哪家强?

进行了八轮测试后,潘哥发现,一些AI大模型,总喜欢在校对时,帮你改写句子,比如在第三轮测试中,很多AI开始了自我发挥。

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

可以看出,除了GPT4之外,另外四家AI大模型,都对“魂飞魂散”这个错字成语,进行了替换。

对此,潘哥提示大家,在校对文本过程中,最好在下达命令前,就告诉AI大模型,不许对文本进行改动;否则,AI很可能会放飞自我。

另一边,AI校对出现错误后,如果我们对其进行指正,对方能虚心接受吗?对此,潘哥继续采用第三轮测试文本,和AI进行了对话。

奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说
奢望AI写作文?先把校对干好再说

潘哥发现,讯飞星火和GPT4,立刻接受了指正,文心一言先把话题岔开,对潘哥打起了感情牌,后来才改正了句子;通义千问和360智脑,虽然承认了错误,但仍然没有理解潘哥意思。

潘哥发现,OpenAI的GPT4,不仅能够发现错别字,还能发现语病甚至歧义句;不过,对于文本内容的过度敏感,可能会让其“罢工”,影响校对的效率。

另一边,讯飞星火和文心一言,也能发现简单的错别字,并且能够学习校对知识,如果持续训练一段时间,效果可能会有所提升。

通义千问和360智脑,在文本校对过程中,容易替用户做主,出现修改句子的行为;同时,两者都比较固执己见,如果想用其进行校对,恐怕还要再训练一段时间。

如今的AI大模型,在校对方面还有很多不足,一些复杂文本的校对工作,完全交给AI的话,可能并不让人放心。

不过,各家AI大模型,都具有持续学习的能力,在不断的升级迭代后,AI将会引起怎样的变革,谁也不敢妄下断言。

作者:潘哥 ;编辑:三火

来源公众号:智商税研究中心(ID:gh_c55b3561ece1),尘世套路深,我替你踩坑!

本文由人人都是产品经理合作媒体 @智商税研究中心 授权发布,未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App

format,webp

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK