4

實測 ChatGPT 中文校稿挑錯字

 1 year ago
source link: https://blog.darkthread.net/blog/typo-correction-w-chatgpt/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

實測 ChatGPT 中文校稿挑錯字

2023-04-07 08:50 PM 2 589

我文章的錯字之多,遠近馳名,多年以來已成個人特色... (Orz)

說來大家可能不信,其實每一篇文章送出前我都會校稿檢查至少一次,但可能是某種閱讀障礙,亦或個性浮躁沒耐性使然,還是腦部文字檢查模組真有缺陷,常常錯字從眼皮子底下滑過也渾然不覺。認真說起來,這有個科學解釋 - 閱讀自己的文章時,由於知道自己想表達些什麼,腦中版本常會蓋過看到的版本,因此容易忽略錯字或漏字;對讀者因是新文章,故會專注閱讀並特別注意細節,故能簡單挑出文章中的錯誤。

ChatGPT 問市後,我從沒想過要用它寫文章,不信它能做到介紹技術兼搞笑鬼扯,如同少林功夫加跳舞唱歌,沒事還要押韻來點 RAP,不這樣哪算黑大風格?(歡迎大家召喚 ChatGPT 來挑戰)

但是,我倒很希望 ChatGPT 能幫忙枯燥沒營養的校稿揪錯字工作。以當今 ChatGPT 的中文實力,到底可不可行呢?實測前,我先參考了別人的經驗,找到一篇:一個自由譯者使用ChatGPT輔助工作的初步心得 by 維琪每天趕死線

摘要其心得如下:

  1. AI 翻譯水準約 60 ~ 70 分(以專業翻譯人員的要求標準),簡單文章約 80 ~ 90 分,但要直接用仍有距離。除非應採機器翻譯 + 人工校潤 (Post-Editing) 的做法。(AI 出現前就有很多人在這樣做,但品質不甚理想)
  2. ChatGPT 輸出結果常隱藏乍看難以分辨的錯誤,若誤信問題更大,故翻譯人員沒想像那麼容易被 AI 取代。
  3. 簡單、制式、不求文筆或閱讀沈浸感的文本類型(合約、行政文書)可考慮直接交給 AI 加人工校訂後上場,其餘不行。
    題外話:我覺得目前標榜 AI 產生的作品,有許多我們是抱著「哇! AI 可以做成這樣」的低標或基於新鮮感才給予讚賞,懷疑若將 ChatGPT 自動生成的小說印成書,有多少人願意買單?
  4. 作者也超想用 AI 校稿抓誤譯跟中文錯字,結論是找翻譯錯誤效果還不錯,抓中文錯字則不行。
  5. ChatGPT 的成功應用:解析模稜兩可的英文原文、Translation Improver 請 AI 把原翻譯「換句話說」(可指定風格等更詳細的設定)掃除盲點。
  6. 頂級譯者還不會被取代,但若多數人不追求高品質,接受 AI 翻譯七八十分結果,將排擠一般譯者的工作機會。

第四點是我最關心的。依作者的經驗,叫 ChatGPT 抓中文錯字的想法並不可行,推測與其訓練資料以英文為大宗有關。感覺不太妙,但還是決定實測一下。

以下是我的簡單測試,直接用前幾天文章被讀者找到的幾個錯字當實際樣本。

  • ChatGPT 並不是一個最終產品,更像一個 Demo,評價它時應區分哪些是早期還來不做好的?哪件是本質上的限制? (來不"及"做好、哪"些"是)
  • 實例:文科背景害怕軟體的律師,但透過語言溝通的 ChatGPT 正符合其專長,還沒有辭退員工,但不再算再找實習生了。 (不"打"算再找)

試了幾組 Prompt,即便我有強調只找錯字,不要解析或換句話說,ChatGPT 仍會幫我改寫成它覺得較好的寫法,最後我找到這組 Prompt 效果最好 你現在是一個繁體中文文章校稿人員,負責閱讀我提供的內容,明確指出哪一句的哪幾個字可能打錯字,需要修正。以下按此原則處理,不用再次說明

測試一,沒看出"不打算"有錯字,倒是糾結想把"還沒辭退"改成"尚未有解僱員工的情況發生":

Fig1_638164691520022933.png

測試二,改用 Bing Chat,結果有點分歧,有幾次只要談到 ChatGPT、辭退等字眼,Bing Chat 就逃走說說不想再談了,逼得我只能改問法,但也沒有抓出"不打算":

Fig2_638164691523643710.png

後來又試了一次成功一半,ChatGPT 建議"算再找"改成"再也不找",但若置換到句子會變成"但不再再也不找"語意不通,但這已能提醒我該處有錯字。至於 ChatGPT 要換成 Chatbot 的理由不明。

Fig3_638164691525729920.png

測試三,另一組有問題的句子若只截取小部分送測,這回倒有成功抓出兩處錯誤。

Fig4_638164691527768488.png

測試四,傳入整段文字,ChatGPT 忘了我交待要他抓錯字,又做起它愛做的解析跟總結,提醒無效。

Fig5_638164691530084808.png

實測結果,感覺是偶爾可以成功,但一次丟一大段請 ChatGPT 處理的想法看來不可行,需額外插件或寫程式處理,加上準確性不理想,不能算可用方案。這個需求或許用中文斷詞軟體效果會更好一些,但缺少 ChatGPT 解析前後文的能力,效果應很難符合我的預期。

結論是,ChatGPT 目前無法幫忙挑中文錯字,請讀者們多多幫忙只能自己努力降低錯字率及加強校稿挑錯能力,若大家有更好的做法也歡迎分享,一起搶救錯字天王。(謎:真敢講)


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK