很多 MTurk 的接案者都用 LLM 在解決文字類的問題
source link: https://blog.gslin.org/archives/2023/06/15/11224/%e5%be%88%e5%a4%9a-mturk-%e7%9a%84%e6%8e%a5%e6%a1%88%e8%80%85%e9%83%bd%e7%94%a8-llm-%e5%9c%a8%e8%a7%a3%e6%b1%ba%e6%96%87%e5%ad%97%e9%a1%9e%e7%9a%84%e5%95%8f%e9%a1%8c/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
很多 MTurk 的接案者都用 LLM 在解決文字類的問題
剛剛在 Hacker News 上翻到的：「33-46% of workers on MTurk used LLMs in a text production task (arxiv.org)」，論文在「Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks」這邊，這個標題取的很故意... XD
Hacker News 上的標題主要是出自論文 abstract 的這段：
We reran an abstract summarization task from the literature on Amazon Mechanical Turk and, through a combination of keystroke detection and synthetic text classification, estimate that 33-46% of crowd workers used LLMs when completing the task.
想想還蠻正常的？能輕鬆賺當然就輕鬆賺... 但這也代表開發者可以思考 offload 給 LLM 的品質，以及如果需要外部的工人智慧，是不是可以搭配 LLM 再 offload 一些簡單的處理給人類就好？
話說好久沒聽到 MTurk 這個服務了，翻了 wiki 看起來是 2005 年就有的服務。
Related
關於 LLM 的數字
Hacker News Daily 上看到的文章，講 LLM 的各種數字 (大多都是費用)：「Numbers every LLM developer should know (github.com/ray-project)」，原文在「Numbers every LLM Developer should know」這邊。 其中第一條就蠻重要的，如果你是用 API 依照 token 收費的話，叫 API 長話短說會省不少錢 XD 40-90: Amount saved by appending “Be Concise” to your prompt 第二條是給個感覺，換算 word 與 token，不過這邊講的應該是英文的： 1.3:1 -- Average tokens per word 後面也有蠻多數字的，都是讓你有個感覺。都讀過後就可以把 cheatsheet 留下來：
May 19, 2023In "API"
Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭
在 LLM 裡面講的 Open 不是 open-source license 的定義，比較接近「免費使用」而已，通常會帶有限制。 但即使放寬到「免費使用」，LLaMA 65B 從二月放出來 (或者說「被放出來」) 已經領頭領了三個多月了，直到上個禮拜看到被 Falcon 40B 超越的消息： LLaMa is dethroned 👑 A brand new LLM is topping the Open Leaderboard: Falcon 40B 🛩*interesting* specs:- tuned for efficient inference- licence similar to Unity allowing commercial use - strong performances- high-quality dataset also…
June 1, 2023In "Computer"
GPT 的進程 (或是 LLM 的進程)
前幾天不知道在哪邊看到「Five years of GPT progress」這篇，裡面整理了這五年 GPT/LLM 的進程，算是回顧性質的文章，裡面當然有提到技術改善的地方 (像是參數大小，類神經網路層的架構差異)，另外裡面都有原始論文或是資料的連結，然後作者也有描述一些當時的背景，對於要釐清歷史脈絡也蠻有幫助的。 從 GPT、GPT-2、GPT-3 這三個 OpenAI 的作品開始講，然後提到 GPT-3 帶出來的新紀元。 接著提到的是各家都開始進來參與的年代，Jurassic-1 (AI21 Labs)、Megatron-Turing NLG (Nvidia)、Gopher (DeepMind)、Chinchilla (DeepMind)、PaLM (Google AI)。 然後是 LLaMa (Facebook)，第一個有參數夠大，而且效能夠好的 model，被放出來讓大家玩的 LLM。 最後又回到 OpenAI 的 GPT-4。 這樣整理讀起來清晰不少，但要注意裡面的發展不是線性關係，彼此之間互相影響交錯在跑 (因為中間還是有很多其他的論文互相影響)。
April 10, 2023In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK