llama.cpp 官方支援 Falcon
source link: https://blog.gslin.org/archives/2023/08/26/11313/llama-cpp-%e5%ae%98%e6%96%b9%e6%94%af%e6%8f%b4-falcon/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
llama.cpp 官方支援 Falcon
先前有提過採用 Apache License 2.0 的 Falcon 40B，少數能跟 LLaMA (第一代) 打對台的版本，而且是真正的 open source license：「Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭」，當時有提到 llama.cpp 還沒有支援。
過了一陣子，社群自己先 fork 了一版，想辦法支援 Falcon 40B：「cmp-nct/ggllm.cpp」，但這也導致沒有跟到很多 llama.cpp 的新功能 (尤其是各種透過硬體加速的支援)。
剛剛刷了一下，發現前幾天 llama.cpp 官方支援 Falcon 的 model 了：「llm : add Falcon support」。
看起來是個開始，可以看到還有列出一些項目要實作的，但看起來可以跑了。
Related
AWS 把 Falcon 40B 丟進 SageMaker 服務了
AWS 宣布在 SageMaker JumpStart 裡面可以用 Falcon 40B 了：「Falcon 40B foundation model from TII available on SageMaker JumpStart」，不愧是 AWS... 話說 llama.cpp 對 Falcon 的支援好像有點卡關的感覺，大概還要再折騰一陣子吧，雖然有些人已經能跑 7B 了，但大家還是想跑 40B 看看...：「Falcon LLM Support #1602」。
June 10, 2023In "AWS"
用 ggml 跑的 MPT-30B
在 Simon Willison 這邊看到的「abacaj/mpt-30B-inference」，介紹了用 ggml 跑的 MPT-30B 專案：「abacaj/mpt-30B-inference」。 MPT-30 是個 open source model，比起同樣也是 open source model 的 Falcon-40B 小了一點，在官方的說明「MPT-30B: Raising the bar for open-source foundation models」可以看到其中一個特性是可以塞進單張 GPU： The size of MPT-30B was also specifically chosen to make it easy to deploy on a single GPU—either 1x NVIDIA A100-80GB in 16-bit…
July 7, 2023In "Computer"
Falcon 40B 超越 LLaMA 65B 成為目前 Open LLM 的領頭
在 LLM 裡面講的 Open 不是 open-source license 的定義，比較接近「免費使用」而已，通常會帶有限制。 但即使放寬到「免費使用」，LLaMA 65B 從二月放出來 (或者說「被放出來」) 已經領頭領了三個多月了，直到上個禮拜看到被 Falcon 40B 超越的消息： LLaMa is dethroned 👑 A brand new LLM is topping the Open Leaderboard: Falcon 40B 🛩*interesting* specs:- tuned for efficient inference- licence similar to Unity allowing commercial use - strong performances- high-quality dataset also…
June 1, 2023In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK