Alpaca.cpp 有 13B 與 30B 的 model 可以玩了
source link: https://blog.gslin.org/archives/2023/03/22/11109/alpaca-cpp-%e6%9c%89-13b-%e8%88%87-30b-%e7%9a%84-model-%e5%8f%af%e4%bb%a5%e7%8e%a9%e4%ba%86/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Alpaca.cpp 有 13B 與 30B 的 model 可以玩了
在「Stanford Alpaca 與 Alpaca.cpp」這邊有提到 Alpaca 有放出 7B 的 model 可以用，後來 community 也照著同樣的方式訓練出對應的 13B 與 30B 的 model 了，在 Alpaca.cpp 專案的 README.md 有寫怎麼取得。
看起來比較大的限制是記憶體，13B 與 30B 的記憶體建議是 >10GB RAM 與 >32GB RAM，不知道剛好 32GB RAM 跑不跑得動，先拿 32GB RAM 的機器跑看看，如果真的不行的話家裡桌機是 64GB RAM，應該是不會有大問題...
不過 13B 的 model 檔案位置是放在 IPFS 上，透過這幾個 gateway 下載起來都有點慢，有需要的人用 BitTorrent 可能會快一點？
Related
換新電腦...
新電腦是 AMD X4-905e，記憶體插 4GB*2。 本來的電腦只有 2GB RAM (兩條 DDR2 1GB)，之前跑 Windows XP 32bits 還不覺得慢，換到 Ubuntu 上因為需要跑 VirtualBox 就變得很有感覺... 再加上公司的電腦是新配的 (Core i3-540 加上 8GB RAM)，回家都在哀怨電腦速度 XD 本來是考慮只換 8GB RAM (兩條 DDR2 4GB)，在家翻了原價屋、名人與巴德，發現 DDR2 4GB 不怎麼好找 (也不怎麼划算)，於是就打算把整台換掉... 因為有買一顆新的硬碟當作系統碟，換完後就順便再灌一次 Ubuntu 11.04，目前用起來還不錯... 測了一下 smplayer 發現看 rmvb 可以用八倍速看，不錯不錯... 補上去光華買電腦時，順便到旁邊的漢堡王買特製華堡的餵食日記：
May 7, 2011In "Computer"
玩最近 Facebook Research (Meta) 放出來的 LLaMA
很多地方應該都有提到 Facebook Research (Meta) 放出來的 LLaMA 了，對應的論文是「LLaMA: Open and Efficient Foundation Language Models」這篇，但這邊論文提到的 open 並不是一般常見的 open 定義，而只是常見的行銷詞彙而已，實際上只是 free for charging with constraints。 另外要注意 LLaMA 是個 LLM 而已，跟 ChatGPT 不算是同樣性質的東西，能對比應該是 GPT-3 (或是 GPT-3.5)。 主要是 ChatGPT 多了 SL 與 RL 的步驟，而產出來的東西更接近商業化產品要的結果。 LLaMA 的特點在於效能不錯，可以用 LLaMA-13B 打贏 GPT-3 (175B)，另外這次訓練出來最大的 LLaMA-65B 則可以站上第一梯隊 (與 DeepMind 的…
March 16, 2023In "Computer"
ClickHouse 自家做的 benchmark 比較
在「Show HN: A benchmark for analytical databases (Snowflake, Druid, Redshift) (clickhouse.com)」這邊看到 ClickHouse 自家做的 benchmark 比較，網站在「ClickBench — a Benchmark For Analytical DBMS」這邊。 這種 benchmark 基本上是拿來當作清單來看，另外 Hacker News 上的討論一定得看，尤其是沒被列上 benchmark 的... 講到 ClickHouse，先前是有朋友跑來說他有個需求是需要跑分析，但遇到用 PostgreSQL 時發現寫入速度不夠快的問題，看看有沒有什麼方法可以解。問了多一點以後發現他的需求是 OLAP 類而不是 OLTP 類，就先跟他講要去找 OLAP engine 來解決。 然後就聊到維基百科上「Comparison of OLAP servers」這個條目，裡面列出來的 open source 軟體是不少，但 Apache 家基本上大家都知道是回收場，裡面就剩下 ClickHouse…
July 15, 2022In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK