OpenLLM，用 Python 包裝 open source LLM 的套件
source link: https://blog.gslin.org/archives/2023/06/20/11230/openllm%ef%bc%8c%e7%94%a8-python-%e5%8c%85%e8%a3%9d-open-source-llm-%e7%9a%84%e5%a5%97%e4%bb%b6/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
OpenLLM，用 Python 包裝 open source LLM 的套件
在 Hacker News 上看到「OpenLLM (github.com/bentoml)」，是一個用 Python 寫的軟體，把 open source LLM 包裝起來讓你用。
先拿 Mac 簡單測了一下，看起來包的不錯，可以用 HTTP API 來打。
先用 pip 裝：
pip install openllm
然後就可以把 server 跑起來了，依照範例跑 dolly-v2，第一次跑會比較久，需要下載 model：
openllm start dolly-v2
接下來就可以直接開 http://127.0.0.1:3000/ 來操作了，另外也可以用 command line 跑，像是依照官方的範例來跑：
openllm query --endpoint http://127.0.0.1:3000 "What is the meaning of life?"
目前測到比較明顯的問題是 CPU 模式下只有 single thread，所以雖然會動，但相當慢... 之後再來測試 GPU 的部分。
Related
玩玩文字轉圖片的 min(DALL·E)
幾個禮拜前看到「Show HN: I stripped DALL·E Mini to its bare essentials and converted it to Torch (github.com/kuprel)」這個東西，有訓練好的 model 可以直接玩文字轉圖片，GitHub 專案在「min(DALL·E) is a fast, minimal port of DALL·E Mini to PyTorch」這邊可以取得。 因為這是包裝過的版本，裝起來 & 跑起來都很簡單，但沒想到桌機的 1080 Ti 還是跑不動，只能用 CPU 硬扛了，速度上當然是比官網上面列出來用 GPU 的那些慢很多，但至少能跑起來玩看看。 首先是拿官方的句子來玩看看，第一次跑會需要下載 model (會放到我們指定的 pretrained 目錄下)： #!/usr/bin/env python3 from min_dalle import MinDalle…
July 24, 2022In "Computer"
在本機用 pip 直接安裝 PostgreSQL server
看到 PostgreSQL 官方站台上的介紹，可以直接用 Python 的 pip 指令安裝 PostgreSQL server：「Install a local, non-root PostgreSQL Server with Python "pip"」，專案在「postgresql-wheel」這邊。 照 GitHub 上面的說明跑了一下，還真的可以惡搞... 這樣如果真的要在 CI 裡面跑的話也簡單很多了？只要能 pip 裝軟體就能跟你拼 XDDD 也省掉需要設定一些權限跑 Docker-in-Docker...
September 2, 2021In "Computer"
透過 WebGPU 跑的 Web LLM
在 Simon Willison 這邊看到的玩法，透過 WebGPU 在瀏覽器上面直接跑 LLM 的 demo：「Web LLM runs the vicuna-7b Large Language Model entirely in your browser, and it’s very impressive」，專案在「Web LLM」這邊，可以直接玩。 不過要注意一下瀏覽器的支援度，如果是 Chrome 的話需要 113+，但目前 stable 還是 112；而 Firefox 的話我試過在 about:config 裡面用 dom.webgpu.enabled 打開 WebGPU 支援，但重開瀏覽器後還是跑不動？(也有可能是 Linux 環境的關係) Update：應該是 Linux 環境的關係，我在 Linux 下用 dev channel (114)…
April 17, 2023In "Browser"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK