在 PostgreSQL 上直接掛 ML extension
source link: https://blog.gslin.org/archives/2022/05/03/10687/%e5%9c%a8-postgresql-%e4%b8%8a%e7%9b%b4%e6%8e%a5%e6%8e%9b-ml-extension/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
在 PostgreSQL 上直接掛 ML extension
Hacker News 首頁上看到「Show HN: PostgresML, now with analytics and project management (postgresml.org)」這個專案，可以在 PostgreSQL 上面直接掛 extension 跑 ML algorithm：「PostgresML - an end-to-end machine learning solution」，從 GitHub 上可以看到大多數是 Python 的程式碼。
從 GitHub 頁面上面可以看到這個專案還在比較早期的階段：
This project is currently a proof of concept. Some important features, which we are currently thinking about or working on, are listed below.
如果是目前要用的話，主要是方便看一些東西吧？可以想到的是掛個 replication 出來跑一些 query，這樣不會影響到 production database 的效能，應該還行...
另外看了一下支援的演算法，主要是以經典的 ML 演算法為主，而且就是套用 Python 上面的套件：XGBoost 與 scikit-learn。
這些演算法算是很好用了，而且掛到 PostgreSQL 裡面會讓使用上方便很多 (少了倒資料的動作，不過就得小心處理 dirty data 了)，然後專案也附上一個 UI 界面可以看一些資料，不過我猜還是用其他生 visualization 的工具會比較豐富一點：
另外一個想法是拿來學習還不錯？老師在上課的時候拿來示範一些演算法，就不用自己再刻很多程式碼...
Related
在本機用 pip 直接安裝 PostgreSQL server
看到 PostgreSQL 官方站台上的介紹，可以直接用 Python 的 pip 指令安裝 PostgreSQL server：「Install a local, non-root PostgreSQL Server with Python "pip"」，專案在「postgresql-wheel」這邊。 照 GitHub 上面的說明跑了一下，還真的可以惡搞... 這樣如果真的要在 CI 裡面跑的話也簡單很多了？只要能 pip 裝軟體就能跟你拼 XDDD 也省掉需要設定一些權限跑 Docker-in-Docker...
September 2, 2021In "Computer"
PostgreSQL 10 發表
PostgreSQL 10 發表，有不少重要的功能 (進步)：「PostgreSQL 10 Released」。 首先提到的是 Logical Replication： Logical Replication - A publish/subscribe framework for distributing data 以往內建的 replication 是 block level change (同步哪個 block 改變的內容)，對於版本不同的 PostgreSQL 就會痛。所以在 10 之前，想要處理 PostgreSQL 版本不同的問題都會使用第三方套件 (一種常見的情境就是資料庫的版本升級)。在 10 內建支援 Logical Replication 後就不需要掛其他套件了： Logical replication extends the current replication features of PostgreSQL with the…
October 6, 2017In "Computer"
PostgreSQL 14 支援的 LZ4 壓縮
在 Hacker News 上看到 PostgreSQL 14 新支援的 LZ4 壓縮：「The LZ4 introduced in PostgreSQL 14 provides faster compression (fastware.com)」，在討論裡面反而有提到可以用 ZFS 的壓縮，這樣所有的資料 (包括 index) 都可以被壓縮： If you are using ZFS, I strongly recommend using LZ4 or ZSTD compression with PostgreSQL. Performance is still awesome. On average I get 2x compressionratio with LZ4…
November 10, 2021In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK