ClickHouse 自家做的 benchmark 比較
source link: https://blog.gslin.org/archives/2022/07/15/10803/clickhouse-%e8%87%aa%e5%ae%b6%e5%81%9a%e7%9a%84-benchmark-%e6%af%94%e8%bc%83/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
ClickHouse 自家做的 benchmark 比較
在「Show HN: A benchmark for analytical databases (Snowflake, Druid, Redshift) (clickhouse.com)」這邊看到 ClickHouse 自家做的 benchmark 比較，網站在「ClickBench — a Benchmark For Analytical DBMS」這邊。
這種 benchmark 基本上是拿來當作清單來看，另外 Hacker News 上的討論一定得看，尤其是沒被列上 benchmark 的...
講到 ClickHouse，先前是有朋友跑來說他有個需求是需要跑分析，但遇到用 PostgreSQL 時發現寫入速度不夠快的問題，看看有沒有什麼方法可以解。問了多一點以後發現他的需求是 OLAP 類而不是 OLTP 類，就先跟他講要去找 OLAP engine 來解決。
然後就聊到維基百科上「Comparison of OLAP servers」這個條目，裡面列出來的 open source 軟體是不少，但 Apache 家基本上大家都知道是回收場，裡面就剩下 ClickHouse 比較常在 Hacker News 以及其他地方被提到，但我有跟他講我連玩都沒玩過，我們家自己反而是用 Cassandra 與 Trino 搭出來的，當時沒有花太多時間研究市場上的方案，就挑了一個自己熟悉的方案趕快先解決。
但過了兩天後他就說用 ClickHouse 解決了，反而讓我對 ClickHouse 有興趣起來，反正記憶體當時裝了一堆沒用到。
拉了一下「Summary of the 1.1 Billion Taxi Rides Benchmarks」這邊的資料看，這個作者常常會測各種資料庫，算是一個可以參考的資料來源，可以看到 2019 年測的「1.1 Billion Taxi Rides: 108-core ClickHouse Cluster」其實就相當不錯了？
基本上先照「Usage Recommendations」這邊看一輪，基本的要求不低，但剛好機器是 32GB RAM：
If your system has less than 16 GB of RAM, you may experience various memory exceptions because default settings do not match this amount of memory. The recommended amount of RAM is 32 GB or more. You can use ClickHouse in a system with a small amount of RAM, even with 2 GB of RAM, but it requires additional tuning and can ingest at a low rate.
如果要跑 cluster 模式的話會需要 ZooKeeper 或是替代品 ClickHouse Keeper。
然後除了使用官方的 clickhouse-client 連線以外，也可以用 MySQL 或是 PostgreSQL 的 client 連，裡面操作其實蠻簡單的，好像值得投資看看？
Related
GCP 推出 AlloyDB，一套相容 PostgreSQL 協定的資料庫服務
也是在清 RSS reader 的時候翻到的，看起來是在今年的 Google I/O 上發表的服務，AlloyDB：「AlloyDB for PostgreSQL under the hood: Intelligent, database-aware storage」，值得提的是這篇有中文版可以看：「適用於 PostgreSQL 的 AlloyDB 隆重登場：從此擺脫成本高昂的老舊資料庫」。 另外還有一篇比較偏 PR 的文章也可以看看：「Introducing AlloyDB for PostgreSQL: Free yourself from expensive, legacy databases」，這篇就比較針對的提到了與 AWS 的服務相比，但畢竟是 PR 稿沒有明講 (出事會比較好打模糊戰)，但我猜測是與 Aurora 對比： AlloyDB was also two times faster for transactional workloads than Amazon’s comparable…
May 26, 2022In "AWS"
Python 3.11 (目前還是 beta) 的效能大幅進步
在 Hacker News 上看到「Python 3.11 Performance Benchmarks Are Looking Fantastic」這篇，提到目前還在 beta 的 Python 3.11 效能已經比 Python 3.10 有大幅進步了： Python 3.11 is 10~60% faster than Python 3.10 according to the official figures and a 1.22x speed-up with their standard benchmark suite. HN 上對應的討論在「Python 3.11 Performance Benchmarks Are Looking Fantastic (phoronix.com)」。 從比較簡單的…
June 7, 2022In "Computer"
無名 Blog 匯出成 MT 格式
給不想看下面說明的人：備份服務的網址是 http://backup.hasname.com/blog/wretch/。 注意：這項服務還有一些小問題，有可能隨時都在改 code。 2006/10/05 20:54 更新：現在的版本會多開幾條連線平行化處理，下載的速度應該會快很多。 2006/10/05 17:30 更新：現在下載的檔名會是 backup-${username}.txt 了，這樣應該比較方便。 雖然在去年六月的時候為了幫 ashley 大姊姊 (a.k.a. 電視兒童) 從 無名 跳出來而用 Perl 寫了一個小程式，將 無名 Blog 上的文章匯出成 RSS 2.0 格式，再匯入 WordPress 裡。後來這個小程式就再加強一下，寫了一個網頁並公開出來 (參考 無名小站的 Blog 與 Album 備份及還原服務 這篇文章)，並且希望 無名 提供更完整的匯出及匯入服務。 後來 養樂多 (Yam Roodo) 的 Blog 服務 提供 MT 格式 的匯出與匯入，而國外…
October 4, 2006In "Blog"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK