Apple 使用 Cassandra 的量
source link: https://blog.gslin.org/archives/2022/10/12/10917/apple-%e4%bd%bf%e7%94%a8-cassandra-%e7%9a%84%e9%87%8f/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Apple 使用 Cassandra 的量
Hacker News Daily 上看到的：「Cassandra at Apple: 1000s of Clusters, 300k Nodes, 100 PB (twitter.com/erickramirezau)。原文在 Twitter 上：
Wait for it... @Cassandra 👁️ at @Apple 🍎 = thousands of clusters + 100s PB of data + 300K nodes + millions of QPS. @cscotta teases the audience @ApacheCon with the size of their environment. 🔥#ACNA2022 #ApacheCassandra pic.twitter.com/ZiBIleaDL9
— Erick Ramirez (@erickramirezau) October 6, 2022
有些數字有點對不太起來，裡面提到 300K nodes + millions of QPS，但通常讀寫都算 QPS，這樣聽起來很少？所以有種可能這邊是只有算 read 的部份...
另外照片裡面提到 Over two petabytes per cluster，但有 thousands of clusters，最後卻只有 Hundreds of petabytes of data，完全對不上，就算當作平均值來算也對不上，只能猜測是最大的 cluster 而不是 per cluster。
裡面矛盾的地方太多，所以這些數字基本上沒有參考價值，現在能讀出來的只知道 Apple 有在用 Cassandra，然後不是少少幾台 PoC 等級的使用。
Related
ScyllaDB 1.7 要支援 Cassandra 的 Counter 了
Counter 是 Cassandra 裡一個特別的資料型態，總算是要 porting 進 ScyllaDB 了：「Scylla 1.7 introduces experimental support for counters」。 由於資料結構的特殊性，在文章裡有提到想像得到的限制： once deleted, counter column value cannot be used again—this is a consequence of the fact that counters can only be incremented or decremented, they cannot be set to any specific value a table cannot contain…
April 5, 2017In "Computer"
Instagram 解決 Cassandra 效能問題的方法
在解決 Cassandra 效能問題中大概就 ScyllaDB 特別有名，用 C++ 重寫一次使得效能大幅改善。而 Instagram 的人則是把底層的資料結構換掉，改用 RocksDB (這公司真的很愛自家的 RocksDB...)：「Open-sourcing a 10x reduction in Apache Cassandra tail latency」。 主要原因是他們發現 Cassandra 在處理資料的部份會有 JVM 的 GC 問題，而且是導致 Cassandra 效能差的主要原因： Apache Cassandra is a distributed database with it’s own LSM tree-based storage engine written in Java. We found that the components…
March 9, 2018In "Cassandra"
從 Cassandra 到 ScyllaDB 的轉移方式好像跟以前不太一樣了...
在「New Docs: Four Phases to Migrate from Apache Cassandra to Scylla」這邊看到 ScyllaDB 官方提供 Cassandra 轉移到 ScyllaDB 的說明，跟以前好像差蠻多的... 以前 ScyllaDB 可以直接加入到 Cassandra 的 cluster (一時間沒找到資料，但在「can not add node with cassandra ami · Issue #107 · scylladb/scylla-cluster-tests」可以看到當時的痕跡)，現在給的方法是在資料庫不相容時的轉移方式 (像是從 MySQL 轉換到 PostgreSQL 這種)，是暗示已經沒辦法這樣做了嗎？ 不過從 GitHub 上的 wiki page 看起來，底層資料與 protocol 應該還是相容的，才能做直接複製資料的 offline migration：「Migrating…
November 14, 2017In "Cassandra"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK