4

毕业设计-分布式存储?

 2 years ago
source link: https://www.v2ex.com/t/820935
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

V2EX  ›  程序员

毕业设计-分布式存储?

  taofoo · 1 天前 · 2077 次点击

又到了一年一度的毕业设计时间了。此次是本科毕业设计,想做一个系统涉及到文件存储(10MB 以内)。想上一个分布式的文件系统,直接用库感觉不大好,想自己实现一个简单的分布式文件系统作为支撑。各位怎么看?

28 条回复    2021-12-09 23:52:42 +08:00

taofoo

taofoo      1 天前

有啥难点或坑点吗?要是自己实现的话就做一个比较简单的分布式文件系统,忽略很多东西。

XiLingHost

XiLingHost      1 天前

CAP 打算选那两个的抉择

raaaaaar

raaaaaar      1 天前

mark ,我明年也准备写分布式相关的

fuis

fuis      1 天前   ❤️ 2

复杂程度取决于:
1. 丢数据是不是可以容忍的?如果可以容忍,那 journal 就不用了,奇怪的 case 也可以不测了
2. 支不支持多读多写?
3. 支持多少 POSIX 语义?
4. 元数据怎么组织,怎么存储?比如文件在哪个节点上,有几个 block ?
5. 怎么组织 block ?是直接写在盘上?还是用一下单机的文件系统?
6. 你需要一个 zk/etcd 之类的东西来帮助你做一个 ocfs DLM 类似物,还是用现成的 raft+leveldb 实现?还是说自己搓一个 raft ?

Akiya

Akiya      1 天前   ❤️ 2

10M 也要做成分布式。。。?没什么,就是有点离谱

lbp0200

lbp0200      1 天前

学校更看重和国家政策相关的技术,比如实现一套 MATLAB ,解决卡脖子的问题。

taofoo

taofoo      1 天前

@Akiya 不知道写啥,不想写管理系统了,吃力不讨好

Akiya

Akiya      1 天前

@taofoo 分布式存储的代码会比管理系统的 CURD 简单吗,如果是带着做分布式存储比较轻松的想法那还是别做了,光实现一个稳定的 Raft 都够吃力了

taofoo

taofoo      1 天前

@Akiya 不是说简单,而是说做了很多工作但都是很基础的虽然有一些亮点的地方。但是老师已经审美疲劳了

taofoo

taofoo      1 天前

@Akiya 确实单机也可以,不过也就是毕设而已。但是也就因为是毕设,想做个亮点吧。

taofoo

taofoo      1 天前

@fuis 目前还在看,如果难度大了,可能直接用现成的。还在和老师商量,说不定直接换题了😂

realrojeralone

realrojeralone      1 天前

《基于分布式文件存储和分布式 KV 存储的对象存储系统设计与实现》

dongcidaci

dongcidaci      1 天前 via Android

把 gfs 论文里的点实现一边就可以了

zxCoder

zxCoder      1 天前   ❤️ 1

《基于深度学习的分布式系统管理系统》

bz5314520

bz5314520      1 天前

data mesh

agdhole

agdhole      1 天前 via iPhone

《去中心化存储》

LeeReamond

LeeReamond      1 天前

《分布式存储---在每个设备上都存一份》

DiamondYuan

DiamondYuan      1 天前

可以看看 CRDT

aheadlead

aheadlead      1 天前   ❤️ 3

你弄这么 fancy 对你没啥好处,毕业设计弄个套路点的让老师也减轻点负担吧。
随便弄个图书管理系统,赶紧通过毕设,这不香吗…

万一到后期玩崩了,没做出来还有可能延毕,影响就大了。
想折腾啥自己空余时间慢慢折腾呗。

dayeye2006199

dayeye2006199      1 天前

这玩意儿自己可以成为一个项目了,如果做的精细点的化;
建议评估一下这个功能是不是会喧宾夺主,让 LZ 忘了自己原来要做的系统

wellsc

wellsc      23 小时 14 分钟前

@Akiya 10M 怎么就不能分布式了?

Juszoe

Juszoe      23 小时 13 分钟前

要不就直接专心做分布式存储。为了亮点而强行使用有些本末倒置了,答辩老师灵魂问题“你的系统为什么要使用分布式存储?”,如果答不上来这个“亮点”会被认作是无关痛痒的小功能。

zhengxiaowai

zhengxiaowai      21 小时 16 分钟前

不如做分布式 kv 存储还简单,只需要找一个 raft lib 和 leveldb/rocksdb ,一天就能撸完

vincent7245

vincent7245      18 小时 20 分钟前

hdfs 源码研究透了,你就可以直接去找大数据的工作了,去 TM 的毕业设计

cs419

cs419      15 小时 30 分钟前

工作中通常是 先把东西做出来, 然后再调优 。
先用现成的,功能实现后,再考虑换成自研的。

Kasumi20

Kasumi20      15 小时 29 分钟前

10MB ,何不直接做成 NFT ,存储在区块链上

Akiya

Akiya      11 小时 56 分钟前 via iPhone

@wellsc 10M 的数据拆成 3 份放三台机器是吧,说实话开个网盘备份都比这个有意义

wellsc

wellsc      9 小时 7 分钟前 via iPhone

@Akiya 您得看这是什么数据呢

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK