8

MySQL 1000 万数据如何最快全量迁移？

 2 years ago
source link: https://www.v2ex.com/t/807075
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
MySQL 1000 万数据如何最快全量迁移？

V2EX  ›  MySQL

MySQL 1000 万数据如何最快全量迁移？

  blue7wings · 14 小时 42 分钟前 · 1446 次点击

自建的数据库(大概 1000 万条数据，2M 带宽)，现在想迁移到阿里云的 RDS 上，如何用最少的时间迁移过去？

用了阿里云的数据迁移服务 DTS，非常的慢，而且一度把源服务器上的带宽占满，导致整个网站挂了。

问一问，大家有没有比较好的解决方法呢？

16 条回复  •  2021-10-12 04:42:33 +08:00

taobibi

taobibi   14 小时 37 分钟前

虽然没解答，水 1 楼
https://v2ex.com/t/806269
我这边要迁移几千万个图片现在还在犯愁中

blackeeper

blackeeper   14 小时 32 分钟前

在阿里云的服务器上建一个从库，怎么迁移都没问题，又不影响你自建的主库

xiao109

xiao109   14 小时 27 分钟前

本地先切成小库，再分批迁移过去

blue7wings

blue7wings   14 小时 20 分钟前

@blackeeper 建立一个从库，历史数据还是要导入过去的吧，我现在想直接把这部分数据导入过去就可以了。

blackeeper

blackeeper   14 小时 14 分钟前

@blue7wings 你这个问题就是限速，避免影响现有的服务呗。你可以导出 SQL，然后压缩、用 rsync 限速传输到阿里云服务器就可以了

myd

myd   13 小时 35 分钟前

1. 导出 SQL 文件
2. 导入到新库
3. 配置主从（新库为从库）
4. 等到主从延迟为 0 的时候，停掉业务服务器
5. 应用这边切换数据库到新库
6. 启动业务

Xusually

Xusually   13 小时 10 分钟前

1 、做好方案，操作顺序捋清楚。
2 、临时升级带宽到满足迁移需要。
3 、迁移。
4 、带宽回退到 2M 。

花不了多少钱。

gengchun

gengchun   11 小时 51 分钟前

PB 一级的话，可以考虑阿里的离线迁移服务。比这小的话，其实可以试试看。最少也要几 TB 吧。

当然，没有到 TB，还是直接升带宽吧。

defunct9

defunct9   11 小时 7 分钟前 via iPhone

很简单啊，做主从。慢慢来就行了

netnr

netnr   10 小时 51 分钟前 via Android

开一台同区域的临时宽带按量计费的机子，再做端口转发

bing0

bing0   10 小时 49 分钟前

添加一块网卡 1G，好像可以找客服申请 5G 口，按量付费，迁移完后删除。

moult

moult   10 小时 41 分钟前

自建的数据库的服务商有没有云存储卖？有的话继续往下看。
导出 SQL 文件 - 打压缩包 - 通过内网传输到云存储上 - 开一台阿里云的按量付费实例 - 下载 SQL 压缩包 - 解压 - 通过内网导入 RDS
整个过程一小时肯定能搞定，因为云存储服务可以按流量计费，基本都不限速的。

Felldeadbird

Felldeadbird   9 小时 10 分钟前

内网迁移，服务器高度写 1000 万数据很快就完成了。 当然，不知道你 1000 万数据有什么内容。5G SQL 文件服务迁移大概 10 分钟完成。

bybyte

bybyte   6 小时 13 分钟前

helloworld000

helloworld000   6 小时 3 分钟前

直接邮寄硬盘

Junzhou

Junzhou   2 小时 9 分钟前 via iPhone

备份，然后 srync 或者临时带宽升级

关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1065 人在线   最高记录 5497   ·  

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 15ms · UTC 22:51 · PVG 06:51 · LAX 15:51 · JFK 18:51
♥ Do have faith in what you're doing.


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK