rt... 头发快掉完了
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2539 days ago, the information mentioned may be changed or developed.
Supplement 1 · Nov 26, 2019
现在的场景是原表数据 4 亿，我分表 100 张，打算停服将数据打散
开了 40 个 go 协程，每个协程根据主键 id 划分，每个捞 1000w，分 100 次，每次捞 10W。
捞完 10W 的数据取模分组，批量插入到对应的表中。
这样方法，1E 用了 40 分钟，2E 用来 2 小时 30 分钟。
在想先把索引砍掉，迁完数据再建索引，大概能快多少？
开了 40 个 go 协程，每个协程根据主键 id 划分，每个捞 1000w，分 100 次，每次捞 10W。
捞完 10W 的数据取模分组，批量插入到对应的表中。
这样方法，1E 用了 40 分钟，2E 用来 2 小时 30 分钟。
在想先把索引砍掉，迁完数据再建索引，大概能快多少？
Supplement 2 · Nov 27, 2019
嗯，脚本已经很快了，DB 被我跑挂了，瓶颈应该在磁盘 IO 上..
 |
opengpsNov 25, 2019 via Android
1
4 亿的体积是多大
|
 |
MinQNov 25, 2019 via Android
2
spark 应该可以吧
|
 |
lihongjie0209Nov 25, 2019
4
计算一下 io 速度不就知道了吗
|
 |
mengzhuoNov 25, 2019
5
很简单啊，分而治之
先测一台实例能承接多少 qps，能不能分库。 假设数据平均的话，400M/4/100/3600 ≈ 277 qps 而已 |
|
mengzhuoNov 25, 2019
6
insert 太慢的话，可以接受的话，索引先全关掉，然后再建
|
 |
7
@lihongjie0209 怎么计算？
|
 |
dr1q65MfKFKHnJr6Nov 25, 2019
9
分库？ 同时做数据同步？
|
 |
chengran630Nov 25, 2019
11
如果是阿里云 可以买个临时服务器 上 essd，最高配置（配置越高 磁盘速度越高）
|
 |
dusuNov 25, 2019 via iPhone
12
1. 关所有 log/binlog
2. batch insert 3. 多进 /线程 4. tmp 目录指 /dev/shm 目录 5. 上 ssd 插入速度取决于你的硬盘读写速度。 4e 问题不大 |
 |
jugeliziNov 25, 2019
13
可以 不要用 insert 直接用 mysql 组装数据
|
 |
csunnyNov 25, 2019
14
bigquery
|
 |
husinhuNov 25, 2019 via Android
15
load data infile
|
 |
liuzhaowei55Nov 25, 2019 via Android
16
方便的话可以说一下具体的场景啊，有可能并不需要一匹跑的更快的马，而是需要一部电话。
|
 |
66450146Nov 26, 2019
17
按照数据的类型想出一个分类手段让数据能够大致平均分成四份（例如按照 timestamp 最后两位 mod 25 ），然后创建四个 view
|
 |
fluorinedogNov 26, 2019 via Android
19
这需求闭着眼睛写啊.... sort by hash value, 然后直接 select 出来
|
 |
JunoNinNov 26, 2019 via Android
20
我感觉如果是 insert 到 4 个库里。。磁盘的 io 是瓶颈
|
 |
realpgNov 26, 2019
21
数据库总占用空间多大？
要是一条记录没多大，那这任务非常简单了。。 盘足够快就完事。 比这数据量还大的物理库上云我都搞过 |
|
realpgNov 26, 2019
22
之前做的一个项目
MYSQL 5.x，11 亿条数据，数据量不均衡的分布在 47 个表（有的表只有几万条记录，不均衡分布），数据库文件大小 148GiB，数据以 int bigint 类型居多 导出 sql 文件，然后到新服务器导入大约 20 分钟。 新服务器是自建私有云，IPSAN 后端存储+NVME 本地缓存 |
|
25
|
 |
artandlolNov 26, 2019 via Android
26
没有 ssd 程序再快也白搭
|
Select Language