mysql 单表即将上 2 千万数据存授权的性能跟不上了怎么优化

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 1694 天前的主题，其中的信息可能已经有所发展或是发生改变。

存商品授权的每个门店对应每个商品的授权现在有 8000 多商品 7000 多家门店目前已经有 1800 多万条数据了要怎么破即将到性能瓶颈了

授权

商品

门店

MySQL

43 条回复 • 2020-05-10 14:20:44 +08:00

zoharSoul

2020-05-08 18:26:18 +08:00

加钱呗
阿里云 rds 4c8g 的我试过单表 2 亿多数据,
单表查询没啥压力

cominghome

2020-05-08 19:49:44 +08:00

@zoharSoul 4c8g 能搞 2 亿行？这么猛的吗？还是说字段少？

Nitromethane

2020-05-08 20:03:13 +08:00

数据同步到 ES 一份，读请求走 ES ；

peyppicp

2020-05-08 20:08:40 +08:00

按照门店 id 分库分表，水平拆分到 101 个库里，表变为逻辑表，单表 18w 数据

wqhui

2020-05-08 20:19:54 +08:00

分表呗，读频繁的话就做主从读写分离或者用缓存

opengps

2020-05-08 20:39:56 +08:00 via Android

表分区，分表，分库，集群
就这么个优化路线

sagaxu

2020-05-08 20:41:40 +08:00 via Android

才 2000 万就慢，分表没用

CStarter

2020-05-08 23:36:48 +08:00

@peyppicp 101 个库？

vinsa

2020-05-09 01:16:05 +08:00

才 2KW 数据怕啥，分个区就好了，还能上个 10 倍，主键查询瞬回。

sonxzjw

2020-05-09 08:15:55 +08:00

简单，分表分库

yc8332

2020-05-09 08:48:19 +08:00

这种东西存下来后面不都是走缓存的吗

pmispig

2020-05-09 09:12:09 +08:00

上 ssd,上好的 ssd,换 cpu 换主频高的 cpu

fareware

2020-05-09 09:34:08 +08:00

2kw 慢不是硬件或者设计问题吗？

mymike

2020-05-09 09:56:25 +08:00

根本没必要分库分表 ES，硬件性能与配置可能需要调整下，其实单机上亿没有丝毫问题

fengya68

2020-05-09 10:12:44 +08:00

@zoharSoul 有道理现在表结构是 MyIsam 有必要转 InnoDb 吗

fengya68

2020-05-09 10:14:19 +08:00

@mymike 商城类就怕延迟高,现在有时候就会卡一下看来优化还有很长的一段路

zoharSoul

2020-05-09 10:14:47 +08:00

@fengya68
看你查询逻辑了.
一般来说可以转

zoharSoul

2020-05-09 10:16:35 +08:00

@cominghome 字段比较少就 10 多个吧.
合理的索引 + 相对简单的查询..
现在 mysql 的性能超乎你的想象...

别听那些讲面试的瞎几把扯淡,几百万就分库分表很多时候是纯粹给自己加戏.

encro

2020-05-09 10:19:16 +08:00

所有的 mysql 慢问题的三个常规操作：
1，慢日志；
2，慢日志分析工具；
3，explain ；

kiddult

2020-05-09 10:21:59 +08:00

@fengya68 卡一下多半和 mysql 没啥关系，查一下慢日志，100%有人查询没走索引瞎操作了

xuanbg

2020-05-09 10:22:43 +08:00

难道每个门店都是专有的商品？看着也不像啊，1700 门店才 8000 种。应该是大部分商品所有门店都有，小部分商品某些门店专有吧？

如果这样的话，可以给权限分级别啊。譬如分为：公共、分组、门店这么几个级别。公共的就是所有门店都能访问；分组的就是要有组权限的才能访问，组权限就是给门店分组，按分组授权；门店的就是指定门店才能访问，和你现在的做法一个样。这样你的权限关系表就能缩减几百倍的数据。我估计有个几万行就足够了。

leonidas

2020-05-09 10:30:05 +08:00

常规操作索引优化长远考虑还是的话水平拆分吧

encro

2020-05-09 10:44:32 +08:00

@xuanbg

分权不如直接店铺对商品快。因为还有排序等附加信息吧。

这里面其实是主表要做好，主表只能是关联表。。

select p.name from shop_product sp, product p where sp.shop_id=xxx and sp.product_id=p.id limit 100;

如果 sp 的 shop_id 建立了索引，那么几千万数据，还是毫秒级的。

什么？还在用 MyIsam ？难道非常享受断电之后 repair 的过程？

encro

2020-05-09 10:49:48 +08:00

@zoharSoul

阿里云上数据库，最低配置一年 2 千那种，最大的表存着 2 亿，感觉还可以拼一拼。