千万级业务台账存储架构全景:如何从业务特征推演 MySQL、TiDB、KV 与 ES 的选型边界
千万级业务台账存储架构全景:如何从业务特征推演 MySQL、TiDB、KV 与 ES 的选型边界
TL;DR 谈存储选型,脱离数据规模、查询模式、写入特征、并发量级这四个前提,本质上就是在背八股文。
本文基于一个真实的千万级金融风控查询台账(全量历史 1000 万~6000 万行 + 数 TB 级风控决策大报文,夜间 T-1 同步、白天只读查询)的落地与压测复盘,完整推演架构师在面对复杂存储需求时,如何一步步做排除法与组合拳:
- 第一刀(轻重分离):把几十 KB 的大 JSON 报文摘出关系型表,防止冲垮 Buffer Pool;
- 第二刀(列表引擎推演):拆解 MySQL、分布式 Key-List、TiDB、Elasticsearch 与列存引擎的底层结构,搞懂为什么没有固定分片键时传统分库分表会失效;
- 第三刀(并发量级定乾坤):算清 20 人内部后台与万人高并发公网系统在 CPU 时间片上的本质分水岭。
📚 本篇为《千万级业务存储架构与实战》系列第 1 篇(总纲篇),后续三篇将分别深入具体引擎的底层细节与代码落地:
- 第 1 篇(本文):存储架构全景与选型边界推演(总纲)
- 第 2 篇:单机 MySQL 扛下千万级台账任意翻页——宽覆盖索引、延迟关联与尾页反转实战
- 第 3 篇(待更):从 LSM-Tree 到列表引擎——分布式 KV 与 Key-List 的底层原理及「索引回表」设计模式
- 第 4 篇(待更):当数据与并发突破单机极限——深度拆解 TiDB 无分表键全局索引与 ES 位图检索
📌 本文要点
- 先拆体积再选型:几百字节的结构化账务字段与几十 KB 的决策大报文混在一张表里,99% 的磁盘和缓存都在为平时不看的大字段买单。
- KV 与 Key-List 的本质差异:分布式 KV 的 Value 是服务端看不懂的黑盒字节流,只适合主键点查;某类定制的分布式 Key-List 是强 Schema 白盒模型,能把过滤排序下推到存储节点,但必须必传外层分片 Key,不支持无主 ID 的后台全局检索。
- 为什么传统分库分表救不了管理后台:十几个筛选项全部可选时,无论按客户 ID 还是按时间分表,不带分表键的查询都会退化成全分表广播扫描 + 跨表归并排序灾难。
- 不盲目上分布式,也要看懂真实瓶颈:在 20 人内部后台下,单机 MySQL 靠「宽覆盖索引(二级索引全扫,消灭回表)+ 尾页反转 + 外层只回表一次」能把列表取数压到 7ms,但精确
COUNT(*)依然要扫完索引花掉 ~90ms。 - 高并发系统的真正瓶颈是 CPU 线性遍历:覆盖索引消灭了磁盘随机回表 IO,但没有消灭内存索引遍历。到了万人高并发公网场景,必须切到强制主 ID 路由或 ES 位图求交集,并在交互上砍掉精确
COUNT(*)和任意跳尾页。
一、真实的业务命题:一个看似普通却暗藏三颗雷的台账系统
先交代清楚我们的业务约束(以下数据与表结构已做脱敏处理)。
我们要搭建一个给风控、运营、客诉团队使用的信贷全链路查询台账系统,数据全部由离线数仓在夜间 T-1 批量同步写入,白天线上只提供多条件筛选、列表分页、详情查看与批量导出。虽然前端默认查询近 2 年活跃数据(数百万到千万级),但业务要求支持回溯全部历史记录,因此存储架构必须按全量存量规模来兜底:
| 核心业务模块 | 全量历史行数 | 单行特点 | 核心查询诉求 |
|---|---|---|---|
| 借据信息台账 | ~1000 万行 | 约 30 个结构化账务字段 | 按单号/客户/时间/状态/资方/金额/定价区间筛选 |
| 用信申请台账 | ~3000 万行 | 账务字段 + 决策出入参大报文 | 同上,且详情页需展示与下载数千个风控决策变量 |
| 授信申请台账 | ~6000 万行 | 账务字段 + 决策出入参大报文 | 同上,数据量最大,查询条件全部可选 |
需求评审会上产品提了几个很常规的要求,但合在一起直接埋下了三颗技术炸弹:
- 第一颗雷:轻重极度不均,全量体积破 TB
列表展示用的字段(单号、金额、利率、状态、资方、时间等)加起来每行只有 300 字节左右;但每笔授信/用信在风控审批时都会产生一份包含几千个特征变量的出入参 JSON,哪怕做完 Gzip 压缩仍有 7KB ~ 63KB。几千万行全部塞进关系型数据库,光大报文就能吃掉 2TB 以上。 - 第二颗雷:没有固定查询锚点(无 Sharding Key)
列表页提供了十来个筛选项——借据号、客户 ID、放款时间、金额区间、利率区间、客户类型、资方、期限、状态……而且全部可选。用户打开页面时经常不填客户 ID,直接按「状态 + 利率区间」或者什么条件都不选就开始翻页。 - 第三颗雷:支持任意深翻页与「一键跳尾页」
运营和风控人员习惯像看 Excel 一样使用分页器,经常直接点击页码栏最后的「尾页」,把几百万条结果集直接翻到最后一行。
面对这种场景,如果一拍脑袋说「直接全塞 MySQL 分表」或者「直接全上 Elasticsearch」,上线后大概率都会踩大坑。下面我们顺着四步推演,把每个组件为什么用、为什么不用拆解清楚。
二、第一刀:轻重分离——先把 TB 级大报文从关系型表里摘出去
做存储架构设计的第一个动作,永远不是选哪个分布式数据库,而是把不同访问频率和体积的数据拆开。
1. 为什么几百字节的列表字段不能和 50KB 报文住在一张表?
MySQL InnoDB 的最小缓存与磁盘读写单位是 16KB 的数据页(Page)。
如果把 50KB 的决策 JSON 直接塞在主表里,InnoDB 聚簇索引每页只能放很少的数据并触发大量溢出页(Off-page BLOB)。带来两个毁灭性后果:
- Buffer Pool 缓存被冲垮:原本 16GB 内存能把千万级活跃索引与主表轻量字段全装下;一旦混入 2TB 报文,每次非索引过滤回表都在把冷门大字段从磁盘换入内存,热点页被疯狂踢出。
- 日常 99% 的查询在为 1% 的需求买单:用户在列表页翻看 100 页,根本不会点开每一行的决策入参报文;只有精准锁定某笔问题单后,才会点一下「查看决策详情」。
因此,第一刀必须把架构拆成两层:
- 第一层(结构化列表层):只留 300 字节/行的轻量标量字段,千万行数据仅 3~5GB,负责高效率筛选、排序、分页和导出。
- 第二层(大报文详情层):把 20~60KB 的决策出入参彻底剥离,以
业务单号为 Key 独立存放。甚至在入库前先按「只保留展示变量清单 + Gzip 压缩」裁剪,体积还能再砍掉 70% 以上。
2. 大报文详情层选谁:对象存储 OSS、MySQL 分表还是分布式 KV?
大报文从主表摘出来以后,只剩下一类极其纯粹的访问模式:按唯一单号做点查(Get),完全不需要条件筛选。这时候选方案只有三个:
| 候选方案 | 核心原理 | 单笔 7~63KB 场景下的表现 | 选型结论 |
|---|---|---|---|
| 对象存储(OSS) | HTTP 对象存储,单 GB 成本最低 | 为几十 KB 的小文本每笔发一次独立 HTTP 写请求,离线批量写入吞吐慢;虽然存储最省钱,但读写太重 | 适合单对象 MB~GB 级或超大规模冷归档,小报文性价比不高 |
| MySQL 哈希分表 | 按 CRC32(单号) % 16 分成 16 张独立表 | 运维最省心,适合早期几十万~几百万量级或仅存精简后(几 KB)重点变量的过渡阶段;但取模分表有个硬坑:%16 扩到 %32 会让一半历史 Key 路由漂移,要么停服/双写迁移,要么在主表行上显式固化分表号 | 前期轻量落地首选;单库总量破 TB 后磁盘成本、DDL 维护与扩容成本变重 |
| 分布式 KV(RocksDB) | Proxy 哈希路由 + 主从多副本 + LSM-Tree 引擎(顺序写 WAL + 内置 LRU Block Cache) | 完美吃透 256KB 以内的小对象;生产内网常见延迟可达亚毫秒级(0.1~0.3ms);支持按单条设置 TTL;天然无 Redis+MySQL 缓存一致性问题 | TB 级小报文详情的终极首选(注意离线批量写入必须做 QPS 限速,避免打满线上读) |
💡 工程细节:无论详情层选分布式 KV 还是 16 分表,离线同步时一定要遵循「先写大报文层、后写列表层」的顺序。只要列表页能查出来的单子,点详情就 100% 已经落盘,避免出现“列表查得到、点详情 404”的时序割裂。
三、第二刀:多条件列表层推演——为什么传统分库分表走不通,主流引擎怎么选?
搞定了大报文,现在压力全部集中到第一层(千万级结构化列表)。
这个列表有十几个全部可选的筛选条件、没有必传主 ID、还要支持任意深翻页。市面上主流的五类技术底座(关系型、定制 Key-List、分布式 NewSQL、搜索引擎、列存 OLAP),先看一张四大引擎的底层存储结构对比图——看懂了底层数据是怎么摆在磁盘和内存里的,选型答案自己就浮出来了。
1. 为什么传统 MySQL 分库分表最先被淘汰?
很多老系统遇到千万级大表第一反应就是上 Sharding-JDBC 或按取模拆 16/64 张表。
但分库分表有一个铁律:必须存在一个几乎所有查询都必带的路由字段(Sharding Key),比如 user_id。而在我们的管理后台里,运营经常不填客户 ID,只勾选「借据状态 = 逾期 AND 放款资方 = 某银行 AND 定价 >= 18%」。
一旦不带分表键,分了 64 张表就意味着每一次查询、每一次 COUNT(*)、每一次翻页,都要同时向 64 张分表广播 SQL。如果翻到第 1000 页(每页 10 条),每张分表都必须查出前 10000 条送回应用内存合并排序再丢掉 9990 条——这就是典型的跨分表归并排序灾难,延迟和内存开销会瞬间失控。
2. 为什么定制的分布式 Key-List 模型也不行?
熟悉大厂底层基建的同学可能会想到另一种利器——基于 RocksDB 封装的分布式 Key-List 列表存储模型(行业里部分大厂会自研此类组件与分布式 KV 配套使用,对外不具通用开源产品形态,此处只拆解其数据模型与适用边界)。
我们在第 3 篇会详细拆解它,这里先说它和普通 KV 的本质区别:
- KV 是黑盒:Value 就是一坨二进制字节流,服务端不知道里面有什么字段,想过滤只能全拉回 Java 内存。
- Key-List 是白盒:建表时定义强 Schema(如
state、price、addDate),服务端能直接看懂每个 Item 里的字段,把多条件过滤、动态重排和异步二级索引下推到存储节点执行,经典用法是「Key-List 存几十字节轻索引筛出 ID +mGet回 KV 库拿详情」。
那这么强为什么不用它存借据和用信列表?看图 2 右上角就明白了:Key-List 的路由同样强依赖必须传入外层主 Key(例如按 userId 哈希定位到某个分片节点,再扫该用户下面的发帖列表)。
- 它解决的是「某一个主 ID 下挂载了几千上万条子记录」的高并发筛选(如房产经纪人后台查自己名下的 5000 套房源)。
- 而我们的台账一是不传主 ID 就要查全表,二是单个借款人名下也就几笔借据,完全不匹配 Key-List 的数据模型。
3. TiDB:无分表键超大规模表的标准答案
当单表超过单机容量上限(经验参考阈值约 5000 万行,具体取决于行宽、索引数量与机器配置)甚至达到数亿行,又没有分表键、不想自己做分库分表时,TiDB(计算存储分离的分布式 NewSQL)是最平滑的升级路径。
很多同学好奇:没有分表键,1 亿行数据分散在多台机器上,TiDB 凭什么不用扫全集群?
看图 2 左下角:TiDB 把「表行数据」和「每一个二级索引」彻底拆开了。在 TiKV 存储层里,没有表文件的概念,所有数据都被编码成有序 KV 并按每 96MB 自动切成一个分片(Region):
- 主键行数据(
t_r_主键ID)被切成几百个 Region; - 二级索引(
t_i_状态_时间_主键ID)自己也被独立切成几十个 Region!
当你按「状态 = 逾期 + 时间范围」查询时,TiDB 先精准定位到存着这一小段索引的 1~2 个索引 Region,顺序读出当前页的 20 个主键 ID,再并发去行数据 Region 做一次 Batch Get 回表。甚至遇到没有索引的宽条件做统计时,还能把过滤和 COUNT 算子直接下推(Coprocessor)到所有存储节点本地并行执行后汇总。
它唯一没能立刻取代单机 MySQL 的原因也很现实:工程与延迟账。事务写与点查依赖 PD 分配全局时间戳(TSO,客户端会按批预取),且需要跨网络读写 Raft 多副本,简单点查基础延迟通常在毫秒级(常见 2~10ms,高于同机房单机 MySQL),且高并发写必须避开连续自增主键(需改用 AUTO_RANDOM 防尾部分片写热点),集群运维门槛也明显更高。在单机 MySQL 就能轻松覆盖的量级下,优先用运维体系最成熟的 MySQL 更稳。
4. Elasticsearch:高并发自由组合检索的利器,但也是把双刃剑
再看图 2 右下角:如果只谈查询灵活性,Elasticsearch(ES)几乎是无敌的。
它不依赖联合索引的「最左前缀」,而是给每个字段在磁盘上建独立的索引(文本/枚举走倒排索引,数值/时间范围走 BKD 树),并在内存中把热点筛选条件的结果按需懒加载成 Roaring Bitmap 压缩位图(稠密区间下 1 条记录仅占 1 个 bit,稀疏时退化为紧凑整型数组)。多个宽条件组合查询时,CPU 一条 64 位指令就能同时对 64 条数据做按位与(AND)求交集,毫秒级算出结果;若遇到带精确主 ID 的条件,则自动切回最小集合驱动的蛙跳算法(Leapfrog)。
更妙的是,我们的业务特征是「T-1 夜间批量写入、白天纯只读」——这恰恰完美绕开了 ES 在实时交易场景下的两大死穴(写后 1 秒 NRT 可见性延迟、频繁 Update 产生大量段碎片拖慢性能)。白天底层 Segment 一整天不变,ES 内存里的 BitSet 位图缓存可以一整天 100% 复用。
那为什么第一版我们依然没有立刻上 ES?主要卡在三笔账上:
- 任意跳尾页的红线:ES 默认硬性限制
from + size <= 10000,如果前端分页器支持直接点第 8500 页或第 10 万页,ES 会直接报错; - 双写与对账复杂度:还款计划、配置字典、操作审计表仍然必须在 MySQL,引入 ES 意味着夜间同步要维护「MySQL + ES」异构双写与数据一致性对账;
- 物理内存成本:ES 虽然不是把全部索引放进 JVM 堆内存,但极其依赖操作系统页缓存(OS Page Cache),通常要求机器一半物理内存留给系统缓存,机器成本显著高于单机 MySQL。
5. 补充一问:为什么不上 ClickHouse / Doris 等列存引擎?
评审时常有人问:既然是「千万级宽表 + 十几个可选条件 + 导出」,为什么不直接上 ClickHouse 或 Doris 这类列存 OLAP 引擎?
列存引擎把同一列的数据连续压缩存放,做全表 SUM/GROUP BY 聚合和大范围扫列确实极快,但它并不匹配台账系统的主库诉求:
- 高并发小翻页与单行重构代价高:列存按列块(Granule)压缩,哪怕列表页只取 10 行数据的 30 个字段,引擎也要拆开 30 个列文件解压拼装,并发一高磁盘和 CPU 放大非常明显;
- 点查与更新弱、链路更重:台账系统还有权限字典、审计记录、状态更新等事务表留在 MySQL,引入一套 OLAP 列存意味着额外维护 CDC/ETL 同步和一致性校验。在 20 人后台、单机 MySQL 已经能轻松兜住的前提下,没必要为了“看起来像分析场景”去背这套架构债。
6. 回到原点:单机 MySQL 到底能不能抗住千万级内部台账?
于是我们回过头重新审视单机 MySQL——答案是:只要看清「回表随机 IO」和「深分页空扫」的代价并用对索引,单机 MySQL 完全扛得住低并发内部台账,但真实瓶颈会诚实地转移到 COUNT(*) 上。
先看两组我们在测试环境不同数据规模下的真实压测对照:
- 改造前(50 多万行表、仅建单列时间索引
idx_lend_time):一旦用户在页面上输入未建索引的「借据余额 + 年化定价区间」并往后翻页,优化器预计走时间索引要回表过滤几十万次,直接放弃索引退化成type = ALL全表扫描 +Using filesort,单次翻页体感耗时飙到 4 秒(在 10 万行级表上也要近 600ms,千万级必超时)。 - 改造后(同一份造数脚本的 10.9 万行样本,压测第 10937 页尾页):不改前端交互、不引入任何外部存储,列表取数本身直接压到了 7ms,但接口总耗时仍有 97ms——因为那 90ms 全花在
SELECT COUNT(*)上!
口径说明:改造后我们只在 10.9 万行样本上做了精细复测,没有在 50 万行数据集上重跑同一组压测。因此下文所有绝对值都以 10.9 万行为锚点,千万级结论来自机理推导,不做实测外推。
注意,千万不要把上面这组「7ms」神化成“打破了联合索引最左前缀规则”。恰恰相反,这里必须把底层机制讲透:
- 跳列不是“没失效”,而是退化为二级索引全扫描(
type = index):当你的查询跳过了索引前导过滤列时,MySQL 依然无法在 B+ 树上做二分定位,只能从头到尾顺着二级索引的叶子节点链表把所有记录扫一遍。 - 为什么扫整棵索引还能这么快?因为宽覆盖索引消灭了回表,且排序列置顶消灭了
filesort:- 把排序列放第 1 列(
time)、主键id显式放第 2 列、把常用筛选小字段挂在索引尾部,组成宽覆盖索引(time, id, balance, rate, ...); - 叶子节点本身就按
(time, id)排好序,子查询SELECT id只需顺着紧凑的索引叶子链表边扫边做索引内过滤,全程 0 次回表、0 次 filesort,最后外层只拿命中的 10 个id回表 1 次; - 配合「后半段页码自动正反序翻转」:当
offset > total / 2时,自动把ORDER BY time DESC, id DESC翻转为ORDER BY time ASC, id ASC从最老记录正序抓几条,彻底消灭深分页空数。
- 把排序列放第 1 列(
上文第 3 小点的「翻转」到底省掉了什么,必须单独拎出来说,否则很容易把 7ms 误读成「所有页码都这么快」:
- 尾页快,是因为反转后只抓几条,不是因为「扫描吞吐高」:从最老记录正序取 10 条就停,扫描量与总行数几乎无关,所以千万级下尾页依然是毫秒级;
- 中间页没有这个收益:翻到第 5000 页时仍要顺着叶子链表扫过几十万条记录,耗时随
offset线性增长,千万级下同样会滑到秒级。
所以「单机 MySQL 能扛」的准确表述是:在命中集有边界(必填锚点 / 时间范围)+ 翻页深度受限的前提下可控,而不是「任意页码都毫秒级」。
至于那笔 90ms 的 COUNT(*),它的耗时由命中行数决定:10.9 万行时 90ms,一旦命中集放大到千万级全表,就会升到秒级。这笔开销才是整个方案真正的天花板——而它恰恰是用户最不需要的那个数字。
(关于宽覆盖索引的叶子节点布局、真实 EXPLAIN 与代码落地细节,我们在第 2 篇专门拆开演示。)
四、第三刀:并发量级定乾坤——20 人内部系统 vs 万人高并发公网系统
看清上面那 90ms COUNT(*) 的本质后,很多工程师容易得出一个危险的结论:「既然列表取数只要 7ms,那以后所有系统是不是都能靠单机 MySQL 硬抗?」
绝对不行。刚才那套方案之所以在我们的风控台账里大获全胜,全靠一个核心前提:它是内部管理后台,总共只有二三十个业务同学使用,峰值并发 QPS 只有 1~2。
让我们算一笔冷酷的 CPU 时间片账:
| 指标 | 20 人内部管理后台 | 万人高并发公网系统 |
|---|---|---|
| 单次查询耗时(取数 + COUNT) | 实测锚点:10.9 万行命中,取数 7ms + COUNT 90ms;命中集放大到千万级全表时,COUNT 升至秒级 | 同左 |
| 峰值并发 QPS | 1 ~ 2 QPS | 500+ QPS |
| 16 核服务器每秒总算力 | 16,000 ms CPU 时间片 | 16,000 ms CPU 时间片 |
| 每秒消耗 CPU 算力 | 90ms × 2 = 180ms(负载 < 2%) | 90ms × 500 = 45,000ms(超极限近 3 倍!) |
| 系统结局 | 毫秒级响应,非常稳健 | 16 核 CPU 瞬间跑满 100%,连接池雪崩 |
这张表藏着一个容易被忽略的前提:内部后台能稳在 2% 负载,不只是因为用户不到 20 个、QPS 低,更因为它的每次查询几乎都不会全表命中——必填锚点和最长 90 天的时间范围上限,把命中集压在几万到十几万行。如果拿掉这些产品约束,让两次秒级 COUNT 落在同一台 16 核机器上,即便只有 2 QPS 也会瞬间吃满。
低并发不是安全垫,产品约束才是。
再回头看那套 MySQL 方案的真正极限在哪:
宽覆盖索引 + 延迟关联,消灭的是「磁盘随机回表 IO」,但没有消灭「CPU 线性遍历内存索引」。
在低并发下,用一点 CPU 换取零外部组件、架构极简,是满分工程折中;但在万人高并发下,让几百个线程同时在 B+ 树叶子链表上做线性扫树比对,MySQL 会立刻被 CPU 算力打穿。
所以到了公网高并发场景,架构必须立下三条铁律:
- 带主 ID 的个人查询:强制要求必传
user_id,走(user_id, time)索引或分布式 Key-List,单次只扫个人名下几十条数据(0.5ms 级),单机轻松抗上万 QPS; - 无主 ID 的全网多条件筛选:老老实实上 Elasticsearch,利用缓存好的 Roaring Bitmap 位图做 CPU 级按位与交集,避免每次请求重扫全集;
- 产品交互做减法:就像淘宝、京东、分类信息列表页一样——砍掉精确的总条数显示(只展示「10 万+」或干脆不展示,省去最吃 CPU 的全量
COUNT),同时禁止任意跳页(最多翻前 100 页,或者改用下滑加载更多的游标分页)。
五、全景存储选型决策树、对照表与工程治理底线
把上面全部的思考过程沉淀下来,以后遇到任何业务系统的存储方案评审,都可以直接套用下面这张决策树收敛答案(图中的行数分界是经验参考阈值,实际随单行宽度、索引数量、内存与磁盘规格浮动):
1. 七类存储方案终极对照表
| 存储方案 | 底层核心结构 | 核心长板 | 致命短板与运维代价 | 最适合的业务场景 |
|---|---|---|---|---|
| 单机 MySQL | InnoDB B+ 树(聚簇 + 二级索引) | 事务与 SQL 生态最完善,运维成熟;命中集有界、翻页深度受限时,靠宽覆盖索引 + 尾页反转可低成本扛千万级内部台账 | 超 3000~5000 万行经验阈值后索引维护与全扫吃力;高并发宽条件扫描极易打满 CPU;中间页仍随 offset 线性变慢 | 5000 万行以内结构化核心业务表、低并发管理后台多条件台账 |
| TiDB | 分布式有序 KV(96MB Region + Raft 3副本 + 计算存储分离) | 完全免分表键,全局二级索引 + 多节点算子下推,兼容 MySQL 协议水平扩展 | 点查基础延迟略高(毫秒级);自增主键易产生写热点(需用 AUTO_RANDOM);分布式集群运维门槛高 | 单表 5000 万~数亿行、无固定分片键、不想手动分库分表的大表 |
| 分布式 KV | 无状态 Proxy + 主从 Data Server + RocksDB(LSM-Tree) | 亚毫秒(0.1~0.3ms)点查,落盘持久化且自带缓存,无缓存双写不一致 | 无二级索引;Value 黑盒不支持筛选;墓碑删除 + Scan 性能雪崩;离线写须限速防打满线上读 | TB 级小对象(≤256KB)按主键高频读写、替代 MySQL+Redis 双写、详情报文库 |
| 分布式 Key-List | 哈希分片 + 强 Schema 列表(RocksDB + 超长链异步索引) | 支持单主 ID 下列表的服务端过滤、动态重排与分页;可与 KV 组成索引回表黄金搭档 | 查询必须必传外层主 Key;单 Key 数据过多会造成单机热点倾斜 | 必带主 ID 的 C 端长列表(如我的订单、用户发帖列表、消息箱) |
| Elasticsearch | FST 词典(堆)+ 倒排/BKD 树(OS 页缓存)+ Roaring Bitmap | 几十个条件高并发自由组合、文本模糊匹配 LIKE '%x%'、多维实时聚合 | 默认限 10000 条内翻页;写后 1s 近实时延迟;频繁 Update 碎片多;高内存成本与双写对账复杂度 | 高并发公网多维检索、模糊文本搜索、实时统计大盘、日志检索 |
| 列存 OLAP(ClickHouse / Doris) | 列式压缩存储 + 稀疏索引 / 向量化执行 | 全表多维统计、宽表 SUM/GROUP BY 聚合扫描速度极快 | 高并发小翻页与单行拼装代价高;单行更新弱;需额外维护 CDC/ETL 同步链路 | 离线/准实时报表大盘、BI 分析、日志与明细聚合分析 |
| 对象存储 OSS | 分布式对象文件系统 | 单 GB 存储成本最低,容量近乎无限 | 单对象读写走 HTTP 延迟高;不支持条件检索;海量大批量小文件写请求吞吐差 | MB~GB 级大文件、冷数据归档、附件/Excel/图片/视频存储 |
2. 选型决定上限,治理决定能不能长期活着
很多架构方案评审只画到「选哪个组件」就结束了,但真正上线跑一两年不翻车,全靠下面五条工程治理底线:
- 同步幂等与写入时序:T-1 离线同步任务必须支持失败重跑幂等(按业务单号
Upsert或分批替换),且严格保证先写大报文库、后写列表库; - 冷热分层与 TTL 清理:几千万行台账与 TB 级大报文不能只进不出,超过 2 年的历史冷数据应按时间归档到廉价存储或设置自动 TTL;
- 时间分区与归档裁剪:千万级台账优先考虑
PARTITION BY RANGE (时间),而不是一上来就分表——分区是 MySQL 生态里最便宜的体积控制手段,能低成本实现「按月归档 + 只扫近 N 个月的分区裁剪」。但代价要在设计期就算清:InnoDB 要求主键与唯一键必须包含分区列,如果业务上靠「单号唯一约束」兜底、详情点查又不带时间,加分区会被这个约束直接挡住; - 自动化兜底对账:每天夜间同步完成后自动跑一轮轻量行数与抽样校验,防止上游任务静默丢数;
- 慢查询与容量水位告警:严控未走覆盖索引的任意组合查询上线,持续监控 Buffer Pool 命中率、KV 磁盘空间与 ES 内存页缓存水位。
✅ 存储选型 Checklist:方案评审前过一遍
- 大字段是否做到了轻重分离? 十 KB 以上的 JSON / 报文 / 富文本,不要和几百字节的高频列表字段混在同一张 InnoDB 主表里。
- 写入链路是否保住了「详情先落盘」的时序? 先写大报文存储(KV / 分表 / OSS),再写结构化列表,避免列表查得到、点详情 404。
- 如果考虑传统分库分表,所有高频查询都必带 Sharding Key 吗? 若后台支持十几个条件全部可选、不填主 ID 也能查,趁早放弃水平取模分表。
- 如果考虑分布式 KV/分表,扩容迁移与治理策略定了吗? 取模分表扩倍会导致一半 Key 路由漂移;大报文库要定好 TTL 与冷热归档,同步任务要有幂等与对账。
- 如果决定先用单机 MySQL,并发 QPS 与索引内存抗得住吗? 看清当前峰值并发是 1~2 QPS(内部后台)还是数百上千 QPS(公网 C 端),确认宽覆盖索引是否能在内存里闭环。
- 如果准备上 TiDB 或 ES,运维和产品边界对齐了吗? TiDB 避开连续自增写热点;ES 明确 10000 条深分页红线与双写对账成本,并与产品对齐砍掉精确
COUNT(*)和任意跳尾页。
写在最后:架构没有银弹,合适的才是最贵的省钱
复盘整个台账系统的存储演进,最大的体会是:好的架构设计,不是把所有高大上的分布式中间件全堆进系统图里,而是克制地匹配业务真实的约束边界。
如果只有 20 个人用的后台,能用一棵精心设计的 MySQL 宽覆盖索引 7ms 取数搞定的事,硬上一套 ES + 双写对账就是过度设计;反过来,如果流量和体积真的突破了单机硬件的物理墙,你心里也很清楚在什么节点、出于什么指标,该平滑切到 TiDB、分布式 KV 还是 ES。
系列目录
- 第 1 篇 · 存储架构全景与选型边界推演(本篇)
- 第 2 篇 · 单机 MySQL 千万级台账深分页实战:把显微镜架到 InnoDB 二级索引叶子节点上,拆解为什么把主键
id显式写进宽覆盖索引第 2 列能让Using filesort消失(代价是索引体积变大),以及延迟关联、尾页正反序翻转的真实EXPLAIN与代码对照。 - 第 3 篇 · 分布式 KV 与 Key-List 列表引擎深度拆解(待更):从 LSM-Tree 到 RocksDB,讲透黑盒 KV 与强 Schema 列表引擎的本质区别及「轻索引 +
mGet回表」设计模式。 - 第 4 篇 · 突破单机极限:TiDB 全局索引与 ES 位图检索实战(待更):当单表破亿或并发破千时,拆解 TiKV Region 拆分、Coprocessor 算子下推与 ES 倒排 / BKD 树 / Roaring Bitmap 的内存算力账。