› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
daoqiongsi1101
V2EX  ›  MySQL

MySQL 大表有性能问题,但如果只查最近的数据呢?

  •  
  •   daoqiongsi1101 · Apr 17, 2021 · 3615 views
    This topic created in 2028 days ago, the information mentioned may be changed or developed.

    有个疑问,MySQL 在有索引的情况下,如果数据达到一定的量级,查询同样也会有性能问题,那么如果只查最近的数据呢?比如 id 是自增长的,只查最近几十条,这种情况是否查询比较快,还是说查询性能只跟数据量和索引有关,跟是否最近的数据没有关系。

    谢谢!

    9 replies  •  2021-04-18 21:31:21 +08:00
    xuanbg
    xuanbg
    Apr 17, 2021
    1
    所以大表需要拆分和旧数据归档,减少体量就能重新快起来了。
    opengps
    opengps
    Apr 17, 2021
    2
    id 本身默认也是个索引,很多时候能否快速查到,也看索引是否足够快速过滤。我推测:只查最近,跟索引的正序倒叙有会直接关系
    FrankAdler
    FrankAdler
    Apr 17, 2021
    3
    索引是个树,不管树多深,如果只遍历头部几个节点,性能是没有区别的
    akira
    akira
    Apr 17, 2021
    4
    只查最近的数据 ,也需要对应的索引来缩小范围
    zlowly
    zlowly
    Apr 18, 2021
    5
    你得知道,一般数据库数据的存放无论是物理还是逻辑上都不一定是按顺序,特别是有删除更新的情况下。但是有可能你最近新增的数据会仍在内存缓冲里,这时候的由于节省了磁盘开销所以性能看起来会快些。
    wakzz
    wakzz
    Apr 18, 2021
    6
    MySQL 的 innodb 引擎有个缓存池,专门缓存底层数据页。只考虑大表的性能问题,不考虑 SQL 优化的话,查询时在索引树能完全被缓存层命中的情况下,记录行被缓存层命中率越低,性能越慢。
    这里字段缓存层指的是 innodb_buffer_pool,优先会缓存热点数据。因此在大表的查询中尽可能避免命中冷门数据,那么数据量对查询性能基本没有什么影响。
    ltfree
    ltfree
    Apr 18, 2021
    7
    只查询最近的数据,也就是缩小查询的范围,这种方法是可以提高查询效率的。
    Evilk
    Evilk
    Apr 18, 2021 via iPhone
    8
    我司,有个大表,4 亿多条数据,根据 relative_id and resource 查询,基本上 3s 没返回
    myd
    myd
    Apr 18, 2021
    9
    @Evilk 这么慢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4782 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 08:14 · PVG 16:14 · LAX 00:14 · JFK 03:14
    ♥ Do have faith in what you're doing.