当前位置: 首页 > news >正文

Mysql大数据深分页速度慢优化

Mysql: 8.0.29

数据量:628W条

主键字段:id

一、Mysql分页原理

示例语句: SELECT * FROM test_logistics_contract_info LIMIT 5000000,10;

PS1:理论上生产环境不禁止SELECT * ,哪怕会用到所有的字段,这里只是示例语句。

执行原理 :

先执行 SELECT * FROM test_logistics_contract_info LIMIT 5000010;放入Mysql内存中

再取最后的10条返回

效率:

分页越深,效率越低,如果取全表的最后10条,相当于全表扫描。

二、俩种SQL语句级别优化和效率对比

原版语句: 执行时间 7.338秒

优化语句一: 查询时间 0.143秒 比原版的零头还低

SELECT a.* FROM test_logistics_contract_info a INNER JOIN (SELECT id FROM test_logistics_contract_info LIMIT 500000,10) as b
on a.id = b.id

原理:利用 InnoDB 的回表机制,先拿所需要数据的主键,再用主键拿数据。

优化二:查询时间 0.0秒(纳秒级别了) 比原版的零头的零头还低

SELECT * FROM test_logistics_contract_info WHERE id >= 5066186 LIMIT 10;

原理:先拿到上次分页的最后一条数据id,然后用id精准定位数据的位置。

缺点:禁止跳页,每次都必须拿到上一页的最后一条数据的id

PS2:Mysql自增主键具有不连续性,用页数*每页条数得到的数字作为id是不准确的(比如物理删除的数据,或者批量添加数据)

PS3:Mysql还有唯一索引不唯一的特性( ^_^!!)

三、其他优化方式

1、禁止深分页(使用多)

某东、某宝的分页都限定了100页

2、用适合大数据分页的DB 存数据 (省心)

比如es(GB~TB级别) Hbase(PB级别)

http://www.cnnetsun.cn/news/6943.html

相关文章:

  • AI动态场景生成:重塑影视创作的技术革命
  • mpv.net媒体播放器:为什么这款Windows播放器能成为技术爱好者的首选?
  • 带带弟弟识别文字验证码报异常问题解决:AttributeError: module ‘PIL.Image‘ has no attribute ‘ANTIALIAS‘
  • SG-PNh750-MOD-221(Profinet 转 Modbus RTU 网关)特点与功能介绍
  • 手把手教你用VSCode远程调试量子程序,10分钟快速上手
  • PC小说阅读器终极免费版:打造个性化数字阅读体验
  • 2025全新IDM使用方案:小白也能轻松掌握的终极指南
  • 全开源20亿参数大模型,揭秘清华团队如何突破资源限制训练LLM
  • 深度解析:4大维度构建量化因子归因的实战框架
  • YOLOv5模型瘦身实战:三大轻量化技术深度解析
  • SpringBoot
  • AH40G10是40V 10A双N+P沟道增强型MOSFET
  • 为什么顶尖开发者都在用VSCode做量子编程?真相曝光
  • note-gen AI笔记应用快速上手:10分钟掌握高效知识管理技巧
  • 东莞自动化设备工厂8个solidworks、caxa研发共用一台服务器
  • 全球国家编码数据宝库:一站式解决国际标准化需求 [特殊字符]
  • aio-switch-updater终极指南:Nintendo Switch定制化完全教程
  • Wan2.2-T2V-5B可用于博物馆展品动态复原展示
  • typing和dataclass
  • MindSpore网络编译问题BuildModel error 134
  • 拼多多PHP SDK:5分钟搞定电商API集成,让开发效率翻倍 [特殊字符]
  • Node-RED Dashboard实战指南:零基础构建专业数据可视化界面
  • 3分钟掌握nodeppt Mermaid插件:让你的演示文稿从此告别图片导入烦恼
  • 5分钟掌握dnd-kit网格对齐:React拖拽开发终极指南
  • 5分钟掌握WheelPicker:Android选择器的终极开发指南
  • ANTLR4 C++ 终极指南:从语法解析到高性能应用开发
  • 突破性音源!洛雪音乐实现全网音乐一键获取
  • BGP、OSPF、EIGRP,哪种协议用在哪?一文全讲透!
  • Google购物广告与自然产品列表如何1+1>2?3个被验证的流量协同策略
  • 写程序的时候必须做的一件事?听歌!!我精选粤语歌曲300首无损音乐,可以听十年了。