RowBounds分页原理、RowBounds的坑

RowBounds分页原理、RowBounds的坑背景说明项目中经常会使用分页查询,有次使用了RowBounds进行分页,因为很多场景或网上也看到很多这样的写法,所以我也在项目中使用了该类进行分页。但是有次线上却抛了异常,由此引发了对RowBounds原理的探究。一:RowBounds分页原理Mybatis可以通过传递RowBounds对象,来进行数据库数据的分页操作,然而遗憾的是,该分页操作是对ResultSet结果集进行分页,也就是人们常说的逻辑分页,而非物理分页(物理分页当然就是我们在sql语句中指定limit和offset值)。RowBou

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

背景说明

项目中经常会使用分页查询,有次使用了RowBounds进行分页,因为很多场景或网上也看到很多这样的写法,所以我也在项目中使用了该类进行分页。但是有次线上却抛了异常,由此引发了对RowBounds原理的探究。

RowBounds是将所有符合条件的数据全都查询到内存中,然后在内存中对数据进行分页,若数据量大,千万别使用RowBounds

如我们写的sql语句:select * from user where id>0 limit 0,10
RowBounds会将id>0的所有数据全都加载到内存中,然后截取前10行,若id>0有100万条,则100万条数据都会加载到内存中,从而造成内存OOM。

一:RowBounds分页原理

Mybatis可以通过传递RowBounds对象,来进行数据库数据的分页操作,然而遗憾的是,该分页操作是对ResultSet结果集进行分页,也就是人们常说的逻辑分页,而非物理分页(物理分页当然就是我们在sql语句中指定limit和offset值)。

RowBounds源码如下:

public class RowBounds { 
   
  /* 默认offset是0**/
  public static final int NO_ROW_OFFSET = 0;
  /* 默认Limit是int的最大值,因此它使用的是逻辑分页**/
  public static final int NO_ROW_LIMIT = Integer.MAX_VALUE;
  public static final RowBounds DEFAULT = new RowBounds();

  private int offset;
  private int limit;

  public RowBounds() { 
   
    this.offset = NO_ROW_OFFSET;
    this.limit = NO_ROW_LIMIT;
  }

  public RowBounds(int offset, int limit) { 
   
    this.offset = offset;
    this.limit = limit;
  }

  public int getOffset() { 
   
    return offset;
  }

  public int getLimit() { 
   
    return limit;
  }

}

对数据库数据进行分页,依靠offset和limit两个参数,表示从第几条开始,取多少条。也就是人们常说的start,limit。

下面看看Mybatis的如何进行分页的。

org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleRowValuesForSimpleResultMap()方法源码。

Mybatis中使用RowBounds实现分页的大体思路:
先取出所有数据,然后游标移动到offset位置,循环取limit条数据,然后把剩下的数据舍弃。

private void handleRowValuesForSimpleResultMap(ResultSetWrapper rsw, ResultMap resultMap, ResultHandler<?> resultHandler, RowBounds rowBounds, ResultMapping parentMapping)
      throws SQLException { 
   
  DefaultResultContext<Object> resultContext = new DefaultResultContext<Object>();
//跳过RowBounds设置的offset值
   skipRows(rsw.getResultSet(), rowBounds);
//判断数据是否小于limit,如果小于limit的话就不断的循环取值
   while (shouldProcessMoreRows(resultContext, rowBounds) && rsw.getResultSet().next()) { 
   
     ResultMap discriminatedResultMap = resolveDiscriminatedResultMap(rsw.getResultSet(), resultMap, null);
     Object rowValue = getRowValue(rsw, discriminatedResultMap);
     storeObject(resultHandler, resultContext, rowValue, parentMapping, rsw.getResultSet());
   }
}

private boolean shouldProcessMoreRows(ResultContext<?> context, RowBounds rowBounds) throws SQLException { 
   
	//判断数据是否小于limit,小于返回true
    return !context.isStopped() && context.getResultCount() < rowBounds.getLimit();
}

  //跳过不需要的行,应该就是rowbounds设置的limit和offset
  private void skipRows(ResultSet rs, RowBounds rowBounds) throws SQLException { 
   
    if (rs.getType() != ResultSet.TYPE_FORWARD_ONLY) { 
   
      if (rowBounds.getOffset() != RowBounds.NO_ROW_OFFSET) { 
   
        rs.absolute(rowBounds.getOffset());
      }
    } else { 
   
	  //跳过RowBounds中设置的offset条数据,只能逐条滚动到指定位置
      for (int i = 0; i < rowBounds.getOffset(); i++) { 
   
        rs.next();
      }
    }
}

二:RowBounds的使用

原理:拦截器。

使用方法

RowBounds:在dao.java中的方法中传入RowBounds对象。

2.1:引入依赖

<dependency>
	<groupId>org.mybatis</groupId>
	<artifactId>mybatis</artifactId>
	<version>3.5.6</version>
</dependency>

2.2:service层

import org.apache.ibatis.session.RowBounds;

public class UserServiceImpl implements UserService { 
   
	@Autowired
    private UserDao userDao;
    
    @Override
    public Map<String, Object> queryUserList(String currentPage, String pageSize) { 
   
        //查询数据总条数
        int total = userDao.queryCountUser();
        //返回结果集
        Map<String,Object> resultMap = new HashMap<String,Object>();
        
        resultMap.put("total", total);
        //总页数
        int totalpage = (total + Integer.parseInt(pageSize) - 1) / Integer.parseInt(pageSize);
        resultMap.put("totalpage", totalpage);
        
        //数据的起始行
        int offset = (Integer.parseInt(currentPage)-1)*Integer.parseInt(pageSize);
        RowBounds rowbounds = new RowBounds(offset, Integer.parseInt(pageSize));
        //用户数据集合
        List<Map<String, Object>> userList = userDao.queryUserList(rowbounds);
        
        resultMap.put("userList", userList);
        
        return resultMap;
    }

}

2.3:dao层

import org.apache.ibatis.session.RowBounds;

public interface UserDao { 
   
    
    public int queryCountUser();       //查询用户总数
    public List<Map<String, Object>> queryUserList(RowBounds rowbounds);    //查询用户列表
}

2.4:mapper.xml
mappep.xml里面正常配置,不用对rowBounds任何操作。mybatis的拦截器自动操作rowBounds进行分页。

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.test.mapper.UserDao">
    
    <!-- 查询用户总数 -->
    <select id="queryCountUser" resultType="java.lang.Integer">
        select count(1) from user
    </select>
    
    <!-- 查询用户列表 -->
    <select id="queryUserList" resultType="java.util.Map">
        select * from user
    </select>
    
</mapper>

三:RowBounds的坑

2021-11-19 15:15:14.933 ERROR [task-10] [org.springframework.transaction.interceptor.TransactionInterceptor] Application exception overridden by rollback exception
org.springframework.dao.TransientDataAccessResourceException:
— Error querying database. Cause: java.sql.SQLException: Java heap space
— The error may exist in com/test/mapper/InfoRecordMapper.java (best guess)
– The error may involve com.test.mapper.InfoRecordMapper.selectByExampleAndRowBounds-Inline
— The error occurred while setting parameters

RowBounds是将所有符合条件的数据全都查询到内存中,然后在内存中对数据进行分页
如我们查询user表中id>0的数据,然后分页查询sql如下:
select * from user where id >0 limit 3,10

但使用RowBounds后,会将id>0的所有数据都加载到内存中,然后跳过offset=3条数据,截取10条数据出来,若id>0的数据有100万,则100w数据都会被加载到内存中,从而造成内存OOM。

所以当数据量非常大时,一定要慎用RowBounds类。切记!切记!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/190591.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 04_MyBatis 单表 CRUD 和多表处理关联操作

    04_MyBatis 单表 CRUD 和多表处理关联操作

  • html实战-制作静态网页「建议收藏」

    html实战-制作静态网页「建议收藏」教程视频:http://edu.csdn.net/course/detail/535 从42开始制作的网页:http://www.cnos.co/整体思路:先布局再CSS控制骨架搭好了,初始化样式,后再弄CSS样式。注意:将CSS的样式导入到外部样式表时,要注意图片的位置,以及对外部样式表的引入  1、头部的背景图片的高度128px来自素材的图片高,容器的宽度大

  • 海贼王

    海贼王★海贼王简介  日本国民级超人气动漫作品《ONEPIECE》,简称OP(1997-现在)  【原名】ONEPIECE——十多年来日本的统治级漫画,单行本十年销量冠军,初版销量已超1亿5千8百万册,09年4月再版销量1千7百万册,总销量1亿7500万册,成为日本史上漫画单行本销量最高和初版销量最高的纪录最快到本书一亿保持者,本书销量第一。  【译名】海贼王、航海王、海盗路飞

  • Jmeter安装以及使用「建议收藏」

    Jmeter安装以及使用「建议收藏」JMeter是什么?JMeter是Apache开源项目的一部分。它最初是为了测试web服务器的性能而编写的,现在它已经作为一个自动化的测试工具和测试数据,以及用于web应用程序、文件服务器、web服务器甚至数据库的功能测试工具。我们将在本教程中探讨JMeter的重要特性。可以通过配置来模拟针对特定web服务器或应用程序的N个用户和线程。它为web应用程序生成一个模拟负载来度量其性能。此外,您…

  • windows安装深度linux,最漂亮的国产Linux,windows下安装深度操作系统步骤

    windows安装深度linux,最漂亮的国产Linux,windows下安装深度操作系统步骤GIF国产操作系统都是基于Linux进行的二次开发,有很多国产系统只是在Linux基础上进行一些美化、内置几个软件就号称自己是操作系统了。而为什么深度操作系统deepinLinux一直深受用户喜爱呢?虽然它也是基于Linux内核,但它的整个系统架构设计都是自己研发制作的。从显示管理器、资源管理器再到桌面环境及比较实用的深度全家桶,在这个系统上,你不仅可以Linux原生的软件,还可以使用QQ、TI…

  • 微信小程序面试题总结

    微信小程序面试题总结小程序面试题简单描述下微信小程序的相关文件类型?一、WXML(WeiXinMarkupLanguage)是框架设计的一套标签语言,结合基础组件、事件系统,可以构建出页面的结构。内部主要是微信自己定义的一套组件。与html差不多。二、WXSS(WeiXinStyleSheets)是一套样式语言,用于描述WXML的组件样式,与css差不多二、js逻辑处理,…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号