mysql bulkupdate_django_bulk_update源码分析

mysql bulkupdate_django_bulk_update源码分析##django_bulk_update源码分析这个第三方插件的体量几乎只相当于工作时两三天的代码量了,是一个比较容易开始进行源代码阅读的模块,阅读完这个代码对自定义的进行django拓展也是一个相当好的借鉴###django_bulk_update文件结构django_bulk_update在被调用时实际只有四个文件,分别是1.\_\_init__.py2.helper.py3.man…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

## django_bulk_update源码分析

这个第三方插件的体量几乎只相当于工作时两三天的代码量了,是一个比较容易开始进行源代码阅读的模块,阅读完这个代码对自定义的进行django拓展也是一个相当好的借鉴

### django_bulk_update文件结构

django_bulk_update在被调用时实际只有四个文件,分别是

1. \_\_init__.py

2. helper.py

3. manager.py

4. query.py

### \_\_init__.py文件

__init__文件是所有要被调用的python模块都有的文件,里面的代码只是对当前的模块版本进行了指定

~~~py

# __init__.py

__version__ = ‘2.2.0’

~~~

### helper.py文件

此模块的主要文件,bulk_update功能就在此文件里

~~~py

def validate_fields(meta, fields):

fields = frozenset(fields)

field_names = set()

for field in meta.fields:

if not field.primary_key:

field_names.add(field.name)

if field.name != field.attname:

field_names.add(field.attname)

non_model_fields = fields.difference(field_names)

if non_model_fields:

raise TypeError(

“These fields are not present in “

“current meta: {}”.format(‘, ‘.join(non_model_fields))

)

~~~

validate_fields是一个对bulk_update中需要修改的字段做校验的方法,这里的传入的两个参数,meta可以看做就是django中模型类的_meta属性(实验了一下后发现正常使用时传进去的的确是Option类),也就是一个Options类,fields即用户输入的想要修改的字段名字符串数组

可以看到这里对输入的原始fields数组做了一个frozenset备份,在校验完成后和这些字段中符合逻辑的集合进行差集运算,只要fields集合不是field_names集合的子集则马上抛出TypeError异常,这里的for循环主要处理的就是meta中的fields,根据判断条件可以看出,bulk_update功能**是不支持主键修改的**

~~~py

def get_fields(update_fields, exclude_fields, meta, obj=None):

deferred_fields = set()

if update_fields is not None:

validate_fields(meta, update_fields)

elif obj:

deferred_fields = obj.get_deferred_fields()

if exclude_fields is None:

exclude_fields = set()

else:

exclude_fields = set(exclude_fields)

validate_fields(meta, exclude_fields)

exclude_fields |= deferred_fields

fields = [

field

for field in meta.concrete_fields

if (

not field.primary_key and

field.attname not in deferred_fields and

field.attname not in exclude_fields and

field.name not in exclude_fields and

(

update_fields is None or

field.attname in update_fields or

field.name in update_fields

)

)

]

return fields

~~~

get_fields方法看起来比较长,实际上在做的事情比较单调,依然是通过meta参数指向的Options类进行字段筛选,需要注意的是这里的筛选条件比较多,写法相对复杂

~~~py

def grouper(iterable, size):

# http://stackoverflow.com/a/8991553

it = iter(iterable)

while True:

chunk = tuple(itertools.islice(it, size))

if not chunk:

return

yield chunk

~~~

实际上今天碰到的问题就是依靠这个方法来解决的,因为业务代码中数据库中有10W+的数据,如果直接使用all()拿到所有数据然后不做其他处理进行bulk_update,则因为单条SQL语句处理的数据量过大导致Jenkins集成时django报ProgrammingError,提示mysql server gone away,实际上就是处理超时,这里同事给的解决办法就是使用batch_size参数处理这个问题,将数据分成500条一个的chunk块来进行更新,而bulk_udpate支持的batch_size参数就是在这个方法里实现了chunk分块,这里使用了iter方法将需要更新的对象列表转化为了一个迭代器,通过islice给迭代器分片,最后形成一个生成器供使用,这样就解决了分块批量修改数据的需求

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/222752.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • tkMapper的使用[通俗易懂]

    tkMapper的使用[通俗易懂]Maven引入<dependency><groupId>tk.mybatis</groupId><artifactId>mapper-spring-boot-starter</artifactId><version>2.1.5</version></dependency>…

  • ice服务器框架压力测试数据「建议收藏」

    ice服务器框架压力测试数据「建议收藏」ice服务器框架压力测试数据标签: 服务器测试框架socket工作linux2011-07-1215:50 3819人阅读 评论(5) 收藏 举报 分类: ice(3) 版权声明:本文为博主原创文章,未经博主允许不得转载。有段时间为公司做了一些技术收集方面的工作,ice作为一个开源的网络通讯中间件,肯定是我们不错的研究对象。

  • gateway网关的作用_gateway网关集群

    gateway网关的作用_gateway网关集群为啥要有网关大型系统在设计之初就会拆分为多个微服务,客户不可能都按每个服务的服务器地址进行访问,因为每个服务对应一个指定的Url,人咋记那么多的地址,这样我们是不是需要一个统一的入口公开给客户,去解决这种调用问题,同时,AJAX虽说可以进行异步请求实现局部刷新,但是不能解决跨域对吧,之前我们怎么进行跨域处理的,用的是在controller层添加@CrossOrign注解,解决跨域问题。单体项目还好说,那么在微服务项目中可能又成千上百的服务,那我都要一个个加吗?而且有的服务还可能存在着没有controll

    2022年10月11日
  • CSS flex样式垂直居中

    CSS flex样式垂直居中文章参考Flex布局教程:语法篇问题描述由于div默认是没有高度的,如果设置了高度,默认是从左到右,从上到下的顺序来排布;如果要做垂直居中,就需要计算div控件的高度,如果内容变多或者变少,又会导致定位不准确,因此,最稳妥的办法就是让浏览器自己去根据div的高度居中显示flex个人理解作用自身的样式flex-direction属性决定主轴的方向(即项目的排列方向)flex…

  • tomcat 配置pfx证书

    tomcat 配置pfx证书server.xmltomcat根目录创建cert文件夹,把文件xx.pfx文件放进去<Connectorport=”80″protocol=”HTTP/1.1″connectionTimeout=”20000″redirectPort=”443″URIEncoding=”UTF-8″/><C…

  • 一个前端开发关于运维工具的思考:运维工具一定是难用的吗?「建议收藏」

    “在2019年的今天,我们想要一个易用的运维工具!”开源代码地址:https://github.com/WeBankPartners/we-cmdb一、背景WeCMDB作为WeCube开源计划的一部分,已经开源了一段时间。开源之后,有许多用户给了我们很多有用的意见及建议,帮助我们从不同的视角审视WeCMDB。这也是我们需要开源的原因之一,听取各方的意见相比于闭门造车可以少走更多的弯路…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号