python进阶(15)多线程与多进程效率测试「建议收藏」

python进阶(15)多线程与多进程效率测试「建议收藏」前言在Python中,计算密集型任务适用于多进程,IO密集型任务适用于多线程正常来讲,多线程要比多进程效率更高,因为进程间的切换需要的资源和开销更大,而线程相对更小,但是我们使用的Python大多

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

前言

在Python中,计算密集型任务适用于多进程,IO密集型任务适用于多线程
 
正常来讲,多线程要比多进程效率更高,因为进程间的切换需要的资源和开销更大,而线程相对更小,但是我们使用的Python大多数的解释器是Cpython,众所周知Cpython有个GIL锁,导致执行计算密集型任务时多线程实际只能是单线程,而且由于线程之间切换的开销导致多线程往往比实际的单线程还要慢,所以在 python 中计算密集型任务通常使用多进程,因为各个进程有各自独立的GIL,互不干扰。
 
而在IO密集型任务中,CPU时常处于等待状态,操作系统需要频繁与外界环境进行交互,如读写文件,在网络间通信等。在这期间GIL会被释放,因而就可以使用真正的多线程。
 
上面都是理论,接下来实战看看实际效果是否符合理论
 

练习

"""多线程多进程模拟执行效率"""


from multiprocessing import Pool
from threading import Thread
import time, math


def simulation_IO(a):
    """模拟IO操作"""
    time.sleep(3)


def simulation_compute(a):
    """模拟计算密集型任务"""
    for i in range(int(1e7)):
        math.sin(40) + math.cos(40)
    return


def normal_func(func):
    """普通方法执行效率"""
    for i in range(6):
        func(i)
    return


def mp(func):
    """进程池中的map方法"""
    with Pool(processes=6) as p:
        res = p.map(func, list(range(6)))
    return


def asy(func):
    """进程池中的异步执行"""
    with Pool(processes=6) as p:
        result = []
        for j in range(6):
            a = p.apply_async(func, args=(j, ))
            result.append(a)
        res = [j.get() for j in result]


def thread(func):
    """多线程方法"""
    threads = []
    for j in range(6):
        t = Thread(target=func, args=(j, ))
        threads.append(t)
        t.start()
    for t in threads:
        t.join()


def showtime(f, func, name):
    """
    计算并展示函数的运行时间
    :param f: 多进程和多线程的方法
    :param func: 多进程和多线程方法中需要传入的函数
    :param name: 方法的名字
    :return:
    """
    start_time = time.time()
    f(func)
    print(f"{name} time: {time.time() - start_time:.4f}s")


def main(func):
    """
    运行程序的主函数
    :param func: 传入需要计算时间的函数名
    """
    showtime(normal_func, func, "normal")
    print()
    print("------ 多进程 ------")
    showtime(mp, func, "map")
    showtime(asy, func, "async")
    print()
    print("----- 多线程 -----")
    showtime(thread, func, "thread")


if __name__ == "__main__":
    print("------------ 计算密集型 ------------")
    func = simulation_compute
    main(func)
    print()
    print()
    print()
    print("------------ IO 密集型 ------------")
    func = simulation_IO
    main(func)

 

结果

python进阶(15)多线程与多进程效率测试「建议收藏」

线性执行 多进程(map) 多进程(async) 多线程
计算密集型 16.0284s 3.5236s 3.4367s 15.2142s
IO密集型 18.0201s 3.0945s 3.0809s 3.0041s
 

结论

从表格中很明显的可以看出:

  • 计算密集型任务的速度:多进程 >多线程> 单进程/线程
  • IO密集型任务速度: 多线程 > 多进程 > 单进程/线程。

所以,针对计算密集型任务使用多进程,针对IO密集型任务使用多线程

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/165829.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • java分割字符串的方法_java字符串按照特定字符分割

    java分割字符串的方法_java字符串按照特定字符分割最近在项目中遇到一个小问题,一个字符串分割成一个数组,类似Stringstr=”aaa,bbb,ccc”;然后以”,”为分割符,将其分割成一个数组,用什么方法去实现呢?第一种方法:可能一下子就会想到使用split()方法,用split()方法实现是最方便的,但是它的效率比较低第二种方法:使用效率较高的StringTokenizer类分割字符串,StringTokenizer类是

  • 一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)

    一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)1.机器学习学习任务1.1监督学习根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务,分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间),类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c

  • MFC文件操作

    文件操作:二进制文件和文本文件的区别。二进制文件将数据在内存中存在的模式原封不动的搬到文件中,而文本文件是将数据的asc码搬到文件中。首先做一个读写文件的菜单,在CxxView里响应1.C的方式:fw

    2021年12月26日
  • Jmeter安装及入门教程(超详细)[通俗易懂]

    Jmeter安装及入门教程(超详细)[通俗易懂]一、Jmeter安装教程1、首先进入官网:Jmeter官网下载正版的Jemeter2、安装和本地JDK对应的JMeter版本我安装的是Jemeter5官方提示对应的是8以上的jdk,所以需要找到对应的JDK8对应的Jemeter4版本(注意版本一定要按官方提示的对应,否则后期会受影响)。附上官网上提供的全部版本的链接,大家按需下载安装包。3、点击下载,并解压。比如我解压到D盘目录下(这个随意,但最好不要在系统盘).个人认为要注意3点:1)解压之后压缩包叫apache-jmeter-

  • 计算机基础三: 二进制减法实现[通俗易懂]

    计算机基础三: 二进制减法实现[通俗易懂]在上一章中了解了如何实现二进制加法,加法是始终从两个加数的最右列向左列进位计算的,而在减法中没有进位,只有借位.253-176=77上面的式子我们不难算出来,但习惯性的思维让我们用借位的方式求值.在不借位的情况下如何实现计算?借位是很麻烦的事情,虽然我们能够实现它,但这意味着额外的开销.我们将用一个小技巧,让我们避开借位从而实现减法.为了避免借位,我们先从百位最大值999中减去减数,而非从原来的被减数中减去减数.999-176=823这个方法称为对9求补

  • vue中怎么解决跨域问题_vue本地访问服务器跨域

    vue中怎么解决跨域问题_vue本地访问服务器跨域vue项目中如何解决跨域问题跨域的含义​ 跨域的本质就是浏览器基于同源策略的一种安全手段。所谓同源就是必须有以下三个相同点:协议相同、主机相同、端口相同。如果其中有一项不同,即出现非同源请求,就会产生跨域。​ 跨域实际上是浏览器的限制,开发中使用postman请求接口能够获得数据就印证了跨域是浏览器的限制这个问题。解决方法​ 一般前端中解决跨域问题的方法有JSONP,CROS,Proxy等,这里我们主要讲解一下在vue中常用的CROS和Proxy方法。CROS​ CROS是Cros

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号