Python之queue模块

全栈程序员-用户IM • 2021年12月30日上午7:00 • 未分类

大家好，又见面了，我是全栈君，今天给大家准备了Idea注册码。

　　queue模块实现了多生产者，多消费者的队列。当要求信息必须在多线程间安全交换，这个模块在同步线程编程时非常有用，Queue模块实现了所有要求的锁机制。

　　内部实现是在抢占式线程加上临时锁，但是没有涉及如何去处理线程的重入

1. queue模块的内容

（1）class queue.Queue(maxsize = 0)

　　构造一个FIFO队列，maxsize可以限制队列的大小。如果队列的大小达到了队列的上限，就会加锁，直到队列的内容被消费掉。如果maxsize的值小于等于0，那么队列的尺寸就是无限制的

（2）class queue.LifoQueue(maxsize = 0)

　　构造一个LIFO队列

（3）class PriorityQueue(maxsize = 0)

　　构造一个优先级队列，优先级最低的先出去，优先级最低的一般使用sorted(list(entries))[0])，典型加入的元素是一个元祖(优先级, 数据)　

（4）queue.empty异常

　　只有非阻塞的时候，队列为空，取数据才会报异常

（5）queue.Full异常

　　只有非阻塞的时候，队列满了，继续放数据才会出现异常

2. 队列对象的方法

（1）Queue.qsize()

　　返回queue的近似值

　　注意：qsize>0 不保证(get)取元素不阻塞。qsize< maxsize不保证(put)存元素不会阻塞

（2）Queue.empty()

　　判断队列是否为空

（3）Queue.full()

　　判断是否满了

（4）Queue.put(item, block=True, timeout=None):

　　往队列里放数据，如果满了的话，blocking = False 直接报 Full异常；如果blocking = True，就是等一会，timeout必须为 0 或正数。None为一直等下去，0为不等，正数n为等待n秒还不能存入，报Full异常。

（5）Queue.put_nowait(item)

　　往队列里存放元素，不等待

（6）Queue.get(item, block=True, timeout=None):

　　从队列里取数据，如果为空的话，blocking = False 直接报 empty异常。如果blocking = True，就是等一会，timeout必须为 0 或正数。None为一直等下去，0为不等，正数n为等待n秒还不能读取，报empty异常。

（7）Queue.get_nowait(item)

　　从队列里取元素，不等待

　　put_nowait和get_nowait两个方法跟踪入队的任务是否被消费者daemon进程完全消费

（8）Queue.task_done()

　　表示队列中某个元素被消费进程或线程使用，消费结束发送信息。

（9）Queue.join()

　　一直阻塞直到队列中的所有元素都被取出和执行

3. 简单示例

import threading
from queue import Queue

class ClosableQueue(Queue):
    SENTINEL = object()
    
    def close(self):
        self.put(SENTINEL)
        
    def __iter__(self):
        while True:
            item = self.get()
            try:
                if item is self.SENTINEL:
                    return 
                yield item
            finally:
                self.task_done()
                
class StoppabelWoker(threading.Thread):
    def __init__(self,func,in_queue,out_queue):
        self.func = func
        self.in_queue = in_queue
        self.out_queue = out_queue
    
    def run(self):
        for item in self.in_queue:
            result = self.func(item)
            self.out_queue.put(result)