大家好,又见面了,我是你们的朋友全栈君。
引言
许多高级语言都具有自己的垃圾回收机制,以管理计算机内存,Python也不例外。对于垃圾回收机制的了解程度,成了开发人员是否真正了解Python的检验手段,在面试的时候许多面试官也喜欢以此作为题目考察面试者。
Garbage collection(GC)概述
- 现在的高级语言如
java
,c#
等,都采用了垃圾回收机制,而不再是c
,c++
里用户自己管理维护内存的方式。 - 自己管理内存极其自由,可以任意申请内存,但如同一把双刃剑,为大量内存泄露,悬空指针等bug埋下隐患。
- 对于一个字符串、列表、类甚至数值都是对象,且定位简单易用的语言,自然不会让用户去处理如何分配回收内存的问题。
- Python自带的解释器CPython主要使用了三种垃圾回收机制:是
引用计数
为主,标记-清除
和分代回收
两种机制为辅的策略
Reference Counting 引用计数
引用计数
是一种垃圾收集机制,而且也是一种最直观,最简单的垃圾收集技术。引用计数
法Reference Counting
的原理是,每个对象都维护一个引用计数字段,记录这个对象被引用的次数- 如果有新的引用指向对象,对象
引用计数
就加一,引用被销毁时,对象引用计数
减一,当用户的引用计数
为0时,该内存被释放。
优势:
- 简单
- 实时性:一旦没有引用,内存就直接释放了。不用像其他机制等到特定时机。实时性还带来一个好处:处理回收内存的时间分摊到了平时
如果仅仅是引用计数
回收机制,会存在以下问题:
- 需要去维护引用计数,存在执行效率问题
- 无法解决循环引用问题
循环引用:有一组对象的引用计数不为0,但是这组对象实际上并没有被变量引用,它们之间是相互引用,而且也不会有其他的变量再去引用这组对象,最终导致如果使用引用计数法这些对象占用的内存永远不会被释放,从而导致内存泄露
# 循环引用例子
list1 = []
list2 = []
list1.append(list2)
list2.append(list1)
print(list1)
print(list2)
>>>[[[...]]]
>>>[[[...]]]
由此可知python还将引入新的回收机制(标记-清除
,分代回收
),辅助引用计数
机制完成内存的管理
图解Python的引用计数
- 当我们使用Python创建一个
Node
的实例对象,则Python立即向操作系统请求内存,同时标识符n1
指向实例的内存
- 当我们创建第二个对象的时候,再次向OS请求内存
- 创建一个对象时,Python总是在对象的C结构体里保存一个整数,称为
引用数
。期初,Python将这个值设置为1
- 值为
1
说明分别有个一个指针指向或是引用这三个对象。假如我们现在创建一个新的Node
实例对象JKL
- 由于我们改变了
n1
指向了JKL
,不再指向ABC
,Python就把ABC
的引用数
置为0了。此刻,Python垃圾回收器立刻挺身而出!每当对象的引用数减为0,Python立即将其释放,把内存还给操作系统
标记-清除
上面我们说到循环引用会导致对象占用的内存永远不会被释放,这里还是以图来形象说明以下循环引用的现象,以及Python的标记-清除
机制是如何解决循环引用问题的
Python的循环引用
-
在
Node
类定义之后创建两个Node
实例对象,ABC
以及DEF
,在图中为左边的矩形框。两个节点的引用计数都被初始化为1,因为有两个引用指向各个Node
对象(n1
和n2
)
-
现在,让我们在
Node
中定义两个附加的属性,next
以及prev
。(Python中可以在代码运行的时候动态定义实例变量或对象属性,此处不详细说)设置n1.next
指向n2
,同时设置n2.prev
指回n1
两个
Node
使用循环引用的方式构成了一个双端链表。同时请注意到ABC
以及DEF
的引用计数值已经增加到了2。这里有两个指针指向了每个Node
:首先是n1
以及n2
,其次就是next
以及prev
-
假定我们的程序不再使用这两个对象了,我们将
n1
和n2
都设置为None
Python的标记-清除原理
如上述情况,在Python中形成来一个“孤岛”或是一组未使用的、互相指向的对象,但是谁都没有外部引用,这时候我们想要回收这部分的内存,但是由于所有的引用计数都是1而不是0,无法进行垃圾回收。
所以Python要将循环引用摘掉,就会得出这两个对象的有效计数,同时还要引入Generational GC(Generational garbage collection)
算法:
Python使用一种名为零代(Generation Zero)链表来持续追踪活跃的对象。每次我们创建一个对象或其他值的时候,Python会将其加入零代链表。
-
当我们创建
ABC
节点的时候,Python将其加入零代链表,注意这并不是一个真正的链表,并不能直接在你的代码中访问。
当我们创建DEF
节点的时候,Python将其加入同样的链表。
-
Python会循环遍历零代链表上的每个对象,检查链表中每个互相引用的对象,根据规则减掉其引用计数,这一步是
检测循环引用
。
ABC
和DEF
节点包含的引用数为1。同时有三个其他的对象同时存在于零代链表中,蓝色的箭头指示了有一些对象正在被零代链表之外的其他对象所引用。
-
通过识别内部引用,Python能够减少许多零代链表对象的引用计数。在下图的第一行,能够看见
ABC
和DEF
的引用计数已经变为零了,这意味着收集器可以释放它们并回收内存空间了
参考:代式垃圾回收机制
分代回收
Python中的GC阈值
- 理想状态下,Python创建了多少个对象,一段时间后就应该回收多少的垃圾。
- 但是实际上,由于上述的循环引用状态的存在,以及有一些对象被长时间的引用,从而被分配对象的计数值与被释放对象的计数值之间的差异在逐渐增长。
- Python中存在一个
Garbage collection阈值
,当被分配对象的计数值与被释放对象的计数值之间的差异累计超过某个阈值,则Python的收集机制就启动了,并且触发上述的标记-清除
机制,释放“浮动的垃圾”。
Python的分代回收
-
当执行
标记-清除
后,剩余的对象都是真实被引用的,而这些对象都会被移入一代链表
。所谓
一代链表
就是零代链表
执行标记-清除
之后的剩余对象组成的链表
同样的,二代链表
就是一代链表
执行标记-清除
之后的剩余对象组成的链表
-
Python采用
分代回收
的机制,实际上是基于弱代假说(weak generational hypothesis)
提出的:这个假说由两个观点构成:年轻的对象通常“死”得也快,老对象则很有可能存活更长的时间。 -
基于此,
分代回收
的核心行为是:垃圾回收器会更频繁的处理新对象。一个新的对象即是你的程序刚刚创建的,而一个老的对象则是经过了几个时间周期之后仍然存在的对象。Python会在当一个对象从零代移动到一代,或是从一代移动到二代的过程中提升(promote)这个对象。 -
分代回收的意义在于:通过频繁的处理零代链表中的新对象,Python的垃圾收集器将把时间花在更有意义的地方,它处理那些很快就可能变成垃圾的新对象。同时只在很少的时候,当满足阈值的条件,收集器才回去处理那些老变量
以上。
参考资料:
https://www.jianshu.com/p/1e375fb40506
http://www.cnblogs.com/pinganzi/p/6646742.html
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/148361.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...