文档章节

python中的内存分配的小秘密

o
 osc_isezqdgg
发布于 2019/09/18 16:50
字数 1774
阅读 25
收藏 0

精选30+云产品,助力企业轻松上云!>>>

装逼手册之 python中的内存分配的小秘密

虽然我们现在得益于时代和技术的发展,不用再担心内存的问题;但是遥想当年,都是恨不得一个钢镚掰成俩份用,所以我就想深入了解一下,在python中内存分配的一些小秘密。

首先我会频繁地用到sys模块里的getsizeof()方法,简单介绍下:

  • 该方法返回对象的字节大小(bytes)。
  • 它只计算直接占用的内存,而不是计算对象内所引用对象的内存。

举个例子:

import sys

a = [1, 2]
b = [a, a]  # 即 [[1, 2], [1, 2]]

# a、b 都只有两个元素,所以直接占用的大小相等(只和元素个数有关,和元素是什么无关)
sys.getsizeof(a) # 结果:80
sys.getsizeof(b) # 结果:80

上例说明了一件事:一个静态创建的列表,如果只包含两个元素,那它自身占用的内存就是 80 字节,不管其元素所指向的对象是什么。

我们已经知道如何测量了,那么我们就一起来探索吧!

1、空对象是“空”的吗?

不知道大家有没有好奇过,空的对象如空字符串、空列表、空字典,他们到底占不占用内存呢?如果占用内存,又占用多少呢?

直接揭晓答案吧:

import sys

print(sys.getsizeof(''))      # 49
print(sys.getsizeof([]))      # 64
print(sys.getsizeof(tuple())) # 48
print(sys.getsizeof(set()))   # 224
print(sys.getsizeof(dict()))  # 240

# 参照:
print(sys.getsizeof(None))    # 16
print(sys.getsizeof(False))   # 24
print(sys.getsizeof(0))       # 24
print(sys.getsizeof(1))       # 28
print(sys.getsizeof(True))    # 28

可见,虽然都是空对象,但是这些对象在内存分配上并不为“空”,而且分配得还挺大(记住这几个数字哦,后面会考)。

排序下就是:基础数字<空元组 < 空字符串 < 空列表 < 空集合 < 空字典。

如果一定要解释的话,我的理解就是:不同类在创建的时候自带的属性不一样,如引用计数、使用量信息等等,还有一部分内存是预分配的。


2、内存扩充是均匀的吗?

空对象并不为空,一部分原因是 Python 解释器为它们预分配了一些初始空间。在不超出初始内存的情况下,每次新增元素,就使用已有内存,因而避免了再去申请新的内存。

那么,如果初始内存被分配完之后,新的内存是怎么分配的呢?

import sys
s = 'abcdefghijklmnopqrstuvwxyz'

a = []
for i in s:
    a.append(i)
    print(len(a) , f"a 的内存占用{sys.getsizeof(a)}")

b = set()
for i in s :
    b.add(i)
    print(len(b),f"b 的内存占用{sys.getsizeof(b)}")

c = dict()
for i in s :
    c[i] = i
    print(len(c) , f"c 的内存占用{sys.getsizeof(c)}")

我们给三类循环添加了26个元素,结果如何呢?

由此能看出可变对象在扩充时的秘密:

  • **超额分配机制:**申请新内存时并不是按需分配的,而是多分配一些,因此当再添加少量元素时,不需要马上去申请新内存
  • **非均匀分配机制:**三类对象申请新内存的频率是不同的,而同一类对象每次超额分配的内存并不是均匀的,而是逐渐扩大的

3、列表等于列表?

以上的可变对象在扩充时,有相似的分配机制,在动态扩容时可明显看出效果。

那么,静态创建的对象是否也有这样的分配机制呢?它跟动态扩容比,是否有所区别呢?

先看看集合与字典:

# 静态创建对象
set_1 = {1, 2, 3, 4}
set_2 = {1, 2, 3, 4, 5}
dict_1 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5}
dict_2 = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5, 'f':6}

sys.getsizeof(set_1)  # 224
sys.getsizeof(set_2)  # 736
sys.getsizeof(dict_1) # 240
sys.getsizeof(dict_2) # 368

看到这个结果,再对比上一节的截图,可以看出:在元素个数相等时,静态创建的集合/字典所占的内存跟动态扩容时完全一样。

这个结论是否适用于列表对象呢?一起看看:

list_1 = ['a', 'b']
list_2 = ['a', 'b', 'c']
list_3 = ['a', 'b', 'c', 'd']
list_4 = ['a', 'b', 'c', 'd', 'e']

sys.getsizeof(list_1)  # 80
sys.getsizeof(list_2)  # 88
sys.getsizeof(list_3)  # 96
sys.getsizeof(list_4)  # 104

上一节的截图显示,列表在前 4 个元素时都占 96 字节,在 5 个元素时占 128 字节,与这里明显矛盾。

所以,这个秘密昭然若揭:在元素个数相等时,静态创建的列表所占的内存有可能小于动态扩容时的内存!

也就是说,这两种列表看似相同,实际却不同!列表不等于列表!

EMMM.....Interesting......


4、消减元素就会释放内存?

前面提到了,扩充可变对象时,可能会申请新的内存。

那么,如果反过来缩减可变对象,减掉一些元素后,新申请的内存是否会自动回收掉呢?

import sys
a = [1, 2, 3, 4]
sys.getsizeof(a) # 初始值:96
a.append(5)      # 扩充后:[1, 2, 3, 4, 5]
sys.getsizeof(a) # 扩充后:128
a.pop()          # 缩减后:[1, 2, 3, 4]
sys.getsizeof(a) # 缩减后:128

如代码所示,列表在一扩一缩后,虽然回到了原样,但是所占用的内存空间可没有自动释放啊。其它的可变对象同理。

这就是 Python 的小秘密了,“胖子无法减重原理”:瘦子变胖容易,缩减身型也容易,但是体重减不掉,哈哈~~~


4、空字典等于空字典?

使用 pop() 方法,只会缩减可变对象中的元素,但并不会释放已申请的内存空间。

还有个 clear() 方法,它会清空可变对象的所有元素,让我们试试看吧:

import sys
a = [1, 2, 3]
b = {1, 2, 3}
c = {'a':1, 'b':2, 'c':3}

sys.getsizeof(a) # 88
sys.getsizeof(b) # 224
sys.getsizeof(c) # 240

a.clear()        # 清空后:[]
b.clear()        # 清空后:set()
c.clear()        # 清空后:{},也即 dict()

调用 clear() 方法,我们就获得了几个空对象。

在第一小节里,它们的内存大小已经被查验过了。(前面说过会考的,请默写下)

但是,如果这时再查验的话,你会惊讶地发现,这些空对象的大小跟前面查的并不完全一样!

# 承接前面的清空操作:
sys.getsizeof(a) # 64
sys.getsizeof(b) # 224
sys.getsizeof(c) # 72

空列表与空元组的大小不变,然而空字典(72)竟然比前面的空字典(240)要小很多!

也就是说,列表与元组在清空元素后,回到起点不变初心,然而,字典这家伙却是“赔了夫人又折兵”,不仅把“吃”进去的全吐出来了,还把自己的老本给亏掉了!

EMMM.....Interesting......

以上就是 Python 在分配内存时的几个小秘密啦,看完之后,又可以出去装逼了呢!

如有心得或者疑问,欢迎留言一起交流哦~

在这个大世界里还有很多秘密等待着我们去探索,一起加油吧~!

转载自https://www.cnblogs.com/Du704/p/11543339.html

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Python 内存分配时的小秘密

Python 中的 模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。 本文将会频繁地使用该模块的 方法,因此,我先简要介绍一下: 该方法...

osc_eibr31r7
2019/08/31
1
0
Python 内存分配时的小秘密

Python 中的 模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。 本文将会频繁地使用该模块的 方法,因此,我先简要介绍一下: 该方法...

豌豆花下猫
2019/08/31
3.5K
6
趣谈python的内存分配机制

趣谈python的内存分配机制 原文地址:https://www.cnblogs.com/Du704/p/11543339.html 虽然我们现在得益于时代和技术的发展,不用再担心内存的问题;但是遥想当年,都是恨不得一个钢镚掰成俩...

osc_g5vuxtsj
04/16
2
0
Python 为了提升性能,竟运用了共享经济

大家或许知道,Python 为了提高内存的利用效率,采用了一套共用对象内存的分配策略。 例如,对于那些数值较小的数字对象([-5, 256])、布尔值对象、None 对象、较短的字符串对象(通常 是 ...

豌豆花下猫
2019/09/13
51
0
Python内存分配

python中对象内存分配的秘密: http://note.youdao.com/noteshare?id=4f2a12ca09e6ec21d3ea03d05e2744e9

扉亦般先生
2019/09/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

使用CSS按比例调整图像大小? [重复] - Resize image proportionally with CSS? [duplicate]

问题: This question already has an answer here: 这个问题在这里已有答案: How do I auto-resize an image to fit a 'div' container? 如何自动调整图像大小以适合“div”容器? 31 ans......

fyin1314
今天
18
0
define()与const - define() vs. const

问题: In PHP, when do you use 在PHP中,何时使用 define('FOO', 1); and when do you use 以及何时使用 const FOO = 1; ? ? What are the main differences between those two? 两者之......

法国红酒甜
今天
26
0
将Node.js升级到最新版本 - Upgrading Node.js to latest version

问题: So, I have Node.js installed and now when I tried to install Mongoosejs I got an error telling me that I don't have the needed version of Node.js (I have v0.4.11 and v0.4......

javail
今天
17
0
等到所有jQuery Ajax请求都完成了吗? - Wait until all jQuery Ajax requests are done?

问题: How do I make a function wait until all jQuery Ajax requests are done inside another function? 我如何让一个函数等到所有jQuery Ajax请求都在另一个函数中完成之后? In short...

富含淀粉
今天
17
0
OSChina 周日乱弹 —— 那么长的绳子,你这是放风筝呢

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @ 巴拉迪维:黑豹乐队的单曲《无地自容》 耳畔突然响起旋律,是那首老歌。中国摇滚有了《一无所有》不再一无所有;中国摇滚有了《无地自容》不...

小小编辑
今天
103
2

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部