国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python使用__slots__讓你的代碼更加節(jié)省內(nèi)存

2020-01-04 14:35:11
字體:
供稿:網(wǎng)友

前言

在默認(rèn)情況下,Python的新類和舊類的實(shí)例都有一個(gè)字典來存儲屬性值。這對于那些沒有實(shí)例屬性的對象來說太浪費(fèi)空間了,當(dāng)需要創(chuàng)建大量實(shí)例的時(shí)候,這個(gè)問題變得尤為突出。

因此這種默認(rèn)的做法可以通過在新式類中定義了一個(gè)__slots__屬性從而得到了解決。__slots__聲明中包含若干實(shí)例變量,并為每個(gè)實(shí)例預(yù)留恰好足夠的空間來保存每個(gè)變量,因此沒有為每個(gè)實(shí)例都創(chuàng)建一個(gè)字典,從而節(jié)省空間。

本文主要介紹了關(guān)于python使用__slots__讓你的代碼更加節(jié)省內(nèi)存的相關(guān)內(nèi)容,分享出來供大家參考學(xué)習(xí),下面話不多說了,來一起看看詳細(xì)的介紹吧

現(xiàn)在來說說python中dict為什么比list浪費(fèi)內(nèi)存?

和list相比,dict 查找和插入的速度極快,不會隨著key的增加而增加;dict需要占用大量的內(nèi)存,內(nèi)存浪費(fèi)多。

而list查找和插入的時(shí)間隨著元素的增加而增加;占用空間小,浪費(fèi)的內(nèi)存很少。

python解釋器是Cpython,這兩個(gè)數(shù)據(jù)結(jié)構(gòu)應(yīng)該對應(yīng)C的哈希表和數(shù)組。因?yàn)楣1硇枰~外內(nèi)存記錄映射關(guān)系,而數(shù)組只需要通過索引就能計(jì)算出下一個(gè)節(jié)點(diǎn)的位置,所以哈希表占用的內(nèi)存比數(shù)組大,也就是dict比list占用的內(nèi)存更大。

如果想更加詳細(xì)了解,可以查看C的源代碼。python官方鏈接:https://www.python.org/downloads/source/

如下代碼是我從python官方截取的代碼片段:

List 源碼:

typedef struct { PyObject_VAR_HEAD /* Vector of pointers to list elements. list[0] is ob_item[0], etc. */ PyObject **ob_item;  /* ob_item contains space for 'allocated' elements. The number * currently in use is ob_size. * Invariants: * 0 <= ob_size <= allocated * len(list) == ob_size * ob_item == NULL implies ob_size == allocated == 0 * list.sort() temporarily sets allocated to -1 to detect mutations. * * Items must normally not be NULL, except during construction when * the list is not yet visible outside the function that builds it. */ Py_ssize_t allocated;} PyListObject;

Dict源碼:

/* PyDict_MINSIZE is the minimum size of a dictionary. This many slots are * allocated directly in the dict object (in the ma_smalltable member). * It must be a power of 2, and at least 4. 8 allows dicts with no more * than 5 active entries to live in ma_smalltable (and so avoid an * additional malloc); instrumentation suggested this suffices for the * majority of dicts (consisting mostly of usually-small instance dicts and * usually-small dicts created to pass keyword arguments). */#define PyDict_MINSIZE 8 typedef struct { /* Cached hash code of me_key. Note that hash codes are C longs. * We have to use Py_ssize_t instead because dict_popitem() abuses * me_hash to hold a search finger. */ Py_ssize_t me_hash; PyObject *me_key; PyObject *me_value;} PyDictEntry; /*To ensure the lookup algorithm terminates, there must be at least one Unusedslot (NULL key) in the table.The value ma_fill is the number of non-NULL keys (sum of Active and Dummy);ma_used is the number of non-NULL, non-dummy keys (== the number of non-NULLvalues == the number of Active items).To avoid slowing down lookups on a near-full table, we resize the table whenit's two-thirds full.*/typedef struct _dictobject PyDictObject;struct _dictobject { PyObject_HEAD Py_ssize_t ma_fill; /* # Active + # Dummy */ Py_ssize_t ma_used; /* # Active */  /* The table contains ma_mask + 1 slots, and that's a power of 2. * We store the mask instead of the size because the mask is more * frequently needed. */ Py_ssize_t ma_mask;  /* ma_table points to ma_smalltable for small tables, else to * additional malloc'ed memory. ma_table is never NULL! This rule * saves repeated runtime null-tests in the workhorse getitem and * setitem calls. */ PyDictEntry *ma_table; PyDictEntry *(*ma_lookup)(PyDictObject *mp, PyObject *key, long hash); PyDictEntry ma_smalltable[PyDict_MINSIZE];};

PyObject_HEAD 源碼:

#ifdef Py_TRACE_REFS/* Define pointers to support a doubly-linked list of all live heap objects. */#define _PyObject_HEAD_EXTRA  / struct _object *_ob_next;  / struct _object *_ob_prev; #define _PyObject_EXTRA_INIT 0, 0, #else#define _PyObject_HEAD_EXTRA#define _PyObject_EXTRA_INIT#endif /* PyObject_HEAD defines the initial segment of every PyObject. */#define PyObject_HEAD   / _PyObject_HEAD_EXTRA  / Py_ssize_t ob_refcnt;  / struct _typeobject *ob_type;

PyObject_VAR_HEAD 源碼:

/* PyObject_VAR_HEAD defines the initial segment of all variable-size * container objects. These end with a declaration of an array with 1 * element, but enough space is malloc'ed so that the array actually * has room for ob_size elements. Note that ob_size is an element count, * not necessarily a byte count. */#define PyObject_VAR_HEAD  / PyObject_HEAD   / Py_ssize_t ob_size; /* Number of items in variable part */

現(xiàn)在知道了dict為什么比list 占用的內(nèi)存空間更大。接下來如何讓你的類更加的節(jié)省內(nèi)存。

其實(shí)有兩種解決方案:

第一種是使用__slots__ ;另外一種是使用Collection.namedtuple 實(shí)現(xiàn)。

首先用標(biāo)準(zhǔn)的方式寫一個(gè)類:

#!/usr/bin/env pythonclass Foobar(object): def __init__(self, x): self.x = x@profiledef main(): f = [Foobar(42) for i in range(1000000)]if __name__ == "__main__": main()

然后,創(chuàng)建一個(gè)類Foobar(),然后實(shí)例化100W次。通過@profile查看內(nèi)存使用情況。

運(yùn)行結(jié)果:

python,slots,代碼,內(nèi)存

該代碼共使用了372M內(nèi)存。

接下來通過__slots__代碼實(shí)現(xiàn)該代碼:

#!/usr/bin/env pythonclass Foobar(object): __slots__ = 'x' def __init__(self, x): self.x = x@profiledef main(): f = [Foobar(42) for i in range(1000000)]if __name__ == "__main__": main()

運(yùn)行結(jié)果:

python,slots,代碼,內(nèi)存

使用__slots__使用了91M內(nèi)存,比使用__dict__存儲屬性值節(jié)省了4倍。

其實(shí)使用collection模塊的namedtuple也可以實(shí)現(xiàn)__slots__相同的功能。namedtuple其實(shí)就是繼承自tuple,同時(shí)也因?yàn)開_slots__的值被設(shè)置成了一個(gè)空tuple以避免創(chuàng)建__dict__。

看看collection是如何實(shí)現(xiàn)的:

python,slots,代碼,內(nèi)存

collection 和普通創(chuàng)建類方式相比,也節(jié)省了不少的內(nèi)存。所在在確定類的屬性值固定的情況下,可以使用__slots__方式對內(nèi)存進(jìn)行優(yōu)化。但是這項(xiàng)技術(shù)不應(yīng)該被濫用于靜態(tài)類或者其他類似場合,那不是python程序的精神所在。

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對VEVB武林網(wǎng)的支持。


注:相關(guān)教程知識閱讀請移步到python教程頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 平度市| 巴南区| 宁远县| 乌鲁木齐县| 香港 | 十堰市| 新疆| 长乐市| 凤庆县| 城口县| 吉安县| 凤台县| 东平县| 任丘市| 象州县| 四川省| 六安市| 厦门市| 锡林浩特市| 棋牌| 湖北省| 泽州县| 秦皇岛市| 洛阳市| 南投县| 绥江县| 玛多县| 蒙城县| 水城县| 泸溪县| 江安县| 启东市| 西安市| 奈曼旗| 罗山县| 南澳县| 石屏县| 鞍山市| 北海市| 南汇区| 平乡县|