做爬虫时内存占用太快怎么清理,如爬取tao宝全网数据,内存约占越大最后整个pycharm被憋死,设了gc还不行

2025-05-18 02:58:57
推荐回答(2个)
回答(1):

没看到代码,不好讲,python不存在写释放内存的问题,可能是定义了或生成了过多过大的列表或字典数据,注意多使用yield,会比return内存占用少很多

回答(2):

去附近的大学旁听一下本科的计算机原理和系统结构的课程,这个靠自学真的挺费劲的。
下图是系统结构的教材目录: