python爬虫的去重策略1、将访问过的url保存到数据库中2、将访问过的url保存到set中优点：只需要 o(1)的代价就可以查询 URL缺点：对内存要求高。若有 1 亿网页，则占用内存为：1000000000*2byte*50 个字符1