Anti-Anti-Spider Concept
最近因为毕业设计 需要对网络资源进行爬取。记录爬虫的规则与反爬 (网络不是非法之地~
不做任何盈利目的与网站攻击目的
robots.txt每个网站是否可以被爬，以及被爬的范围，都定义在ro
2021-03-02