面向珍爱网的多协程并发爬虫|Golang

2019年12月5日 0 条评论 1.23k 次阅读 0 人点赞

自从舍弃PHP语言后,又开始对Go这个工具下手了,由于PHP对协程的支持并不是特别好,这也是我渐渐选择Golang的原因。Java由于多线程的开起,内存吃紧的厉害,这也是我不选择Java的原因。

此次练手,也谈不上技术,只是为了练手多协程下的爬虫调度,我用它爬取珍爱网各个城市地区首页的用户信息,记录在记事本文档里。

如下图所示:

珍爱网做了一部分的反爬措施,一次性我只能开2条协程,开到4条,珍爱网就会封我IP,这爬的其实也挺憋屈,每一次被封IP,我只能连着我的代理,换IP继续爬

贴上代码,记录一下

下面是这个工程的类文件代码

启动爬虫函数

主入口

兰陵美酒郁金香

大道至简 Simplicity is the ultimate form of sophistication.

文章评论(0)

你必须 登录 才能发表评论