Colly是Golang世界最知名的Web爬虫框架了，它的API清晰明了，高度可配置和可扩展，支持分布式抓取，还支持多种存储后端（如内存、Redis、MongoDB等）。这篇文章记录我学习使用它的的一些感受和理解。 首先安装它： 这个go get和之前安装包不太一样，最后有...这样的省略号，它的意…

为什么用vendor目录 依赖问题 我们知道，一个工程稍大一点，通常会依赖各种各样的包。而Go使用统一的GOPATH管理依赖包，且每个包仅保留一个版本。而不同的依赖包由各自的版本工具独立管理，所以当所依赖的包在新版本发生接口变更或删除时，会面临很多问题。为避免此类问题，我们可能会为不同的工程设置不同…

备注:管道的关闭时,管道中就不可以再写入数据,但是我们还是能读取数据的 用内建函数make创建的管道,如果没有定义管道的大小,默认是不能进行缓存的,也就是说,如果 channel:=make(chan string) 这种方法,如果往里面写入数据时必须要定义一个位置读取数据,否则就会发生阻塞死锁(d…

引言 开篇先引入这么一个需求,一个集团公司下有许多子公司,而子公司都有各自的网站。公司之间的顶级域名都是不相同的,例如A公司的域名为:www.a.com,B公司的域名为www.b.com。但因为他们隶属于同一个集团,因此,我想让用户登录A公司的网站后,第二次点击B公司的网站时自动同步登录状态,而不是…

本文只针对Nginx在不加载第三方模块的情况能处理哪些事情，由于第三方模块太多所以也介绍不完，当然本文本身也可能介绍的不完整，毕竟只是我个人使用过和了解到过得，欢迎留言交流。 Nginx能做什么 ——反向代理 ——负载均衡 ——HTTP服务器（动静分离） ——正向代理 以上就是我了解到的Nginx在…