作为程序员是一定要了解爬虫的,若是我们能把爬虫定制为一个小小的系统,在采集同类型的资源时,将会事半功倍,下面我推荐的是一个python版本的采集器,这个采集器主要是采集小说网站的,但是不防我们拿来研究研究,开阔一下思路,可以做我们自己的采集器。
下面说一下,它的安装教程,至于程序的获取请看最后,
上传94采集安装包
1)下载最新版本94采集器,上传至Linux服务器
先在自己的Linux上安装宝塔面板,用宝塔面板管理;
将下载的94采集器压缩包上传到服务器上(路径可以自己定)并解压
2)找到config.py文件,修改
只修改端口,94采集器作者反馈其他的不需要修改;端口可以自己定义,只要不被占用即可
94采集器文件修改
宝塔安全组放通
登录宝塔面板–》安全,将上面设置的端口放通
安装设置python管理器
注意:如果你宝塔面板中的安全加固功能开启了,请先关闭,不然管理器启动会失败
1)使用宝塔安装python管理器,并利用管理器安装python3.8.5版本
2)添加项目管理
参考下面的设置。
若启动失败,请安装 cfscrape 模块。
最后你可以用 ip:8099 (ip+端口)或者配置代理域名访问试试。