博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
huginn监控B站榜单脚本
阅读量:5121 次
发布时间:2019-06-13

本文共 328 字,大约阅读时间需要 1 分钟。

挂在云端的爬虫突然就被封IP了,数据库也马上就要到期了,可能运作不下去了,但还是把代码分享下吧,

如果B站的同学看到了,我就想问一句,我每天就访问一次也能封IP?

直接上结构图:

步骤:

1、每天定时去拉取B站总榜单数据:标题和链接

2、进行关键词过滤

3、除去已经展现过的标题,

4、生成RSS源

 

之后就是用自己搭建的RSS阅读器抓取了,到页面上是这样的,

此时就能作为RSS阅读了,

代码的话你拿过去导入就能用,为了防止某些站点搬运,把代码扔到云端了,

需要的同学可以关注公众号:

后台回复:监控榜单

就能获取了,然后有什么问题也可以后台留言交流,

 

转载于:https://www.cnblogs.com/1394htw/p/11282307.html

你可能感兴趣的文章
对团队成员公开感谢博客
查看>>
java学习第三天
查看>>
python目录
查看>>
django+uwsgi+nginx+sqlite3部署+screen
查看>>
Andriod小型管理系统(Activity,SQLite库操作,ListView操作)(源代码下载)
查看>>
在Server上得到数据组装成HTML后导出到Excel。两种方法。
查看>>
浅谈项目需求变更管理
查看>>
经典算法系列一-快速排序
查看>>
设置java web工程中默认访问首页的几种方式
查看>>
ASP.NET MVC 拓展ViewResult实现word文档下载
查看>>
8、RDD持久化
查看>>
第二次团队冲刺--2
查看>>
VMware Tools安装
查看>>
Linux上架设boost的安装及配置过程
查看>>
[转载]加密算法库Crypto——nodejs中间件系列
查看>>
zoj 2286 Sum of Divisors
查看>>
OO5~7次作业总结
查看>>
如何判断主机是大端还是小端(字节序)
查看>>
Centos7 日志查看工具
查看>>
使用Xshell密钥认证机制远程登录Linux
查看>>