首页 > 如何自定义条件遍历某个网站的所有页面?

如何自定义条件遍历某个网站的所有页面?

最近要开通很多学校,需要找到学校的学号、密码登陆页面,但人工找特别麻烦,我看运营童鞋们好辛苦,想帮帮忙。
我的需求是:遍历目标网站的所有子站(不包括外链),并提取出带有目标关键字的url。然后再人工筛选。(不知道大家是否有更好的解决方案的描述,希望能提点建议)

要做到上述事情,需要学习什么技术?或者有没有什么工具能帮忙?(尽量能短期内实现)


如果这个网站的代码是自己写的,那直接在源代码中进行工程内所有文件的搜索即可。

如果这个网站只能通过外部访问,那就要用爬虫去遍历网站所有的链接,然后在链接结果中进行搜索。有很多爬虫配置一下就可以使用,这种只是搜集URL的功能都是最基础的。

【热门文章】
【热门文章】