KB_lol
2020-05-10T10:41:37+00:00
[url]https://github.com/Techuichang/-/blob/master/%E7%9C%8B%E5%87%86%E7%BD%91%E4%B8%8A%E5%B8%82%E5%85%AC%E5%8F%B8%E6%9F%A5%E8%AF%A2.ipynb[/url]想在看准网上发现一些评分高的好公司(爬的内容有评分，评分人数，关注人数，招聘会的学校...)，现在因为看准的限制,爬了百来个爬不动了。。求大侠帮助
Reply to [pid=421297231,21715525,1]Reply[/pid] Post by [uid=60074674]josam1988[/uid] (2020-05-12 18:58) 附的链接里有，被强制要求登录了，但是用虚拟浏览器登录界面的验证条又读不出来
Reply to [pid=421301655,21715525,1]Reply[/pid] Post by [uid=36841094]网络恶霸张大锤[/uid] (2020-05-12 19:17) 你可以看一下爬到的结果，搜一下自己的股票
[quote][pid=421301655,21715525,1]Reply[/pid] Post by [uid=36841094]网络恶霸张大锤[/uid] (2020-05-12 19:17):
附的链接里有，被强制要求登录了，但是用虚拟浏览器登录界面的验证条又读不出来[/quote]chrome版本换下试试
这个网站是 SPA，直接分析一下爬 API 不就完了，在那里加载一堆资源然后 select DOM 得花多少时间啊
API Limit 测一下看下阈值多少，低就多 cookie 验证部署多个分布式的爬，高就稍微降低一下频率单机解决了。