取消输入
 
 

爬虫常见问题

履带
请求重试了多少次?

默认情况下,从第一次开始处理请求起,请求会在 110 小时内重试 48 次。

履带
在永久性故障的情况下会发生什么?

如果成功或失败,您总会收到回调,请查看 pc_status 和 original_status 了解状态码。

履带
如果我的 webhook 端点关闭了怎么办?

如果您的 Crawler 回调已关闭,您会收到电子邮件通知,您的搜寻器会暂停,并且您的最后一个由于端点停机而失败的请求将被设置为重试。 当您的端点自动可用时,您的爬虫将恢复。 我们的监控系统每分钟检查一次您的端点。

履带
现场监控用语

“等待”意味着您的请求在您的爬虫队列中等待处理。 “并发爬虫”是同时被爬取的请求。 如果您有很多页面要抓取,我们的系统会增加并发爬虫,我们还会监控爬虫并根据池增加或减少并发。 “要重试的集合”是您的请求因任何原因失败,它们进入您的爬虫重试队列并以重试率处理,直到最多重试 110 次。

履带
我在哪里可以获得 API 密钥?

您可以在 Normal Request Tokens 或 Javascript Request Tokens 中使用 API Key。 https://proxycrawl.com/dashboard/account/docs

履带
每秒推送 30 个 URL 的限制。 我们正在寻找大量的 URL。 有没有办法提高限额?

对于 LinkedIn 爬网,限制为每秒 30 次推送。 但对于其他网址,我们可以根据具体情况增加限制

需要帮忙? 联系我们

有关产品的任何类型的查询,请联系我们

联系我们
今天开始爬网
免费尝试。 无需信用卡。 即时设置。