旅游行业优秀服务商

百度推广+抖音直播+微信加粉=全方位获客

在线客服电话:18038053817

3各位大神,目前在robots中可以禁止爬虫对端口内容的抓取吗?如果不能,那么应该怎么解决爬虫抓取端口的内容而不抓取正常网址呢?

3各位大神,目前在robots中可以禁止爬虫对端口内容的抓取吗?如果不能,那么应该怎么解决爬虫抓取端口的内容而不抓取正常网址呢?

您的项目需求

*请认真填写需求信息,我们会在24小时内与您取得联系。