robots协议中能不能爬数据的情况

0

截图
查看robots.txt只有上图的内容,那对应的网站的数据是可以爬还是不能爬?百度了一下,有一些网站会写明什么能爬什么不能,但像这样只有这两句的是可以还是不可以

已邀请:

blogdaren - 常年游走于 Linux、PHP、C、VIM 之间【http://www.phpcreeper.com】

赞同来自:

robots针对的是比如baidu、google这类搜索引擎而言的,不影响你自己爬取。

要回复问题请先登录注册