由于该网站的robots.txt文件存在限制指令的解决办法找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；下面一步很关键，就是到站长平台下去更新robots文...