网站一定要写robots吗 – 段文杰SEO博客
发布网友
发布时间：2024-10-21 23:05
共2个回答
热心网友
时间：2024-10-23 02:08
这个当然要写啦，而且是非常重要的，robots文件可以屏蔽一些蜘蛛读取不了的文件，就会少很多404页面，提高蜘蛛抓取的质量，这样蜘蛛才能有效的全部抓取到所有内容。
不然就是写的文章再好，蜘蛛抓取不到岂不是很可惜。
热心网友
时间：2024-10-23 02:09
我知道你是广告的，但是我告诉你robots 不一定要写，除非你要禁止某个目录或者文件让蜘蛛访问，才需要写robots规则。
