Baiduspider_阿汤博客
阿汤博客-承接中小企业服务器维护和网站维护,有意者可以联系博主!

标签:Baiduspider

网站优化

用robots文件提高蜘蛛抓取效率

用robots文件提高蜘蛛抓取效率
动态网站并不值得担心,搜索引擎可以正常抓取动态链接,但利用robots文件可以轻松提高动态网站的抓取效率。我们都知道,robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜...

3年前 (2015-10-21) 504℃ 0评论 0喜欢

网站优化

ETag助力站点提交sitemap ~ETag简介与作用

ETag助力站点提交sitemap ~ETag简介与作用
一、ETag简介 ETag(EntityTags)是URL的tag,用来标示URL对象是否改变,这样可利用客户端(例如浏览器)的缓存。由服务器首先产生ETag,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。服务器使用它来判断页面是否已经被修改,如果未修改返回304,...

3年前 (2015-10-04) 769℃ 0评论 0喜欢