谷歌浏览器扩展：模拟百度搜索引擎蜘蛛抓取访问

原文链接：https://www.chenweiliang.com/cwl-1038.html

SEO分析多个电商网站的过程中，有时需要测试对方友情链接，是否屏蔽搜索引擎蜘蛛访问？

我们可以通过软件工具，模拟搜索引擎蜘蛛的浏览。

陈沩亮建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。

本文使用Google Chrome浏览器为教程。

Chrome 扩展：User-Agent Switcher for Chrome

第1步：下载Chrome扩展

扩展程序 → 获取更多扩展程序 → 搜索“User-Agent Switcher for Chrome” →  点击“+ 添加到 CHROME”▼

第2步：刷新谷歌浏览器，你会注意到该插件已加载 ▼

第3步：进入 User-Agent Switcher for Chrome“选项”

在User-Agent Switcher for Chrome扩展图标右键， 选择“选项”后，会自动进入以下选项设置页 ▼

第4步：添加搜索引擎蜘蛛访问识别码

添加Chrome模拟搜索引擎蜘蛛访问识别，例如百度、谷歌 ▼

1. 百度：Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)


2. 谷歌：Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)


3. 搜狗：Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)


4. Bing：Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)

第5步：选择搜索引擎蜘蛛访问该网站 ▼

• 测试访问后，若如常显示，说明百度搜索引擎蜘蛛，能如常抓取网页。

欢迎转载《谷歌浏览器扩展：模拟百度搜索引擎蜘蛛抓取访问》
陈沩亮版权所有，转载请注明出处链接：https://www.chenweiliang.com/cwl-1038.html


网站地址：https://www.chenweiliang.com/



欲学更多秘技，请关注微信公众号：cwlboke