• 技术上的鬼扯淡:屏蔽百度爬虫的正确方法

    在百度C2C产品百度有啊即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是杜绝不良商家欺诈。 在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容: User-agent: Baiduspider Disallow:...

    2019-03-10 12:08:50 屏蔽百度鬼扯淡

共1页