首页 > 站长资讯平台 > 建站经验 > 伪装的爬虫
  • 关于网络爬虫的那些事:干掉伪装的爬虫

    在关于网络爬虫的那些事(一)提到,如果爬虫伪装自己的User-Agent信息,就必须寻找新的办法来封杀爬虫了。事实上对网站来说,最大的挑战就是如何准确的甄别一个IP发起的请求,究竟是真实用户访问还是爬虫访问呢? 先说点题外话,在很多年以前(2000年),我就做过网站...

    2019-03-11 10:00:59 伪装的爬虫

共1页