Python的一些用于抓取的方法封装

[Python]代码    

#!/usr/bin/env python
#-*- coding:utf-8-*-

import urllib2
import re
import hashlib
import json

#--------------------------------------------------- 工具 start
def md5(str):
    '''
    计算MD5值
    '''
    m = hashlib.md5()   
    m.update(str)
    return m.hexdigest()

def search(regex, content, group = 1):
    '''
    搜索指定正则匹配的内容
    '''
    pattern = re.search(regex, content, re.DOTALL)
    if(pattern != None):
        return pattern.group(group)
    return ''

def findall(regex, content):
    '''
    查找指定正则匹配的所有内容
    '''
    return re.findall(regex, content, re.DOTALL)

def cleanHtmlTag(content):
    '''
    清理HTML标签
    '''
    return content or re.sub(r'<[^>]*?>', '', content).strip()

def cleanedSearch(regex, content, group = 1):
    '''
    查找匹配的指定字符串并清除HTML标签
    '''
    return cleanHtmlTag(search(regex, content, group))

def httpGet(url, encoding='gbk'):
    '''
    发送Http GET请求，返回内容
    '''
    return urllib2.urlopen(url).read().decode(encoding, 'ignore').encode('utf-8')

def toJson(dict):
    return json.dumps(dict, ensure_ascii=False, indent=4)

#--------------------------------------------------- 工具 end

标签： 代码 搜索

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。