首页 > > 网络编程 > 其它 >

python爬虫学习教程，短短25行代码批量下载豆瓣…

2019-07-24 09:10:18来源：博客园阅读 ()

python爬虫学习教程，短短25行代码批量下载豆瓣妹子图片、非常简短，代码不是很多非常适合新手练习！

代码展示：

 1 #!/usr/bin/env python
 2 import urllib.request
 3 from bs4 import BeautifulSoup
 4 def crawl(url):
 5  headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
 6  req = urllib.request.Request(url, headers=headers)
 7  page = urllib.request.urlopen(req, timeout=20)
 8  contents = page.read()
 9  soup = BeautifulSoup(contents)
10  my_girl = soup.find_all('img')
11  for girl in my_girl:
12  link = girl.get('src')
13  print(link)
14  content2 = urllib.request.urlopen(link).read()
15  with open(u'D:\doubanmeizi'+'/'+link[-11:],'wb') as code:
16  code.write(content2)
17 page_start = 0
18 page_stop = 10
19 for page in range(page_start, page_stop):
20  page += 1
21  url = 'http://www.dbmeinv.com/?pager_offset=%s' % page
22  crawl(url)
23 print("哈哈，妹子图片下载完毕啦！")
24  
25 '''
26 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun，934109170，群里有不错的学习教程、开发工具与电子书籍。
27 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。
28 '''