• 【Python3爬虫】使用异步协程编写爬虫

    一、基本概念 进程 :进程是一个具有独立功能的程序关于某个数据集合的一次运行活动。进程是操作系统动态执行的基本单元。 线程 :一个进程中包含若干线程,当然至少有一个线程,线程可以利用进程所拥有的资源。线程是独立运行和独立调度的基本单元。 协程 :协程是一...

    2019-01-21 02:42:37

  • 20190116-将特定数字插入一个已经排序好的序列并且不

    1. 有一个已经排好序的列表。现输入一个数,要求按原来的规律将它插入列表中 分析:已经排好序的列表也可能是升序也可能是降序,需要先确定列表的排序方式以升序为例,需要考虑4主要种情况: Case1:小于列表的第一个值,则插入第一个 如s=[2,3,4],插入1,则结果应该为[...

    2019-01-21 02:42:32

  • python 购物车小程序(列表、循环、条件语句)

    goods = [ [ ' iphone6s ' , 5800 ], [ ' mac book ' , 9000 ], [ ' coffee ' , 32 ], [ ' python book ' , 80 ], [ ' bicyle ' , 1500 ],] shopping_car = []salary = input( " Salary: " ) if salary.isdigit(): salary = int(salary) else : print ( " 只能输入整数...

    2019-01-21 02:42:36

  • python 列表(增删改查)

    列表 : (列表可以嵌套,列表的中的元素可以为任意) 1.查: 索引(下标),都是从 0开始 切片 .count 查某个元素在列表中出现的次数 .index 根据内容找对应的位置(第一个匹配项所在的位置) “ 二狗 ” in a 判断二狗是不是在列表a中 2.增: a. append() 用于在列表末...

    2019-01-21 02:42:34

  • scrapy中selenium的应用

    在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果...

    2019-01-21 02:42:30

  • 函数

    一、基本定义 定义 : 函数是指将一组语句的集合通过一个名字(函数名)封装起来,要执行这个函数,只需要调用其函数名即可。 特性: 减少重复代码 使程序变得可扩展 使程序变得易维护 语法定义: def person(): # 函数名 print ( " 风清扬 " )person() # 调用函数 带...

    2019-01-21 02:42:27

  • Scrapy持久化存储

    基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作; 执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名...

    2019-01-21 02:42:29

  • ua池和代理池

    下载中间件 下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。 作用: (1)引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent,设置代理等 (2)在下载器完成将Response传递给引擎中,下载...

    2019-01-21 02:42:28

  • numpy 的排序

    1 import numpy as np 2 3 # 1、快速排序 4 ''' 5 1、np.sort(),不改变原先值的顺序,但是在运行时占内存 6 2、ndarry.sort(),改变原先值的顺序,不占用内存 7 ''' 8 # 不改变n1的顺序 9 n1 = np.array([2, 5, 8, 156, 4, 9, 3 ]) 10 n2 = np.sort(n1) 11 # print(n1,...

    2019-01-21 02:42:01

  • Python 夺大满贯!三大编程语言榜即将全部“失守”!

    有互联网创业者说: 2019年可能会是过去十年里最差的一年 但却是未来十年里最好的一年 真的是这样吗? “ 每月工资1w,如何赚到200w? ” 同样一个问题,问不同的人会得到不同的答案。 有一类人,开始迅速计算答案,脱口而出:16.6年! 另一类人,用了7天思考,然后写...

    2019-01-21 02:42:18

2