-
使用scrapy框架爬取全书网书籍信息。
爬取的内容:书籍名称,作者名称,书籍简介,全书网5041页,写入mysql数据库和.txt文件 1,创建scrapy项目 scrapy startproject numberone 2,创建爬虫主程序 cd numberonescrapy genspider quanshuwang www.quanshuwang.com 3,setting中设置请求头 USER_AGENT = " Moz...
-
Python基础总结之初步认识---class类的继承(终)。第十六天开始
最近生病了,python更新要结束了,但是这才是真正的开始。因为后面要更新的是UnitTest单元测试框架,以及后续的Requests库。在后续的笔记会补充一些python的其他细节笔记。我想是这样的hhh,开始更新。 接着前面的笔记开始,子类继承父类中的方法,目的是减少代码的重...
-
把Python项目打包成exe文件
我们很多时候,写好的程序需要打包成.exe文件才可以发给客户,那么今天我就来谈一谈,如何将一个写好的Python程序打包成exe文件! 首先,我们我们使用到的工具是python 3.7 和 Pyinstaller这两个工具,python 3.7我相信大家都不陌生了吧!因为我们写python程序使用的都...
-
python多线程同步实例分析
进程之间通信与线程同步是一个历久弥新的话题,对编程稍有了解应该都知道,但是细说又说不清。一方面除了工作中可能用的比较少,另一方面就是这些概念牵涉到的东西比较多,而且相对较深。网络编程,服务端编程,并发应用等都会涉及到。其开发和调试过程都不直观。由于...
-
python3基础之“函数(2)”
1.def:定义一个函数 1 def f(x): 2 return x+1 # 返回函数值 3 a=f(2 ) 4 print (a) 5 6 3 7 8 def even_odd(x): 9 if x%2== 0: 10 print ( " 123 " ) 11 else : 12 print ( " 456 " ) 13 14 print (even_odd(4 )) 15 16 123 2.try语句:异常处理 1 a=int(input( " ty...
-
xpath+多进程爬取全书网纯爱耽美类别的所有小说。
# 需要的库 import requests from lxml import etree from multiprocessing import Pool import os # 请求头 headers = { ' User-Agent ' : ' Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 ' } #...
-
进程相关
一、基本概念 定义:运行中的程序 程序和进程之间的区别: 程序只是一个文件 进程是这个文件被CPU运行起来了 进程是计算机中最小的资源分配单位 在操作系统中的唯一标识符 :pid 进程调度: 操作系统调度进程的算法 短作业优先算法 先来先服务算法 时间片轮转算法 多级...
-
Django基本知识
一、安装及使用 下载安装 命令行:pip3 install django==1.11.21 pycharm 创建项目 命令行: 找一个文件夹存放项目文件,打开终端: django-admin startproject 项目名称 项目目录 pycahrm 启动 命令行 切换到项目的根目录下 manage.py python36 manage.py runserver 1...
-
浅谈 Web框架
一、 Web框架本质 所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端 二、Web框架功能 socket收发消息 wsgiref(测试)、uwsgi(线上) 根据不同的路径返回不同的字符串 返回动态页面(字符串的替换) jinja2 三、Web框架种类 django 根据...
-
Python数据基础类型-列表
1,列表的创建 list1 = [ ' hello ' , ' world ' , 1997, 2000 ]list2 = [1, 2, 3, 4, 5 ]list3 = [ " a " , " b " , " c " , " d " ]list4 = list() # 创建空列表 list5 = [] # 创建空列表 2,访问列表的值 列表的数据访问需要使用索引序号。 list1 = ['hello', 'worl...
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash
