-
scrapy学习笔记（二）框架结构工作原理
scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的数据，并产生...
-
pyspider 数据存入Mysql--Python3
一、不写入Mysql 以爬取哪儿网为例。 以下为脚本： from pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self): self.crawl('https://travel.qunar.com/travelbook/list.htm', callback=se...
-
PackagesNotFoundError: The following packages are not availa
Collecting package metadata: done Solving environment: failed PackagesNotFoundError: The following packages are not available from current channels: - easydict Current channels: - https://repo.anaconda.com/pkgs/main/linux-64 - https://repo.anaconda....
-
Python连载19-装饰器
一、检视一个函数相同的另一种方法 利用属性:函数._name def hello(): print ( " 我是一个测试程序 " )f = hello print (f. __name__ ) print (hello. __name__ ) 从结果来看他们的本体都是hello函数 二、装饰器 1.定义：在不改动代码的基础上无限扩展函数功能的一种机...
-
Python 在用 Pyinstaller封装exe-TypeError: expected str, byte
一、环境： 系统：win7 版本：Python 3.7.2 （32位） 二、问题： 利用Pyinstaller封装exe 时， 报错：TypeError: expected str, bytes or os.PathLike object, not NoneType 如下图： 三、解决方法： 1.这个问题，在GitHub上已提及https://github.com/pyinstaller/pyin...
-
Django中信号signals简单使用
在平时的开发过程中，我们会遇到一些特殊的应用场景，如果你想要在执行某种操作之前或者之后你能够得到通知，并对其进行一些你想要的操作时，你就可以用Django中的信号（signals）。Django 提供一个信号分发器，允许解耦的应用在框架的其它地方发生操作时会被通知到，...
-
day01 爬虫基本原理以及requests请求库
一、爬虫基本原理 1.什么是爬虫 爬虫就是爬取数据 2.什么是互联网 有一堆网络设备，把一台台的计算机互联到一起称为互联网 3.互联网建立的目的 数据的传递与数据的共享 4.什么是数据 例如： 电商平台的商品信息 链家，自如租房平台的房源信息 ... 12306，票务信息 5.什...
-
【第二篇】python初识
一、Python安装 以python3.6为例，python2版本的安装方式与python3类似 1.1 windows下安装 1 1 .下载安装包 2 https://www.python.org/downloads/ 3 2 .执行可执行程序，直接下一步即可： 4 默认安装路径：C:\python36 5 3 .配置环境变量(如果在安装时勾选配置环境变量...
-
python基础
第一篇：python基础 1.python下载及安装详情见以下网址： https://jingyan.baidu.com/article/22fe7cedf04d373002617f18.html 2.python介绍： python的创始人为吉多范罗苏姆（Guido van Rossum），特点：功能全面，易学易用，可拓展的语言，Python可以应用于众多领域，...
2019-07-24 09:11:10 YouTube腾讯百度FacebookDropbox豆瓣Yahoo!Google美团PS
-
python网站主动推送
import requests import random def tuisong(): # urls用来存放需要推送的网站url，根据自己的实际网站数量添加 urls = { 'vc': '/urls?site=www.victorytestseo.comtoken=k6V0Pq2c7BSmMgIb', 'fs': '/urls?site=www.firsttestseo.comtoken=k6V0Pq2c7BSmMgIb', 'qc': '...
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash