-
scrapy学习笔记（二）框架结构工作原理
scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的数据，并产生...
-
pyspider 数据存入Mysql--Python3
一、不写入Mysql 以爬取哪儿网为例。 以下为脚本： from pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self): self.crawl('https://travel.qunar.com/travelbook/list.htm', callback=se...
-
PackagesNotFoundError: The following packages are not availa
Collecting package metadata: done Solving environment: failed PackagesNotFoundError: The following packages are not available from current channels: - easydict Current channels: - https://repo.anaconda.com/pkgs/main/linux-64 - https://repo.anaconda....
-
Python连载19-装饰器
一、检视一个函数相同的另一种方法 利用属性:函数._name def hello(): print ( " 我是一个测试程序 " )f = hello print (f. __name__ ) print (hello. __name__ ) 从结果来看他们的本体都是hello函数 二、装饰器 1.定义：在不改动代码的基础上无限扩展函数功能的一种机...
-
Python 在用 Pyinstaller封装exe-TypeError: expected str, byte
一、环境： 系统：win7 版本：Python 3.7.2 （32位） 二、问题： 利用Pyinstaller封装exe 时， 报错：TypeError: expected str, bytes or os.PathLike object, not NoneType 如下图： 三、解决方法： 1.这个问题，在GitHub上已提及https://github.com/pyinstaller/pyin...
-
Django中信号signals简单使用
在平时的开发过程中，我们会遇到一些特殊的应用场景，如果你想要在执行某种操作之前或者之后你能够得到通知，并对其进行一些你想要的操作时，你就可以用Django中的信号（signals）。Django 提供一个信号分发器，允许解耦的应用在框架的其它地方发生操作时会被通知到，...
-
day01 爬虫基本原理以及requests请求库
一、爬虫基本原理 1.什么是爬虫 爬虫就是爬取数据 2.什么是互联网 有一堆网络设备，把一台台的计算机互联到一起称为互联网 3.互联网建立的目的 数据的传递与数据的共享 4.什么是数据 例如： 电商平台的商品信息 链家，自如租房平台的房源信息 ... 12306，票务信息 5.什...
-
【第二篇】python初识
一、Python安装 以python3.6为例，python2版本的安装方式与python3类似 1.1 windows下安装 1 1 .下载安装包 2 https://www.python.org/downloads/ 3 2 .执行可执行程序，直接下一步即可： 4 默认安装路径：C:\python36 5 3 .配置环境变量(如果在安装时勾选配置环境变量...
-
python基础
第一篇：python基础 1.python下载及安装详情见以下网址： https://jingyan.baidu.com/article/22fe7cedf04d373002617f18.html 2.python介绍： python的创始人为吉多范罗苏姆（Guido van Rossum），特点：功能全面，易学易用，可拓展的语言，Python可以应用于众多领域，...
2019-07-24 09:11:10 YouTube腾讯百度FacebookDropbox豆瓣Yahoo!Google美团PS
-
python 使用xlsxwriter 写入数据时，当数据中链接的后面包含空格
python 在 使用 xlsxwriter组件写入数据时，当数据包含类似http://*** /数据时，导出的excel，打开时会提示如下错误： 没有查到相关的资料处理这个问题，可能原因为excel识别为链接，与内置库冲突导致，对数据准确性无大影响的情况下，只能临时通过字符替换解决： if k...
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash