HTTP是什么？http是超文本传输协议用来在web浏览器和网站服务器之间传递数据信息，http以明文的方式发送内容，不提供任何方式的数据加密，如果攻击者截获了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付......
一.存储数据库
1.问题：
当保存指定字段存入数据库的时候，如果仔细查看数据库会发现，主键id是不连续的值，即使设置了失败后事务回滚，也无济于事
也就是说，不管数据是否插入成功，id都会自增1
原因：
innodb的自增是缓存在内存字典中的，分配方式是先预留，然后再插入......
XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。W3School官方文档
开发工具
开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
Chrome插件 XPath Helper
Fi......
Scrapy–CrawlSpiderScrapy框架中分两类爬虫，Spider类和CrawlSpider类。
此案例采用的是CrawlSpider类实现爬虫。
它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(r......
SeleniumSelenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据......
Scrapy-Redis分布式策略原理图：
假设有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一台电脑都可以作为 Master端 或 Slaver端，比如：
Master端(核心服务器) ：使用 Windows 10，搭建一个Redi......
BeautifulSoup4官方文档
是一个Python库，用于从HTML和XML文件中提取数据。它与您最喜欢的解析器一起使用，提供导航，搜索和修改解析树的惯用方法。它通常可以节省程序员数小时或数天的工作量。
1.安装BeautifulSoup41pip install bs4
2.详细......
以下内容均为python3.6.*代码学习爬虫，首先有学会使用urllib库，这个库可以方便的使我们解析网页的内容，本篇讲一下它的基本用法
解析网页12345678910111213#导入urllibfrom urllib import request # 明确urlbase_url = &#......
一.生产者和消费者模式
什么是生产者消费者模式
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，
所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就......
最近在学习爬虫，在爬取网站时很多时候是需要将图片或视频下载到本地 今天就来说说如何使用urllib将图片保存到本地
以下代码均为win7 python3.6.*
使用urllib****下载函数保存123456from urllib import request # 要下载的图片链接地......