爬虫07:requests请求模块2 爬虫•目录 爬虫•类别 Post方法 requests.Post()post()参数 data Form表单数据,字典形式,不需要编码和 2019-01-22 Spider requests 加密 爬虫06:requests请求模块1 爬虫•目录 爬虫•类别 requests是一个第三方模块,需要安装.Anaconda Prompt: conda install req 2019-01-22 Spider requests 图片 客户端验证 SSL认证 爬虫05:抓包 爬虫•目录 爬虫•类别 Fiddler配置Fiddler Tools -> Options HTTPS 1.勾选Decrypt H 2019-01-22 Spider 爬虫spider Fiddler 爬虫04:数据持久存储 爬虫•目录 爬虫•类别 Mongo数据库pymongo 1、连接对象 conn = pymongo.MongoClient(‘IP’,2 2019-01-22 Spider 爬虫spider Mongodb Mysql 防火墙 爬虫03:正则解析 爬虫•目录 爬虫•类别 解析模块数据的分类 结构化数据 固定格式 HTML JSON XML <a> &l 2019-01-22 Spider 爬虫spider 正则表达式 解析 爬虫02:请求及案例 爬虫•目录 爬虫•类别 1.GET1特点值在url后面 以键值的形式追加在后面 2案例上节案例 2.POST(在Request()中添加 2019-01-22 Spider 爬虫spider 爬虫01:概述,环境,模块 爬虫•目录 爬虫•类别 获取数据的方式 自有数据 第三方购买 数据堂 贵阳大数据交易所 爬虫爬取数据 市场上没有,价格太高,利用爬虫 2019-01-22 Spider 爬虫spider Anaconda Spyder