爬虫06：requests请求模块1

Spider 2019-01-22

requests是一个第三方模块，需要安装．
Anaconda Prompt: conda install requests
cmd: python -m pip install requests

Get方法　requests.get(url, headers=headers)

requests.get发起请求并获取对象

import requests

url = 'http://www.baidu.com/'
headers = {'User-Agent':''}

res = requests.get(url, headers=headers)
res.encoding='utf-8'
print(res.url)

返回值属性
res.encoding响应对象内容的编码属性
res.text 响应内容字符串格式
res.content 响应内容bytes格式（字节流）
res.url 返回实际数据的url地址
res.status_code HTTP响应码

非结构化数据保存（图片）

html = res.content
with open('xx.jpg', 'wb') as f:
f.write(html)

import requests

url = ''https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1548306415352&di=e75cc8258e02b07f5310d43215f1d56a&imgtype=0&src=http%3A%2F%2Fimg4.duitang.com%2Fuploads%2Fitem%2F201603%2F21%2F20160321223952_AVYMa.jpeg''
headers = {'User-Agent':'Mozilla/5.0'}

# 发送请求
res = requests.get(url, headers=headers)

# 获取bytes响应内容
html = res.content

# 保存到本地
with open('picture.jpg', 'wb') as f:
    f.write(html)

print('successfully')

get()参数

查询参数（params）
params:字典
res = requests.get(url, params=paramas, headers=heasers)

params的属性存在　不用再编码拼接地址，可以为中文

  import requests

  url = 'http://www.baidu.com/s?'
  headers = {'User-Agent':'Mozilla/5.0'}
  params = {'wd':'math', 'pn':'20'}

  # 发送请求
  res = requests.get(url, params=params, headers=headers)

  # 获取bytes响应内容
  html = res.text
  print(html)

代理参数（proxies）
- 获取代理ip的网站
  西刺代理https://www.xicidaili.com 　
  快代理https://www.kuaidaili.com
  全网代理．．．
  
  防止反爬封自己的ip
- 普通代理
  proxies = {'协议':'协议://ip:端口号'}
  测试网站http://httpbin.org/get http://www.whatismyip.com
- 私密代理
  proxies = {'协议':'协议://用户名:密码@IP地址:端口号'}
超时限制（timeout）
web客户端验证参数（auth)
auth = (‘用户名’, ‘密码’)
SSL证书认证参数（verify）
verify = True 默认进行SSL证书认证
verify = False　不检查认证