python爬虫基础requests的笔记

前言

最近一直在学Java,但是Python的独特魅力用过都说好,当然,Python最为人熟知的就是怕的数据分析、人工智能了,我觉得下面我们提到的爬虫实际也就是数据分析的基础,利用爬虫来获取源数据,然后才有分析。

常见的网页爬虫库除了urllib库就是requests,视频也都看过,因为目前还在学习阶段,还不能断定哪个库好,但是老师说requests要舒服一些,就先搞一下咯!

下载安装

下载安装requests有很多方法,但是简单的用pip比较方便

或者easy_install两种方法均可以安装。

 

起步

下面是最最常用的使用方法get()方法,列出常见的7个主要方法

方法 解释
requests.request() 构造一个请求,支持以下各种方法
requests.get() 获取html的主要方法
requests.head() 获取html头部信息的主要方法
requests.post() 向html网页提交post请求的方法
requests.put() 向html网页提交put请求的方法
requests.patch() 向html提交局部修改的请求
requests.delete() 向html提交删除请求

requests.get()方法的说明:

 

  • url: 需要爬取的网站地址。
  • params: 翻译过来就是参数, url中的额外参数,字典或者字节流格式,可选。
  • **kwargs : 12个控制访问的参数

实例:

 

通用代码框架

同样可以利用params添加参数

运行结果

基本POST请求

post请求一般是需要参数的,基本方法

运行结果

上传

如果想要上传文件,那么直接用 file 参数即可,目录下面建一个test.txt,内容:hello world

返回这样说明上传完成

Cookies

如果需要cookies,那么我们可以利用cookies变量,这样可以拿到站点的cookies信息

另外可以利用 cookies 变量来向服务器发送 cookies 信息

当然,requests还有几个方法,常用的,而且我也只学到这里。所以就先记录到这里。

官方文档

如果需要的,可以自行查阅官方文档:官方文档

aimorc

我还没有学会写个人说明!

Leave a Reply

Your email address will not be published. Required fields are marked *

微信扫一扫,分享到朋友圈

python爬虫基础requests的笔记
返回顶部

显示

忘记密码?

显示

显示

获取验证码

Close