urllib.parse
库定义了处理URL的标准接口,例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理:file、ftp、gopher、hdl、http、https等。
1.urlparse()
该方法可以实现URL的识别和分段,这里先用一个实例来看一下:
from urllib.parse import urlparseresult = urlparse('/index.html;user?id=5#comment')print(type(result), result)
<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='', path='/index.html', params='user', query='id=5', fragment='comment')
这里我们利用urlparse()方法进行了一个URL的解析。首先,输出了解析结果的类型,然后将结果也输出出来。
可以看到,返回结果是一个ParseResult类型的对象,它包含6部分,分别是scheme、netloc、path、params、query和fragment。
观察一下该实例的URL,可以发现,urlparse()方法将其拆分成了6部分。大体观察可以发现,解析时有特定的分隔符。比如,😕/前面的就是scheme,代表协议;第一个/前面便是netloc,即域名;分号;前面是params,代表参数。
所以,可以得出一个标准的链接格式,具体如下:
所以,可以得出一个标准的链接格式,具体如下:
scheme://netloc/path;parameters?query#fragment
一个标准的URL都会符合这个规则,利用urlparse()方法可以将它拆分开来。
API用法
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
可以看到,它有3个参数。
urlstring
:这是必填项,即待解析的URL。
scheme
:它是默认的协议(比如http或https等)。假如这个链接没有带协议信息,会将这个作为默认的协议。我们用实例来看一下:
from urllib.parse import urlparseresult = urlparse('/index.html;user?id=5#comment', scheme='https')print(result)
ParseResult(scheme='https', netloc='', path='/index.html', params='user', query='id=5', fragment='comment')
allow_fragments
:即是否忽略fragment。如果它被设置为False,fragment部分就会被忽略,它会被解析为path、parameters或者query的一部分,而fragment部分为空。下面我们用实例来看一下:
from urllib.parse import urlparseresult = urlparse('/index.html;user?id=5#comment', allow_fragments=False)print(result)
ParseResult(scheme='http', netloc='', path='/index.html', params='user', query='id=5#comment', fragment='')
返回结果ParseResult实际上是一个元组,我们可以用索引顺序来获取,也可以用属性名获取。示例如下:
from urllib.parse import urlparseresult = urlparse('/index.html#comment', allow_fragments=False)print(result.scheme, result[0], loc, result[1], sep='\n')
2.urlunparse
有了urlparse(),相应地就有了它的对立方法urlunparse()。它接受的参数是一个可迭代对象,但是它的长度必须是6,否则会抛出参数数量不足或者过多的问题。先用一个实例看一下:
from urllib.parse import urlunparsedata = ['http', '', 'index.html', 'user', 'a=6', 'comment']print(urlunparse(data))
/index.html;user?a=6#comment
这里参数data用了列表类型。当然,你也可以用其他类型,比如元组或者特定的数据结构。这样我们就成功实现了URL的构造。
3.urlsplit()
这个方法和urlparse()方法非常相似,只不过它不再单独解析params这一部分,只返回5个结果。上面例子中的params会合并到path中。示例如下:
from urllib.parse import urlsplitresult = urlsplit('/index.html;user?id=5#comment')print(result)
SplitResult(scheme='http', netloc='', path='/index.html;user', query='id=5', fragment='comment')
可以发现,返回结果是SplitResult,它其实也是一个元组类型,既可以用属性获取值,也可以用索引来获取。示例如下:
from urllib.parse import urlsplitresult = urlsplit('/index.html;user?id=5#comment')print(result.scheme, result[0])
http http
4.urlunsplit()
与urlunparse()类似,它也是将链接各个部分组合成完整链接的方法,传入的参数也是一个可迭代对象,例如列表、元组等,唯一的区别是长度必须为5。示例如下:
from urllib.parse import urlunsplitdata = ['http', '', 'index.html', 'a=6', 'comment']print(urlunsplit(data))
/index.html?a=6#comment
5.urljoin()
此外,生成链接还有另一个方法,那就是urljoin()方法。我们可以提供一个base_url(基础链接)作为第一个参数,将新的链接作为第二个参数,该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充,最后返回结果。
from urllib.parse import urljoinprint(urljoin('', 'FAQ.html'))print(urljoin('', '/FAQ.html'))print(urljoin('/about.html', '/FAQ.html'))print(urljoin('/about.html', '/FAQ.html?question=2'))print(urljoin('?wd=abc', '/index.php'))print(urljoin('', '?category=2#comment'))print(urljoin('', '?category=2#comment'))print(urljoin('#comment', '?category=2'))
/FAQ.html/FAQ.html/FAQ.html/FAQ.html?question=2/index.php?category=2#?category=2#?category=2
可以发现,base_url提供了三项内容scheme、netloc和path。如果这3项在新的链接里不存在,就予以补充;如果新的链接存在,就使用新的链接的部分。而base_url中的params、query和fragment是不起作用的。
通过urljoin()方法,我们可以轻松实现链接的解析、拼合与生成。
6.urlencode()
from urllib.parse import urlencodeparams = {'name': 'germey','age': 22}base_url = '?'url = base_url + urlencode(params)print(url)
?name=germey&age=22
可以看到,参数就成功地由字典类型转化为GET请求参数了。
这个方法非常常用。有时为了更加方便地构造参数,我们会事先用字典来表示。要转化为URL的参数时,只需要调用该方法即可。
7.parse_qs()
有了序列化,必然就有反序列化。如果我们有一串GET请求参数,利用parse_qs()方法,就可以将它转回字典,示例如下:
from urllib.parse import parse_qsquery = 'name=germey&age=22'print(parse_qs(query))
{'name': ['germey'], 'age': ['22']}
可以看到,这样就成功转回为字典类型了。
8.parse_qsl()
另外,还有一个parse_qsl()方法,它用于将参数转化为元组组成的列表,示例如下:
from urllib.parse import parse_qslquery = 'name=germey&age=22'print(parse_qsl(query))
[('name', 'germey'), ('age', '22')]
可以看到,运行结果是一个列表,而列表中的每一个元素都是一个元组,元组的第一个内容是参数名,第二个内容是参数值。
9.quote()
该方法可以将内容转化为URL编码的格式。URL中带有中文参数时,有时可能会导致乱码的问题,此时用这个方法可以将中文字符转化为URL编码,示例如下:
from urllib.parse import quotekeyword = '壁纸'url = '/s?wd=' + quote(keyword)print(url)
/s?wd=%E5%A3%81%E7%BA%B8
10. unquote()
有了quote()方法,当然还有unquote()方法,它可以进行URL解码,示例如下:
from urllib.parse import unquoteurl = '/s?wd=%E5%A3%81%E7%BA%B8'print(unquote(url))
/s?wd=壁纸