爬取某网站的小说名(pyquery)

这个代码短且简单，主要就是展示一下pyquery的用法

代码就这么长，连三十行都不到，虽然简单，但我还是巨详细的说说

一、发送请求

第一步依然是发送请求，但在发送请求之前，我们爬取的这个小说网站有好多页小说，所以限制一下，就爬取前5页的，于是就需要for循环，就是下面这句

for i inrange(1, 6): url = f"https://b.faloo.com/y_0_0_0_0_6_1_{i}.html"

接着那句时伪装头，这句伪装头也可以放在for循环外边，主要是把python解释器伪装成浏览器，然后发送请求，不然服务器那边识别到你是python解释器发送的请求，就不给你响应，下面这句就是发送请求

response= requests.get(url,headers=headers)

，然后获得响应(response)，话是这样说的，但你发送请求后，人家服务器那边到底有没有给你响应，你是不是需要验证一下，就是下面这句

if response.status_code==200:

二、解析网页

如果服务器那边给你回应了，那状态码就是200，接着就可以拿这pyquer对响应的HTML进行解析

html =pq(response.text)

三、定位

解析后就可以，对小说名称的位置进行定位，就是下面这句

items= html("div > div > div> h1").items()

依旧用的是CSS选择器，后面的items()方法时让items,变成一个可迭代对象，方便后面获取文档

四、获取内容并输出

foritem in items: # 小说名print(item.text())

既然上面已经说到items已经变成可迭代对象，那就进行遍历，遍历后的内容还不是需要的文档，还是HTML，需要用到text()方法，获取文档，然后输出，就行了

五、结果展示

当然五页的内容不止这些，这只是截了一部分