EX5 | 用Python爬取京东商品文胸的评论并保存

欢迎关注微信号：student_Shang
小编是985院校小硕士一枚，欢迎关注，持续更新中~

哈喽，大家好~

在本次推送中，以京东商品搜索中关键字胸罩作为采集目标，重点采集相关数据，在本地根目录下以
.xls 的形式进行存储。

1 准备工作

在本次爬虫开始之前，请确保已经安装好了第三方 requests 库、BeautifulSoup 库、re 库、xlwt 库等。如果没有安装，请使用cmd打开命令行界面，并逐行键入以下代码：

pip install requests
pip install bs4
pip install re
pip install xlwt

2 抓取分析

本次抓取的信息内容稍有难度，当然原理还是不变的。只需要利用 requests 库向指定网站发送请求，获取服务器传来的响应，随后利用 BeautifulSoup 库完成对网页代码的解析，同时为了进一步防止触发反爬虫机制。具体分析如下：
首先，我们本次爬取的网站是

https://search.jd.com/Search?keyword=%E8%83%B8%E7%BD%A9&enc=utf-8&qrst=1&rt=1&stop=1&spm=2.1.1&vt=2&psort=4&click=0

右键点击 检查 按钮，或者直接按下 F12 进入开发者界面，点开 Network 一栏，并按下 F5 刷新按钮，必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示：

这里我们可以看到，网站请求的 Request URL ，再往下翻观察 Request Headers信息，为了避免触发反爬虫机制，我们要尽量把爬虫程序做的更像是人在浏览网页。

接下来便是对网页的提取与保存，我们开始今天的爬虫工作。

3 爬取信息与保存

在安装完毕我们在一开始介绍的第三方库后，这里我们需要首先导入这些文件才能够进行后续的操作。

from bs4 import BeautifulSoup
import requests
import re
import xlwt

3.1 网页请求头的设置

为了使爬虫程序模拟的更像人在操作，因此我们添加了请求过程中一些比较重要的请求头信息，并将其整理成一个请求函数，具体如下：

def get_page(url):
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
        'referer':'https://search.jd.com/search?keyword=BRA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=BRA&cid3=1364&psort=4',

    }
    r = requests.get(url,headers=headers)
    return r

接下来我们便开始网页的爬取工作。

3.2 京东商品搜索关键字胸罩商品评论的爬取与保存

首先，我们需要对单个网页的信息进行爬取，通过对响应代码的分析，我们利用 BeautifulSoup 库完成对代码的解析。同时将其定义为 get_comments_url() 函数。具体如下：

def get_comments_url():
    good_id = []
    goods_url = 'https://search.jd.com/Search?keyword=%E8%83%B8%E7%BD%A9&enc=utf-8&qrst=1&rt=1&stop=1&spm=2.1.1&vt=2&psort=4&click=0'
    page_content = get_page(goods_url)
    soup = BeautifulSoup(page_content.content)
    goods_id = soup.find_all("li", class_="gl-item")
    for pid in goods_id:
        good_id.append(pid['data-sku'])

    f = xlwt.Workbook()
    sheet1 = f.add_sheet('bra', cell_overwrite_ok=True)
    row0 = ["size", "comment", "time"]
    # 写入第一行
    for j in range(0, len(row0)):
        sheet1.write(0, j, row0[j])
    k = 0

    for product in good_id:
        print('正在爬取第{}个商品'.format(k + 1))
        for i in range(100):
            print('正在下载{}页'.format(i+1))
            url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1538&productId={}&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'.format(product,i)

            r = get_page(url)
            if r.status_code == 200:
                size = re.findall(r'"productSize":"(.*?)"', r.text)
                comment = re.findall(r'"content":"([^<]*?)"', r.text)
                time = re.findall(r'[^>]","creationTime":"([^<]*?)"', r.text)

            for j in range(10):
                sheet1.write(k * 1000 + i *10 + j + 1, 0, size[j][-1])
                sheet1.write(k * 1000 + i *10 + j + 1, 1, comment[j])
                sheet1.write(k * 1000 + i *10 + j + 1, 2, time[j])
        k += 1
        f.save('bra.xls')

单个网页的内容收集完毕后，我们需要获取如何跳入下一页。这里我们发现，通过更改不同页数的网页 URL 之间的 pageNum 参数，可以实现网页之间的切换。考虑到需要抽取不同的样本，因此我们每个商品只获取前1000个数据。

3.3 启动程序

最后，键入以下代码便能够实现整个程序的运行：

if __name__ == "__main__":
    get_comments_url()
    print('下载完成')

4 总结与展望

本次爬虫程序在编写过程中，因为对网页的解析采用的是字符串的形式，最佳的解析方式便是采用正则表达式完成解析。在爬虫程序完成后，会在爬虫文件保存的根目录下保存 .xls 的文件。此外，小编对这过万的数据通过 EXCEL 软件完成了数据的统计，其中惊人的发现...

微信公众号：Python一号通
关注可了解更多的爬虫教程及机器学习内容。
问题或建议，请公众号留言