虽然我是做Android的，但也会用python抓点数据用用

发表于

前言

最近也是在工作之余开发一个Android App，采用当前比较火的框架retrofit+rxjava+rxbus+lamda+greenDao+glide等。有兴趣的小伙伴可以关注一下我的github开源项目。本文主要介绍的是如何利用python抓取糗百的热门段子。

开发环境

  1. Mac Os
  2. Python 2.7.10
  3. Node 7.8.0

编译器：

  1. python–>Pycharm Ec
  2. node–>Visual Code Studio

以上开发环境以及编译器大家可以自行百度 or google安装，本文就不一一介绍了。

爬虫开发过程

准备

除了以上所说的编译器以及开发环境的配置外，我们还要明确设计爬虫的目标，找到抓取的url以及分析目标url的dom结构。

  1. 目标：抓取糗百热门段子第一页中的，所有作者，作者的头像，以及对应的段子内容
  2. url：http://www.qiushibaike.com/
  3. dom结构：
    可以进入糗百首页，然后查看一下网页源码

{690D4AFF-447F-E481-B455-CDF6DAF63F7C}.png

如上图中所示，可以看到每个完整的段子都是在class=article block untagged mb15的div下面。西面接着找一下对应作者的头像以及姓名的节点![](//pic.qiushibaike.com/system/avtnew/2883/28831688/medium/2017051108472215.JPEG)可以看到作者的名字是和img的alt一样的因此只需要找到这个节点就可以得到姓名和头像地址了。最后看下段子的内容，在class= content的div下面的span中。至此所有要的信息的节点都找到了。

爬虫书写过程

框架分为五个个部分：爬虫入口，url管理器，html下载器，html解析器，html输出器

爬虫入口

新建spider_main.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from baike import url_manager, html_download, html_parser, html_output
class SpiderMain(object):
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.download = html_download.HtmlDown()
        self.parser = html_parser.HtmlParser()
        self.out = html_output.HtmlOutput()
    def crow(self, root_url):
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print 'craw %d:%s' % (count, new_url)
                html_count = self.download.download(new_url)
                data = self.parser.parser(html_count)
                self.out.collect_data(data)
                if count == 1000:
                    break
                count = count+1
            except:
                print 'craw failed:'
        self.out.output_html()
if __name__ == '__main__':
    root_url = 'http://www.qiushibaike.com/'
    obj_spider = SpiderMain()
    obj_spider.crow(root_url)

url管理器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
class UrlManager(object):
    def __init__(self):
        self.new_urls = set()
        self.older_urls = set()
    def add_new_url(self, url):
        if url is None:
            return
        if url not in self.new_urls and url not in self.older_urls:
            self.new_urls.add(url)
    def add_new_urls(self, urls):
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)
    def has_new_url(self):
        return len(self.new_urls) != 0
    def get_new_url(self):
        url = self.new_urls.pop()
        self.older_urls.add(url)
        return url

html下载器

1
2
3
4
5
6
7
8
9
10
11
import requests
class HtmlDown(object):
    def download(self, url):
        if url is None:
            return None
        response = requests.get(url)
        if response.status_code != 200:
            return None
        return response.text

html解析器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from bs4 import BeautifulSoup
class HtmlParser(object):
    def __init__(self):
        self.items = []
    def parser(self, response):
        if response is None:
            return None
        soup = BeautifulSoup(response, 'html.parser')
        nodes = soup.findAll('div', class_='article block untagged mb15')
        if nodes is None or len(nodes) == 0:
            return None
        for node in nodes:
            image_node = node.img
            image = 'http:' + image_node['src']
            user_name = image_node['alt']
            content_node = node.span.get_text()
            data = {
                'image_url': image,
                'user_name': user_name,
                'content': content_node
            }
            self.items.append(data)
        return self.items

html输出器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import json
class HtmlOutput(object):
    def __init__(self):
        self.data = []
    def collect_data(self, data):
        if data is None:
            return
        self.data = data
    def output_html(self):
        self.write_to_json(self.data)
        fout = open('output.html', 'w')
        fout.write("<html>")
        fout.write("<body>")
        fout.write("<table>")
        fout.write("<tr>")
        fout.write("<td>name</td>")
        fout.write("<td>image</td>")
        fout.write("<td>content</td>")
        fout.write("</tr>")
        if len(self.data) > 0:
            for item in self.data:
                fout.write("<tr>")
                fout.write("<td>%s</td>" % (item['user_name']).encode('utf-8'))
                fout.write("<td>%s</td>" % (item['image_url']))
                fout.write("<td>%s</td>" % (item['content']).encode('utf-8'))
                fout.write("</tr>")
        fout.write("</table>")
        fout.write("</body>")
        fout.write("</html>")
        fout.close()
    def write_to_json(self, data):
        if data is None:
            return
        f = open('json.txt', 'w')
        json_str = json.dumps(data).encode('utf-8')
        print json_str
        f.write(json_str)
        f.close()

最终将爬去的数据以html的形式和Json形式分表保存在当前路径下面。

只用node书写简单的接口

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
ar http = require('http');
var rf = require("fs");
var data = rf.readFileSync("/Users/bear/Desktop/workplace/python/baike/json.txt", "utf-8");
console.log(data)
var jsonStr = {
    'code': '1',
    'message': '操作成功',
    "data": {
        'items': JSON.parse(data)
    }
};
var json = JSON.stringify(jsonStr);
console.log(json);
http.createServer(function (req, res) {
    res.writeHead(200);
    res.end(json);
}).listen(1377, "0.0.0.0");
console.log('Server running at http://127.0.0.1:/');

然后本地浏览器打开：localhost:1377就能看到最终的json了

其它

app 端接口的调用可以看下Github上的开源项目