（4）页面编码：utf-8

4.2 爬虫运行流程分析

爬虫程序的运行流程如图所示。

（1）爬虫控制器从给定的URL开始，将给定的初始URL添加到URL管理器中，然后调用URL管理器的相关方法，判断是否有待爬取的URL

（2）URL判断是否有待爬取的URL，如果有待爬取的URL，则返回给控制器，控制器将这个URL传递给网页下载器，下载该网页

（3）网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析

（4）网页解析器解析网页之后获取网页数据和网页的URL链接，再将这两个数据传递给控制器

（5）控制器得到解析出来的数据之后，将新的URL链接传递给URL管理器，将价值数据传递给数据输出器输出

（6）数据输出器以文本的形式输出传递进来的数据。

（7）回到第一步，循环

2 4.3 控制模块详细设计

爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可。比较简单，可参见附录1查看源码。

4.3 爬虫模块详细设计

4.3.1 URL管理器设计

URL管理器主要管理待抓取的URL集合和已抓取的URL集合。URL管理器设计的难点在于：防止重复抓取，防止循环抓取。

添加新URL到待爬取集合中

判断是否还有待爬取URL

URL管理器

获取待爬取URL

判断待添加URL是否在容器中

将URL从待爬取集合移动端已爬取集合

常用的URL管理器存储方式有三种，一是使用python内存即set集合来存储URL，二是使用数据库，例如MySQL，三是使用缓存数据库，例如redis。因为这只是个简单的python爬虫，所以我们选择利用内存存储URL。建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。

4.3.2 网页下载器设计

网页下载器是将互联网上URL对应的网页下载到本地的工具。Python常用的网页下载器有两种，一个是python自带的urllib2，一个是第三方包requests。这里我们选用的是urllib2，比较简单的网页下载工具，其中最简洁的下载网页的代码如下：

import urllib2

response = n(url)

# 如果请求码不是200，则表示请求不成功。

# 典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

# 5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

if e() != 200:

print "download html failed"

cont= ()

4.3.3 网页解析器设计

网页解析器是从网页中提取有价值数据的工具。

3

网页解析器

HTML网页字符串

价值数据

新URL列表

Python常用的解析器有四种，一是正则表达式，二是，三是beautifulSoup，四是lxml。这里我选用的是beautifulSoup作为我的网页解析器，相对于正则表达式来说，使用beautifulSoup来解析网页更为简单。beautifulSoup将网页转化为DOM树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。使用方法如下：

#创建BeautifulSoup对象

soup = BeautifulSoup(html_cont, '', from_encoding='utf-8')

#查找所有标签为a的节点，且href匹配正则表达式

links = _all('a', href=e(r"/item/%"))

#查找所欲标签为div的节点

summary_node = ('div', class_="lemma-summary")

4.4数据输出器详细设计

数据输出器是负责数据输出的工具。如果要输出的文件不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。这里我选择的输出方式是TXT文档，直接将数据分析器得到的数据存储在文件中。

5 调试与测试

5.1 调试过程中遇到的问题

（1）爬取第一个页面之后没有新的页面

解决方案：根据子网页，选择合适的正则表达式

（1）测试过程中某些网页中缺少标题或简介。

4 解决方案：往集合中添加数据的时候，判断一下是否为空，不为空再添加。

5.2测试数据及结果显示

测试的结果以txt文档形式显示，生成的文档路径和代码路径一致、

6 课程设计心得与体会

Python是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向CPU进行翻译，个人理解就是一边编译一边执行。而Java这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。这一类语言也没用类型，也就是说一个变量即可能是int型，但是也可能是String型，而且可以随时变化。

5 python对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。 Python也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。这样做的好处在于代码编写看上去很统一，不过习惯了java再看python，一开始还真的有点懵。

总得来说，对Python的初涉感觉不错，这门语言相比较Java更加的简洁，这次的课设是初步接触python，以后会自己深入学习。

7 参考文献

[1] 钱程,阳小兰,朱福喜等.基于Python的网络爬虫技术[J].黑龙江科技信息,2016,(36):273.

[2] 戚利娜,刘建东.基于Python的简单网络爬虫的实现[J].电脑编程技巧与维护,2017,(8):72-73.

[3] Wesley.J.C,Core Python Programming. 2001-9-11

8 附录1 网络爬虫程序设计代码

# coding:utf-8

import logging

from webCraler import url_manager, html_downloader, html_outputer, html_parser

class SpiderMain(object):

#初始化URL管理器，网页下载器，网页解析器和数据输出器

def __init__(self):

= url_ager()

ader = html_wnloader()

= html_rser()

er = html_tputer()

#爬取网页

def craw(self, url):

count = 1

#向URL管理器添加新的URL

_new_url(url)

while _new_url():

try:

#如果有新的URL，获取这个新的URL

new_url = _new_url()

#打印这是第几个爬取的URL

print 'craw %d : %s' % (count, new_url)

#使用网页下载器下载这个网页的内容

html_cont = ad(new_url)

#使用网页解析器解析这个网页的内容，分别为URL和数据

new_urls, new_data = (new_url, html_cont)

#将解析器解析的 RL添加到URL管理器

_new_urls(new_urls)

#将解析器解析的数据传递给数据输器

t_data(new_data)

6 #

爬取10个数据后自动结束

if count == 20:

break

count = count+1

except Exception as e:

ion(e)

print 'craw failed'

#数据输出器将数据使用HTML的方式输出

_html()

if __name__ == '__main__':

print "begin"

root_url = "/item/Python?sefr=ps"

obj_spider = SpiderMain()

obj_(root_url)

url_

# coding:utf-8

class UrlManager(object):

def __init__(self):

_urls = set()

_urls = set()

#

添加URL

def add_new_url(self, url):

if url is None:

return

if url not in _urls and url not in _urls:

_(url)

def add_new_urls(self, urls):

if urls is None or len(urls) == 0:

return

for url in urls:

_new_url(url)

def has_new_url(self):

return len(_urls) != 0

def get_new_url(self):

new_url = _()

_(new_url)

return new_url

html_

# coding:utf-8

import urllib2

class HtmlDownloader(object):

def download(self, url):

if url is None:

return None

7 response = n(url)

#

如果请求码不是200，则表示请求不成功。

#

典型的错误包括404（页面无法找到），403（请求禁止），401（待验证的请求）

# 5XX

回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求

if e() != 200:

print "download html failed"

return None

return ()

url_

# coding:utf-8

import urlparse

from bs4 import BeautifulSoup

import re

class HtmlParser(object):

def parse(self, page_url, html_cont):

if page_url is None or html_cont is None:

return

soup = BeautifulSoup(html_cont, '', from_encoding='utf-8')

#解析URL列表，获取URL

new_urls = self._get_new_urls(page_url, soup)

#

解析数据

new_data = self._get_new_date(page_url, soup)

print new_data

return new_urls, new_data

def _get_new_urls(self, page_url, soup):

new_urls = set()

# /item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6

# /item/%E6%BA%90%E4%BB%A3%E7%A0%81/3969

links = _all('a', href=e(r"/item/%"))

for link in links:

new_url = link['href']

# /item/Python?sefr=ps

new_full_url = n("/",new_url)

new_(new_full_url)

return new_urls

def _get_new_date(self, page_url, soup):

res_data = {}

# url

res_data['url'] = page_url

#

summary_node = ('div', class_="lemma-summary")

8 #这句话有可能出现空

res_data['summary'] = summary__text()

print res_data['summary']

return res_data

html_

# coding:utf-8

class HtmlOutputer(object):

def __init__(self):

#

建立列表存放数据

= []

#

收集数据

def collect_data(self, data):

if data is None:

return

(data)

#

输出数据

def output_html(self):

fout = open('', 'w')

for data in :

(data['url']+"n")

(data['title'].encode('utf-8'))

(data['summary'].encode('utf-8')+"nn")

()

9 附录2 网络爬虫爬取的数据文档

/item/Python?sefr=ps

Python

Python[1]

（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[2]

。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3]

有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

/item/%E7%BC%96%E8%AF%91%E5%99%A8

编译器

简单讲，编译器就是将“一种语言（通常为高级语言）”翻译为“另一种语言（通常为低级语言）”的程序。一个现代编译器的主要工作流程：源代码 (source code) → 预处理器 (preprocessor) → 编译器

(compiler) → 目标代码 (object code) → 链接器 (Linker) → 可执行程序 (executables)高级计算机语言便

9 于人编写，阅读交流，维护。机器语言是计算机能直接解读、运行的。编译器将汇编或高级计算机语言源程序（Source program）作为输入，翻译成目标语言（Target language）机器代码的等价程序。源代码一般为高级语言 (High-level language)， 如Pascal、C、C++、Java、汉语编程等或汇编语言，而目标则是机器语言的目标代码（Object code），有时也称作机器代码（Machine code）。对于C#、VB等高级语言而言，此时编译器完成的功能是把源码（SourceCode）编译成通用中间语言（MSIL/CIL）的字节码（ByteCode）。最后运行的时候通过通用语言运行库的转换，编程最终可以被CPU直接计算的机器码（NativeCode）。

/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80

计算机程序设计语言

《计算机程序设计语言》是2002年9月清华大学出版社出版的图书，作者是Donald E. Knuth 。[1]

/item/%E9%A2%84%E5%A4%84%E7%90%86%E5%99%A8

预处理器

预处理器是在真正的编译开始之前由编译器调用的独立程序。预处理器可以删除注释、包含其他文件以及执行宏（宏macro是一段重复文字的简短描写）替代。

/item/%E7%9B%AE%E6%A0%87%E4%BB%A3%E7%A0%81

目标代码

目标代码（object code）指计算机科学中编译器或汇编器处理源代码后所生成的代码，它一般由机器代码或接近于机器语言的代码组成。

/item/%E9%AB%98%E7%BA%A7%E8%AF%AD%E8%A8%80

高级语言

高级语言（High-level programming language）相对于机器语言（machine language，是一种指令集的体系。这种指令集，称机器码（machine code），是电脑的CPU可直接解读的数据）而言。是高度封装了的编程语言，与低级语言相对。它是以人类的日常语言为基础的一种编程语言，使用一般人易于接受的文字来表示（例如汉字、不规则英文或其他外语），从而使程序编写员编写更容易，亦有较高的可读性，以方便对电脑认知较浅的人亦可以大概明白其内容。由于早期电脑业的发展主要在美国，因此一般的高级语言都是以英语为蓝本。在1980年代，当东亚地区开始使用电脑时，在日本、台湾及中国大陆都曾尝试开发用各自地方语言编写的高级语言，当中主要都是改编BASIC或专用于数据库数据访问的语言，但是随着编程者的外语能力提升，现时的有关开发很少。由于汇编语言依赖于硬件体系，且助记符量大难记，于是人们又发明了更加易用的所谓高级语言。在这种语言下，其语法和结构更类似汉字或者普通英文，且由于远离对硬件的直接操作，使得一般人经过学习之后都可以编程。高级语言通常按其基本类型、代系、实现方式、应用范围等分类。

10