2023年6月29日发(作者：)

Python⽹络爬⾍⼊门详解什么是⽹络爬⾍

⽹络爬⾍⼜称⽹络蜘蛛，是指按照某种规则在⽹络上爬取所需内容的脚本程序。众所周知，每个⽹页通常包含其他⽹页的⼊⼝，⽹络爬⾍则通过⼀个⽹址依次进⼊其他⽹址获取所需内容。优先申明：我们使⽤的python编译环境为PyCharm

⼀、⾸先⼀个⽹络爬⾍的组成结构：爬⾍调度程序（程序的⼊⼝，⽤于启动整个程序）url管理器（⽤于管理未爬取得url及已经爬取过的url）⽹页下载器（⽤于下载⽹页内容⽤于分析）⽹页解析器（⽤于解析下载的⽹页，获取新的url和所需内容）⽹页输出器（⽤于把获取到的内容以⽂件的形式输出）

⼆、编写⽹络爬⾍（1）准备所需库 我们需要准备⼀款名为BeautifulSoup（⽹页解析）的开源库，⽤于对下载的⽹页进⾏解析，我们是⽤的是PyCharm编译环境所以可以直接下载该开源库。

步骤如下：选择File->Settings

打开Project:PythonProject下的Project interpreter 点击加号添加新的库

输⼊bs4选择bs4点击Install Packge进⾏下载

（2）编写爬⾍调度程序 这⾥的bike_spider是项⽬名称引⼊的四个类分别对应下⾯的四段代码url管理器，url下载器，url解析器，url输出器。# 爬⾍调度程序from bike_spider import url_manager, html_downloader, html_parser, html_outputer# 爬⾍初始化class SpiderMain(object): def __init__(self): = url_ager() ader = html_wnloader() = html_rser() er = html_tputer() def craw(self, my_root_url): count = 1 _new_url(my_root_url) while _new_url(): try: new_url = _new_url() print("craw %d : %s" % (count, new_url)) # 下载⽹页 html_cont = ad(new_url) # 解析⽹页 new_urls, new_data = (new_url, html_cont) _new_urls(new_urls) # ⽹页输出器收集数据 t_data(new_data) if count == 10: break count += 1 except: print("craw failed") _html()if __name__ == "__main__": root_url = "/item/Python/407313" obj_spider = SpiderMain() obj_(root_url)

(3)编写url管理器我们把已经爬取过的url和未爬取的url分开存放以便我们不会重复爬取某些已经爬取过的⽹页。# url管理器class UrlManager(object): def __init__(self): _urls = set() _urls = set() def add_new_url(self, url): if url is None: return if url not in _urls and url not in _urls: _(url) def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: _(url) def get_new_url(self): # pop⽅法会帮我们获取⼀个url并且移除它 new_url = _() _(new_url) return new_url def has_new_url(self): return len(_urls) != 0

（4）编写⽹页下载器通过⽹络请求来下载页⾯# ⽹页下载器import tclass HtmlDownloader(object): def download(self, url): if url is None: return None response = n(url) # code不为200则请求失败 if e() != 200: return None return ()

（5）编写⽹页解析器对⽹页进⾏解析时我们需要知道我们要查询的内容都有哪些特征，我们可以打开⼀个⽹页点击右键审查元素来了解我们所查内容的共同之处。# ⽹页解析器import refrom bs4 import BeautifulSoupfrom import urljoinclass HtmlParser(object): def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return soup = BeautifulSoup(html_cont, "", from_encoding="utf-8") new_urls = self._get_new_urls(page_url, soup) new_data = self._get_new_data(page_url, soup) return new_urls, new_data def _get_new_data(self, page_url, soup): res_data = {"url": page_url} # 获取标题 title_node = ("dd", class_="lemmaWgt-lemmaTitle-title").find("h1") res_data["title"] = title__text() summary_node = ("div", class_="lemma-summary") res_data["summary"] = summary__text() return res_data def _get_new_urls(self, page_url, soup): new_urls = set() # 查找出所有符合下列条件的url links = _all("a", href=e(r"/item/")) for link in links: new_url = link['href'] # 获取到的url不完整，学要拼接 new_full_url = urljoin(page_url, new_url) new_(new_full_url) return new_urls

（6）编写⽹页输出器输出的格式有很多种，我们选择以html的形式输出，这样我们可以的到⼀个html页⾯。# ⽹页输出器class HtmlOutputer(object): def __init__(self): = [] def collect_data(self, data): if data is None: return (data) # 我们以html表格形式进⾏输出 def output_html(self): fout = open("", "w", encoding='utf-8') ("") ("") ("") # 以表格输出 ("

") for data in : # ⼀⾏ ("") # 每个单元⾏的内容 ("" % data["url"]) ("" % data["title"]) ("" % data["summary"]) ("") ("

%s

%s

%s

") ("") ("") # 输出完毕后⼀定要关闭输出器 ()

写在末尾 注意：⽹页经常发⽣变化，我们需要根据⽹页的变化动态修改我们的代码来获得我们所需要的内容。 这只是⼀个简单的⽹络爬⾍，如果需要完善其功能我们需要考虑更多问题。爬⾍⼊门后可以看⼀下爬⾍如何模拟登陆