2023年6月29日发(作者：)

基于Python和Hadoop的图书馆实时监控系统设计与实现居梓俊，邓居旺，孙建振，李东阳，黄翀鹏（无锡职业技术学院，江苏无锡214000）摘要院随着大数据时代的发展，利用信息化技术实时监控学校图书馆的资源，以让人掌控学校图书馆情况是研究的主要目的。研究方法是通过Python爬虫技术，利用Lxml库爬取图书馆中的信息，接着将爬取出来的信息进行数据清洗，取出有效信息，放入Hadoop平台进行存放，最后再利用Flask框架以及数据分析及可视化技术将信息以一种直观可视的方式展现在网页上。关键词院大数据；Python语言；Hadoop平台；Flask框架；可视化随着时代的发展袁人们读书的需求日益增加袁2019年我国阅读用户累计超越7.4亿人次袁在如此繁荣的大数据背后袁单靠从前的人工数据统计早已不能达到如今互联网时代的需求袁针对此类需求袁研究设计并实现了基于Python和Hadoop的图书馆实时监控系统袁系统实现了实施监控每日不同时段入馆人数袁借出书籍袁并且通过大数据技术袁分析每日热搜书籍尧高分书籍尧年度入馆人流量尧借出书籍类型的可视化界面遥用基于数据和函数的对象遥尽管对象十分复杂Python却保持简洁遥大量帮助遥渊5冤Python社区有大量的Python库袁对编程提供了运用到了Python中的Lxml库袁Lxml库是基于libxml2的XML解析库的Python封装袁解析速度明显快理XML和HTML文件袁并且提供简单的转换方法来将数据转换为Python数据类型遥具体爬取步骤如下院渊1冤通过requests库获取HTML文档遥渊2冤通过Lxml库修正HTML文档遥渊3冤读取HTML文件遥渊4冤解析HTML文档遥于目前流行的BeautifulSoup袁使用Lxml库可以轻松处渊4冤Python支持面向过程袁在面向对象编程中袁使1系统功能概述系统功能主要为图书馆不同数据的可视化袁具体功能概述如图1所示遥基于Python和Hadoop的图书馆实时监控系统入馆人数馆藏书籍渊5冤使用Xpath语法提取有效信息遥爬虫过程如图2爬虫流程图所示遥不同时段入馆人数年度入馆流量30天书籍类型热搜书籍高分书籍今日借出书籍书籍评价年度借出书籍初始化URL队列图1功能模块图22.1爬取数据主要技术实现方法爬取数据使用了目前最为流行的Python语言袁渊1冤Python语言易于读写袁语法简单遥判断终止条件渊URL为空冤退出程序下载URL指向的网页Python语言具有如下的优势院通过LXML解析网页支出遥渊2冤Python是免费开源的袁有利于消减整个项目的渊3冤Python兼容中文平台袁不会遇到使用其他语言使用Xpath提取信息新URL入队URL队列时常会遇到的困扰遥图2爬虫流程图202020.08