2023年6月29日发(作者：)

python爬考研成绩_Python爬取考研数据：所有985⾼校、六成211⾼校均可调剂作者 | ⼩康康编辑 | 胡巍巍来源 | CSDN(ID：CSDNnews)考研调剂中的机遇与风险⼀、在获取调剂信息的时候，出现重要的延误，没有及时获取⼀⼿信息，导致很多⼈提前联系导师，博得好印象。⼆、成绩达标，获取的调剂信息太少，没有去到⾃⼰⼼仪的⾼校，⽽被迫进⾏⽆奈的选择。三、调剂信息量太⼤，⼤家都知道1-4⽉是调剂信息的爆发期，每天盯着⼤量的内容，难免会有所遗漏，没有做好信息的快速筛选，导致匆忙应对调剂、⽽忽略了⾃⾝的匹配性。以上这三种被刷的概率是最⼤的，所以，⼀定要评估好⾃⼰的综合能⼒，调剂也是⼀门技术活，认清⾃⼰，选择合适才是王道。下⾯再列举⼀些调剂的技巧。要想成功调剂，⾸先要把握调剂的第⼀⼿信息，能及时地获取到哪所⾼校的专业招⽣⼈数不⾜，⽽且符合你的条件，是很有必要的。同时，调剂也是有要求的，如下，⼀、具备国家规定的复试资格；⼆、⼊学考试统考科⽬中的俩科要与调剂专业的考试科⽬完全相同，两科的专业考试科⽬要相同或相近(专业不对⼝，调剂成功的机率为零)；三、优先考虑本专业内部的调剂，再考虑跨专业调剂，最后是跨校调剂；四、咨询⾼校研招办确认招⽣⼈数是否已满，满的不要考虑了(获取第⼀⼿招⽣空缺信息很重要)；五、不要等待复试结果，各校的复试时间有差异，容易错失调剂的机会。调剂数据爬⾍Selenium开发实战⽹上有很多⽹站都在公布调剂信息，其中⼤多数实验室的⼀⼿调剂信息都是公布在论坛的，再有很多⽹站⼩编转⼿Copy⾃⼰的⽹站⾥，那么今天就要说⼀说怎么去获取调剂数据并进⾏分析。本⽂只获取数据并进⾏数据分析，以帮助⼤家更好的了解调剂形势。选取中国考研⽹站上公布调剂查询页⾯，其页⾯效果⼤致如图所⽰：先对页⾯结构进⾏分析，可以看出是【信息流】+【粗->细】+【翻页】的结构。针对这种结构，采⽤Python+Selenium进⾏爬⾍开发。Selenium是⼀个⽤于Web应⽤程序测试的⼯具。Selenium测试直接运⾏在浏览器中，就像真正的⽤户在操作⼀样。⽀持的浏览器包括IE(7, 8, 9, 10, 11)、Mozilla 、Firefox、Safari、Google Chrome、Opera等。这个⼯具的主要功能包括：测试与浏览器的兼容性——测试你的应⽤程序看是否能够很好地⼯作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和⽤户需求。⽀持⾃动录制动作和⾃动⽣成 .Net、Java、Perl等不同语⾔的测试脚本。⼤学名称、专业名称以及调剂标题名称，均在列表中。那么：第⼀步：获取【信息流所在的HTML元素】通过对HTML进⾏解析，可以发现所有的信息流的都是DIV标签包裹的，其共同特征都是class=”info-item font14” 。由此想到Selenium中的⼀个接⼝find_elements_by_xpath，那么Xpath是什么呢？XPath即为XML路径语⾔(XML Path Language)，它是⼀种⽤来确定XML⽂档中某部分位置的语⾔。取节点 XPath使⽤路径表达式在XML⽂档中选取节点。节点是通过沿着路径或Step来选取的。下⾯列出了最有⽤的路径表达式：表达式描述nodename选取此节点的所有⼦节点。/从根节点选取。//从匹配选择的当前节点选择⽂档中的节点，⽽不考虑它们的位置。.选取当前节点。..选取当前节点的⽗节点。@选取属性。在下⾯的表格中，已列出了⼀些路径表达式以及表达式的结果：路径表达式结果bookstore选取 bookstore 元素的所有⼦节点。/bookstore选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！bookstore/book选取属于 bookstore 的⼦元素的所有 book 元素。//book选取所有 book ⼦元素，⽽不管它们在⽂档中的位置。bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，⽽不管它们位于 bookstore 之下的什么位置。//@lang选取名为 lang 的所有属性。通过xpath，可以根据标签中的⼦属性以及层级结构进⾏⾃定义的精细筛选。那么，针对这⾥的信息流Xpath，应该怎么去写代码呢？可以看到信息是属于DIV的，Class均为info-item font14，于是可以得出：到这⾥，就得到了调剂的所有信息流板块，接下来要做的是针对每⼀个信息流板块单独解析，拿出其中的标签与超链接。可以看到信息流的⼦项如下图所⽰，这个时候，可以根据class=”school” 抓取⼤学名称，根据class=”name”抓取专业名称 ，根据class=”title”抓取超链接和标题，根据class=”time”抓取发布⽇期。代码如下所⽰：之后，点开⼀个详情页，查看调剂的内容：可以看到页⾯的排版如上，所需要的调剂内容就是图中红框标识出来的，这⾥对页⾯进⾏HTML解析，发现红框的HTML标签为DIV，class=”student-body font14” 。同理，还⽤上神奇的Xpath来进⾏抓取。并⽤innerHTML属性获取⽹页格式字符串。就这样，就完成了调剂基本数据的抓取，把数据存到⼀个数据表⾥，进⾏分析。SQL编程与数据分析因为数据存在的MySQL数据库中，为了⽅便和更直观的展⽰出数据分析的思路和过程，这⾥采⽤的SQL语句进⾏数据查询与提取。1.学校层次分析⾸先分析，历年调剂⾼校的层次【985 211 双⾮】。SQL代码为：结果为：之后，为了⽅便统计⾼校的层次分布，在外部再套上⼀层GROUP BY语句进⾏分类：结果如下图所⽰，可以看出⼤量调剂学校来⾃于双⾮⾼校，但是考虑到211⼤学的总量为112所，985⼤学总量为39所，可以看出，接近62%的211⾼校都发布了调剂信息，所有的985⾼校都发布过调剂信息。可以得出，调剂中还是有很⼤很⼤机会可以进⼊211，985⾼校的，每个⾼校都会发布招⽣机会，但是能不能把握住！就要看⾃⼰了！这可能就是，机会就在眼前，能不能把握就看⾃⼰了。⽤Matplotlib画出来的饼状图如下图所⽰：2.学校类型分析接下来，看看各⼤⾼校的学校类别，都是什么类型的学校，这个简单，⼀个SQL解决。哇，可以看到语⾔、政法、体育类的⾼校，调剂信息很少，都是个位数。⽽主要是理⼯、综合类型的⾼校调剂机会⽐较多，⼩同学们，这下在搜集⾼校调剂信息的时候，就可以更有侧重点了。通过Matplotlib绘制出这个饼状图⽚：3.学校地域分析同理，对调剂学校所在的省市进⾏数据分析，得出如下柱状图：可以看到调剂机会遍布全国，只要你认真把握，⼀定可以去的了⾃⼰理想的城市，寻找理想的TA！4.专业/技能/领域分析通过对专业进⾏分类筛选，绘制出专业云图，通过Jieba分词，与⾃建词典集合相似词语聚类算法，发现调剂中总共涉及的【技能/专业/领域】词汇达到6006种，真可谓是门类⼴阔啊，也是每个⼩众学科的福⾳。其中⼏⼤热门专业和研究⽅向如下所⽰：经管仍是调剂中最吃⾹的专业，其次就是理⼯科了。本⼈就是⽣物医学⼯程专业出⽣的，在这⾥看到了⾃⼰的专业，还挺欣慰。总结经过从Selenium爬⾍开发，到数据库Select查询，再到Matplotlib图表绘制，仅仅通过三⼤步骤，就可以发现考研调剂是⼀个机遇与风险并存的⼤事件，在这⾥全国所有985和超半数的211，⼏乎全部的⾼校都在向你敞开怀抱，每⼀个考⽣需要有充分的耐⼼去把握住属于⾃⼰的机会，不泄⽓，不骄不躁。