2023年6月29日发(作者：)

Python爬⾍之Xpath语法 XPath 是⼀门在 XML ⽂档中查找信息的语⾔。XPath ⽤于在 XML ⽂档中通过元素和属性进⾏导航。 XPath 含有超过 100 个内建的函数。这些函数⽤于字符串值、数值、⽇期和时间⽐较、节点和 QName 处理、序列处理、逻辑值等等。 XPath 是 W3C 标准,XPath 于 1999 年 11 ⽉ 16 ⽇ 成为 W3C 标准。XPath 被设计为供 XSLT、XPointer 以及其他 XML 解析软件使⽤。 在XPath 中，有七种类型的节点：元素、属性、⽂本、命名空间、处理指令、注释以及⽂档节点（或称为根节点）。 XML ⽂档是被作为节点树来对待的。树的根被称为⽂档节点或者根节点。⼀、选取节点 常⽤的路径表达式：

表达式描述实例选取了div节点的所有⼦节点从根节点上选取div节点选取所有的div节点nodename选取nodename节点的所有⼦节点xpath(‘//div’)///...@从根节点选取xpath(‘/div’)选取所有的当前节点，不考虑他们xpath(‘//div’)的位置选取当前节点选取当前节点的⽗节点选取属性xpath(‘./div’)选取当前节点下的div节点xpath(‘..’)回到上⼀个节点xpath（’//@calss’）选取所有的class属性⼆、谓词：被嵌在⽅括号内，⽤来查找某个特定的节点或包含某个制定的值的节点表达式xpath(‘/body/div[1]’)xpath(‘/body/div[last()]’)xpath(‘/body/div[last()-1]’)xpath(‘/body/div[positon()<3]’)xpath(‘/body/div[@class]’)xpath(‘/body/div[@class=”main”]’)xpath(‘/body/div[price>35.00]’)结果选取body下的第⼀个div节点选取body下最后⼀个div节点选取body下倒数第⼆个div节点选取body下前两个div节点选取body下带有class属性的div节点选取body下class属性为main的div节点选取body下price元素值⼤于35的div节点三、通配符：Xpath通过通配符来选取未知的XML元素表达式xpath（’/div/*’）xpath(‘/div[@*]’)结果选取div下的所有⼦节点选取所有带属性的div节点四、取多个路径：使⽤“ | 运算符可以选取多个路径表达式结果选取所有的div和table节xpath(‘//div|//table’)点五、Xpath轴：轴可以定义相对于当前节点的节点集轴名称ancestor表达式xpath(‘./ancestor::*’)描述选取当前节点的所有先辈节点（⽗、祖⽗）选取当前节点的所有先辈节点以及节点本⾝选取当前节点的所有属性返回当前节点的所有⼦节点返回当前节点的所有后代节点（⼦节点、孙节点）选取⽂档中当前节点结束标签后的所有节点选取当前节点之后的兄弟节点选取当前节点的⽗节点选取⽂档中当前节点开始标签前的所有节点ancestor-or-selfxpath(‘./ancestor-or-self::*’)attributechilddescendantfollowingfollowing-sibingparentprecedingxpath(‘./attribute::*’)xpath(‘./child::*’)xpath(‘./descendant::*’)xpath(‘./following::*’)xpath(‘./following-sibing::*’)xpath(‘./parent::*’)xpath(‘./preceding::*’)precedingpreceding-siblingselfxpath(‘./preceding::*’)xpath(‘./preceding-sibling::*’)xpath(‘./self::*’)点选取当前节点之前的兄弟节点选取当前节点六、功能函数：使⽤功能函数能够更好的进⾏模糊搜索函数starts-withcontainsandtext()⽤法xpath(‘//div[starts-with(@id,”ma”)]‘)xpath(‘//div[contains(@id,”ma”)]‘)xpath(‘//div[contains(@id,”ma”) andcontains(@id,”in”)]‘)xpath(‘//div[contains(text(),”ma”)]‘)解释选取id值以ma开头的div节点选取id值包含ma的div节点选取id值包含ma和in的div节点选取节点⽂本包含ma的div节点七、常⽤函数： 1、精确定位（1）contains(str1,str2)⽤来判断str1是否包含str2例1：//*[contains(@class,'c-summaryc-row ')]选择@class值中包含c-summary c-row的节点例2：//div[contains(.//text(),'价格')]选择text()中包含价格的div节点（2）position()选择当前的第⼏个节点例1：//*[@class='result'][position()=1]选择@class='result'的第⼀个节点例2：//*[@class='result'][position()<=2]选择@class='result'的前两个节点（3）last()选择当前的倒数第⼏个节点例1：//*[@class='result'][last()]选择@class='result'的最后⼀个节点例2：//*[@class='result'][last()-1]选择@class='result'的倒数第⼆个节点（4）following-sibling 选取当前节点之后的所有同级节点例1：//div[@class='result']/following-sibling::div选择@class='result'的div节点后所有同级div节点找到多个节点时可通过position确定第⼏个如：//div[@class='result']/following-sibling::div[position()=1]（5）preceding-sibling 选取当前节点之前的所有同级节点使⽤⽅法同following-sibling

2、过滤信息（1）substring-before(str1,str2)⽤于返回字符串str1中位于第⼀个str2之前的部分例⼦：substring-before(.//*[@class='c-more_link']/text(),'条')

返回.//*[@class='c-more_link']/text()中第⼀个'条'前⾯的部分，如果不存在'条'，则返回空值（2）substring-after(str1,str2)跟substring-before类似，返回字符串str1中位于第⼀个str2之后的部分例1：substring-after(.//*[@class='c-more_link']/text(),'条')返回.//*[@class='c-more_link']/text()中第⼀个’条’后⾯的部分，如果不存在'条'，则返回空值例2：substring-after(substring-before(.//*[@class='c-more_link']/text(),'新闻'),'条')

返回.//*[@class='c-more_link']/text()中第⼀个'新闻'前⾯与第⼀个'条'后⾯之间的部分（3）normalize-space()⽤来将⼀个字符串的头部和尾部的空⽩字符删除，如果字符串中间含有多个连续的空⽩字符，将⽤⼀个空格来代替例⼦：normalize-space(.//*[contains(@class,'c-summaryc-row ')])（4）translate(string,str1,str2)

假如string中的字符在str1中有出现，那么替换为str1对应str2的同⼀位置的字符，假如str2这个位置取不到字符则删除string的该字符例⼦：translate('12:30','03','54')结果：'12:45'3、拼接信息（1）concat()函数⽤于串连多个字符串例⼦：concat('',.//*[@class='c-more_link']/@href)