解决百科网页爬取结果为空的问题
在使用XPath爬取百度百科数据时，经常会遇到空结果的情况。本文分析可能原因并提供解决方案。
问题：使用lxml库和XPath表达式//div[contns(@class,”lemma-summary”) or contains(@class,”lemmawgt-lemmasummary”)]//text()提取百度百科词条摘要信息时，结果为空。
原因：百度百科的网页结构和重定向机制。服务器返回302状态码，表示需要重定向到新的URL。原始代码未处理重定向，导致爬取的页面并非目标页面。
解决方案：在代码中添加重定向处理。以下为改进后的代码：
import urllib.request import urllib.parse from lxml import etree def fetch_baike_summary(keyword): url = 'https://baike.baidu.com/item/' + urllib.parse.quote(keyword) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } req = urllib.request.Request(url=url, headers=headers) try: with urllib.request.urlopen(req) as response: if response.getcode() == 302: url = response.geturl() req = urllib.request.Request(url=url, headers=headers) with urllib.request.urlopen(req) as response: html = response.read().decode('utf-8', errors='ignore') else: html = response.read().decode('utf-8', errors='ignore') tree = etree.HTML(html) summary = tree.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()') return ''.join([item.strip() for item in summary]) except Exception as e: return f"Error: {e}" if __name__ == "__main__": keyword = input("请输入关键词：") result = fetch_baike_summary(keyword) print(f"查询结果：{result}")
登录后复制
改进之处：
- 增加了对302重定向的处理，获取重定向后的URL并重新请求。
- 使用with语句管理资源，确保正确关闭连接。
- 使用更健壮的错误处理机制，捕获并报告异常。
- 代码更清晰易读，并进行了适当的命名。
此代码能够正确处理重定向，并提取百度百科词条摘要信息。 记住，频繁爬取可能会对服务器造成负担，请遵守网站的robots.txt规则。
以上就是百科网页爬取结果为空怎么办？的详细内容，更多请关注php中文网其它相关文章！
微信扫一扫打赏
支付宝扫一扫打赏
