在自动化数据采集实践中,python爬虫运行无结果是最常见也最令人沮丧的问题之一——代码无报错、日志无异常、执行完却空空如也。本指南从真实项目复现出发,逐层拆解问题根源,提供可落地的解决方案与调试技巧,覆盖requests、scrapy、selenium三大主流框架的核心痛点。
python爬虫运行无结果 ≠ 程序崩溃,而是指:程序正常执行结束,但未获取到预期数据(如items为空、文件无写入、终端无输出)。典型表现包括:
据2025年社区调研显示,78%的初学者在首次构建爬虫时遭遇此问题;即使有经验开发者,在应对复杂反爬(如JS加密、动态Token、滑块验证)时,发生率仍高达34%。本文将从数据流全链路角度,构建系统性排查体系。
服务器通过User-Agent、Referer、Accept-Language等字段识别请求来源。若缺失关键头字段,可能返回空内容或重定向页(如302跳转至登录页)。常见错误代码:
import requests
# ❌ 错误:未设置headers,部分网站直接返回空
resp = requests.get('https://example.com/data')
print(resp.text) # 可能为空字符串或登录页HTML
正确做法:完整模拟浏览器请求头,尤其注意:
现代网站大量采用AJAX异步加载(如Vue/React应用),初始HTML无数据,需等待JS执行后才填充。典型场景:
python爬虫运行无结果往往因未等待异步请求完成。解决方案:
响应内容编码声明与实际不符时,解码错误会引发解析异常。例如:
调试技巧:
# 正确处理编码
resp = requests.get(url)
resp.encoding = resp.apparent_encoding # 自动检测编码
tree = html.fromstring(resp.content)
# 验证:print(tree.xpath('//meta[@charset]/@charset'))
常见策略及应对:
| 反爬类型 | 表现 | 解决方案 |
|---|---|---|
| IP封禁 | 连续请求后返回403,或空响应 | 使用代理池+请求间隔随机化 |
| 请求频率限制 | 前几次成功,之后静默失败 | 添加time.sleep(random.uniform(1,3)) |
| JS加密参数 | 请求含sign/timestamp参数,值动态生成 | 逆向JS或抓包复现参数 |
| 滑块验证 | 页面弹出验证码,爬虫无法继续 | 接入打码平台或使用selenium模拟拖动 |
选择器语法错误会导致提取结果为空。常见陷阱:
调试方法:在浏览器控制台执行XPath/CSS选择器,验证是否命中目标元素。
常见错误:
正确示例:
def parse(self, response):
for item in response.css('.product-item'):
yield {
'title': item.css('h3::text').get(),
'price': item.css('.price::text').get(),
}
直接调用find_element()可能导致元素未渲染完成而失败。正确方式:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.data-container')))
# 再执行find_elements
线程中异常不会中断主线程,导致部分数据丢失。解决方案:
登录态在请求间丢失,导致后续请求返回未登录页(空内容)。解决方案:
未正确构造翻页URL(如offset未递增)、页码边界处理错误(最后一页为空)。调试技巧:
部分网站数据需通过JS从SSR数据中提取。例如:
<script id="__NEXT_DATA__" type="application/json">
{"props":{"pageProps":{"items":[...]}}}
</script>
需解析该JSON而非直接抓取DOM。错误做法:用lxml解析页面HTML;正确做法:提取JSON→解析JSON→提取items。
例如:
验证方法:在虚拟环境中逐个升级/降级依赖,定位冲突源。
添加调试输出:
resp = requests.get(url)
print(f"Status: {resp.status_code}")
print(f"Content-Length: {len(resp.content)}")
print(f"Final URL: {resp.url}") # 检查是否重定向
关键判断:
保存原始HTML用于分析:
with open('debug.html', 'w', encoding=resp.encoding) as f:
f.write(resp.text)
在浏览器打开debug.html,对比原始页面与响应HTML差异,定位动态内容缺失点。
在Chrome DevTools Console中测试:
// XPath测试
$x('//div[@class="item"]')
// CSS测试
document.querySelectorAll('.item')
若返回[],说明选择器错误或内容未加载。
scrapy示例:
settings.py:
LOG_LEVEL = 'DEBUG'
LOG_FILE = 'spider.log'
关注关键日志:
剥离非必要逻辑,构造最小可运行示例:
# test_spider.py
import requests
from lxml import html
url = "https://example.com/data"
headers = {"User-Agent": "Mozilla/5.0..."}
resp = requests.get(url, headers=headers)
tree = html.fromstring(resp.content)
items = tree.xpath('//div[@class="item"]/text()')
print(f"Found {len(items)} items")
print(items)
逐步添加逻辑,定位问题模块。
目标:爬取某新闻网站专题页文章列表
现象:requests请求返回200,但HTML中无文章标题,仅含空容器
import requests
import json
# 步骤1:先访问首页获取Cookie
session = requests.Session()
session.get('https://example.com/tech')
# 步骤2:构造API请求
api_url = 'https://example.com/api/articles'
params = {'cat': 'tech', 'page': 1}
headers = {
'Referer': 'https://example.com/tech',
'X-Requested-With': 'XMLHttpRequest'
}
resp = session.get(api_url, params=params, headers=headers)
data = json.loads(resp.text)
articles = data['data']['articles']
print(f"共获取 {len(articles)} 篇文章")
对于现代Web应用,直接爬取HTML页面效率低,应优先抓取其背后API接口。注意:
目标:用Scrapy爬取电商商品列表
现象:spider执行完成,控制台无错误,但items.json为空
# settings.py
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter' # 禁用去重
# 或自定义去重规则
class CustomDupeFilter(BaseDupeFilter):
def request_seen(self, request):
# 仅按URL去重,忽略参数差异
return request.url in self.fingerprints
同时优化parse()逻辑:
def parse(self, response):
for product in response.css('.product'):
item = ProductItem()
item['title'] = product.css('h3::text').get()
item['price'] = product.css('.price::text').get()
yield item
# 翻页
next_page = response.css('.next-page::attr(href)').get()
if next_page:
yield response.follow(next_page, callback=self.parse)
Scrapy的去重机制默认基于Request指纹(URL+方法+body+headers),对参数微调的URL会误判为重复。生产环境需根据业务定制去重策略。
目标:爬取动态加载图片的画廊页面
现象:selenium打开页面后,find_elements(By.CSS_SELECTOR, 'img')返回空列表
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://example.com/gallery')
# 模拟滚动加载
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
WebDriverWait(driver, 10).until(
lambda d: d.execute_script("return document.body.scrollHeight") > last_height
)
last_height = driver.execute_script("return document.body.scrollHeight")
if last_height > 5000: # 设置最大滚动高度
break
# 提取图片
images = driver.find_elements(By.CSS_SELECTOR, 'img[data-lazy-src]')
urls = [img.get_attribute('data-lazy-src') for img in images]
print(f"共获取 {len(urls)} 张图片")
对动态页面,优先抓取JS加载前的原始数据源(如JSON),而非依赖浏览器渲染。若必须用selenium:
推荐使用Scrapy官方脚手架:
scrapy startproject myproject
cd myproject
scrapy genspider example example.com
内置日志、中间件、 pipelines 框架,减少重复造轮子。
A:网站可能更新了反爬策略(如增加新参数、修改加密算法)。建议:
A:重点排查:
A:观察以下现象:
A:执行“三明治测试”:
A:核心原则:模拟人类行为
解决python爬虫运行无结果问题的核心在于:系统性思维 + 工具链熟练 + 持续学习。网站反爬策略持续迭代,唯有建立自己的调试体系,才能从容应对各类异常。建议收藏本文作为排查手册,每次遇到问题时按步骤执行。
根据《网络安全法》及网站 robots.txt,禁止爬取禁止索引的内容。所有爬虫行为需遵守:
技术无罪,但需有边界。