python爬虫运行无结果|系统性排查指南

在自动化数据采集实践中,python爬虫运行无结果是最常见也最令人沮丧的问题之一——代码无报错、日志无异常、执行完却空空如也。本指南从真实项目复现出发,逐层拆解问题根源,提供可落地的解决方案与调试技巧,覆盖requests、scrapy、selenium三大主流框架的核心痛点。

核心问题定义

python爬虫运行无结果 ≠ 程序崩溃,而是指:程序正常执行结束,但未获取到预期数据(如items为空、文件无写入、终端无输出)。典型表现包括:

据2025年社区调研显示,78%的初学者在首次构建爬虫时遭遇此问题;即使有经验开发者,在应对复杂反爬(如JS加密、动态Token、滑块验证)时,发生率仍高达34%。本文将从数据流全链路角度,构建系统性排查体系。

一、python爬虫运行无结果的12大高频原因

1. 请求头缺失或伪造失败

服务器通过User-Agent、Referer、Accept-Language等字段识别请求来源。若缺失关键头字段,可能返回空内容或重定向页(如302跳转至登录页)。常见错误代码:

import requests
# ❌ 错误:未设置headers,部分网站直接返回空
resp = requests.get('https://example.com/data')
print(resp.text)  # 可能为空字符串或登录页HTML

正确做法:完整模拟浏览器请求头,尤其注意:

2. 动态加载内容未等待

现代网站大量采用AJAX异步加载(如Vue/React应用),初始HTML无数据,需等待JS执行后才填充。典型场景:

python爬虫运行无结果往往因未等待异步请求完成。解决方案:

  1. 用浏览器开发者工具Network面板捕获真实API请求
  2. 直接调用API(如requests请求/api/items?offset=0)
  3. 对JS渲染页面,用selenium等待元素可见(WebDriverWait)

3. 编码问题导致解析失败

响应内容编码声明与实际不符时,解码错误会引发解析异常。例如:

调试技巧:

# 正确处理编码
resp = requests.get(url)
resp.encoding = resp.apparent_encoding  # 自动检测编码
tree = html.fromstring(resp.content)
# 验证:print(tree.xpath('//meta[@charset]/@charset'))

4. 反爬机制拦截

常见策略及应对:

反爬类型表现解决方案
IP封禁连续请求后返回403,或空响应使用代理池+请求间隔随机化
请求频率限制前几次成功,之后静默失败添加time.sleep(random.uniform(1,3))
JS加密参数请求含sign/timestamp参数,值动态生成逆向JS或抓包复现参数
滑块验证页面弹出验证码,爬虫无法继续接入打码平台或使用selenium模拟拖动

5. XPath/CSS选择器错误

选择器语法错误会导致提取结果为空。常见陷阱:

调试方法:在浏览器控制台执行XPath/CSS选择器,验证是否命中目标元素。

6. Scrapy Spider未返回Item

常见错误:

正确示例:

def parse(self, response):
    for item in response.css('.product-item'):
        yield {
            'title': item.css('h3::text').get(),
            'price': item.css('.price::text').get(),
        }

7. Selenium元素未加载完成

直接调用find_element()可能导致元素未渲染完成而失败。正确方式:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.data-container')))
# 再执行find_elements

8. 多线程异常未捕获

线程中异常不会中断主线程,导致部分数据丢失。解决方案:

9. cookies未持久化

登录态在请求间丢失,导致后续请求返回未登录页(空内容)。解决方案:

10. 分页逻辑错误

未正确构造翻页URL(如offset未递增)、页码边界处理错误(最后一页为空)。调试技巧:

11. 服务器端渲染(SSR)与客户端渲染(CSR)混淆

部分网站数据需通过JS从SSR数据中提取。例如:

<script id="__NEXT_DATA__" type="application/json">
{"props":{"pageProps":{"items":[...]}}}
</script>

需解析该JSON而非直接抓取DOM。错误做法:用lxml解析页面HTML;正确做法:提取JSON→解析JSON→提取items。

12. 环境依赖版本冲突

例如:

验证方法:在虚拟环境中逐个升级/降级依赖,定位冲突源。

二、python爬虫运行无结果的调试五步法

步骤1:验证请求是否成功

添加调试输出:

resp = requests.get(url)
print(f"Status: {resp.status_code}")
print(f"Content-Length: {len(resp.content)}")
print(f"Final URL: {resp.url}")  # 检查是否重定向

关键判断:

步骤2:检查响应体内容

保存原始HTML用于分析:

with open('debug.html', 'w', encoding=resp.encoding) as f:
    f.write(resp.text)

在浏览器打开debug.html,对比原始页面与响应HTML差异,定位动态内容缺失点。

步骤3:验证选择器

在Chrome DevTools Console中测试:

// XPath测试
$x('//div[@class="item"]')
// CSS测试
document.querySelectorAll('.item')

若返回[],说明选择器错误或内容未加载。

步骤4:启用详细日志

scrapy示例:

settings.py:
LOG_LEVEL = 'DEBUG'
LOG_FILE = 'spider.log'

关注关键日志:

步骤5:最小化复现

剥离非必要逻辑,构造最小可运行示例:

# test_spider.py
import requests
from lxml import html
url = "https://example.com/data"
headers = {"User-Agent": "Mozilla/5.0..."}
resp = requests.get(url, headers=headers)
tree = html.fromstring(resp.content)
items = tree.xpath('//div[@class="item"]/text()')
print(f"Found {len(items)} items")
print(items)

逐步添加逻辑,定位问题模块。

三、真实项目复现案例

案例1:requests返回空
案例2:scrapy items为空
案例3:selenium元素缺失

问题描述

目标:爬取某新闻网站专题页文章列表

现象:requests请求返回200,但HTML中无文章标题,仅含空容器

排查过程

  1. 浏览器打开页面 → 开发者工具Network → 过滤XHR
  2. 发现关键请求:https://example.com/api/articles?cat=tech&page=1
  3. 检查请求头 → 发现需携带Cookie: sessionid=xxx

解决方案

import requests
import json
# 步骤1:先访问首页获取Cookie
session = requests.Session()
session.get('https://example.com/tech')
# 步骤2:构造API请求
api_url = 'https://example.com/api/articles'
params = {'cat': 'tech', 'page': 1}
headers = {
    'Referer': 'https://example.com/tech',
    'X-Requested-With': 'XMLHttpRequest'
}
resp = session.get(api_url, params=params, headers=headers)
data = json.loads(resp.text)
articles = data['data']['articles']
print(f"共获取 {len(articles)} 篇文章")

经验总结

对于现代Web应用,直接爬取HTML页面效率低,应优先抓取其背后API接口。注意:

  • API请求头往往更精简(如无需Accept-Encoding)
  • 部分API需签名参数(如sign=md5(timestamp+secret)),需逆向JS
  • 返回JSON更易解析,避免HTML清洗

问题描述

目标:用Scrapy爬取电商商品列表

现象:spider执行完成,控制台无错误,但items.json为空

排查过程

  1. 检查parse()方法 → 确认yield item语句存在
  2. 启用LOG_LEVEL=DEBUG → 发现“Filtered duplicate request”日志
  3. 检查DUPEFILTER_CLASS设置 → 默认去重规则过于宽松

解决方案

# settings.py
DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter'  # 禁用去重
# 或自定义去重规则
class CustomDupeFilter(BaseDupeFilter):
    def request_seen(self, request):
        # 仅按URL去重,忽略参数差异
        return request.url in self.fingerprints

同时优化parse()逻辑:

def parse(self, response):
    for product in response.css('.product'):
        item = ProductItem()
        item['title'] = product.css('h3::text').get()
        item['price'] = product.css('.price::text').get()
        yield item
    # 翻页
    next_page = response.css('.next-page::attr(href)').get()
    if next_page:
        yield response.follow(next_page, callback=self.parse)

经验总结

Scrapy的去重机制默认基于Request指纹(URL+方法+body+headers),对参数微调的URL会误判为重复。生产环境需根据业务定制去重策略。

问题描述

目标:爬取动态加载图片的画廊页面

现象:selenium打开页面后,find_elements(By.CSS_SELECTOR, 'img')返回空列表

排查过程

  1. 检查页面源码 → img标签存在,但src为占位图
  2. 查看Network面板 → 发现data-lazy-src字段
  3. 发现图片需滚动触发加载

解决方案

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://example.com/gallery')
# 模拟滚动加载
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    WebDriverWait(driver, 10).until(
        lambda d: d.execute_script("return document.body.scrollHeight") > last_height
    )
    last_height = driver.execute_script("return document.body.scrollHeight")
    if last_height > 5000:  # 设置最大滚动高度
        break
# 提取图片
images = driver.find_elements(By.CSS_SELECTOR, 'img[data-lazy-src]')
urls = [img.get_attribute('data-lazy-src') for img in images]
print(f"共获取 {len(urls)} 张图片")

经验总结

对动态页面,优先抓取JS加载前的原始数据源(如JSON),而非依赖浏览器渲染。若必须用selenium:

  • 用WebDriverWait等待关键元素加载
  • 模拟用户行为(滚动、点击)触发数据加载
  • 直接执行JS获取数据:driver.execute_script("return window.__INITIAL_STATE__")

四、高效工具链推荐

1. 抓包工具

2. 解析辅助

3. 自动化调试

4. 项目模板

推荐使用Scrapy官方脚手架:

scrapy startproject myproject
cd myproject
scrapy genspider example example.com

内置日志、中间件、 pipelines 框架,减少重复造轮子。

五、网友常见疑问

Q1:为什么同样的代码,昨天能跑,今天不行了?

A:网站可能更新了反爬策略(如增加新参数、修改加密算法)。建议:

Q2:爬虫返回空但浏览器能正常查看,如何解决?

A:重点排查:

  1. 请求头差异(User-Agent、Cookie)
  2. 动态加载逻辑(浏览器会执行JS,爬虫不会)
  3. IP信誉度(网站对新IP限流)

Q3:如何检测网站是否启用反爬?

A:观察以下现象:

Q4:python爬虫运行无结果时,如何快速定位是代码问题还是网站问题?

A:执行“三明治测试”:

  1. 用浏览器直接访问目标URL → 确认数据存在
  2. 用curl命令模拟请求 → 验证是否需特殊头
  3. 用requests库复现curl行为 → 定位代码问题

Q5:如何避免爬虫被封?

A:核心原则:模拟人类行为

六、总结与行动清单

排查流程图

  1. 检查HTTP状态码 → 200?302?403?
  2. 查看响应体内容 → 是否含目标数据?
  3. 验证选择器 → 浏览器控制台测试
  4. 检查动态加载 → Network面板找API
  5. 分析反爬特征 → Cookie/Token/频率

行动清单

关键结论

解决python爬虫运行无结果问题的核心在于:系统性思维 + 工具链熟练 + 持续学习。网站反爬策略持续迭代,唯有建立自己的调试体系,才能从容应对各类异常。建议收藏本文作为排查手册,每次遇到问题时按步骤执行。

特别提醒

根据《网络安全法》及网站 robots.txt,禁止爬取禁止索引的内容。所有爬虫行为需遵守:

  • 尊重robots.txt限制
  • 不绕过反爬技术措施
  • 不用于商业侵权
  • 控制请求频率(建议≤1次/秒)

技术无罪,但需有边界。