🐍 python爬虫代码运行不了 · 深度修复与热点洞察
每天有数以千计的开发者遇到 python爬虫代码运行不了 的问题。从环境配置到反爬封锁,我们整理出 网民最关心的10个热点,并附上可复现示例与解决方案。
⚡ ① 请求超时
python爬虫代码运行不了 最常见原因之一:requests.exceptions.ConnectTimeout。设置超时参数 timeout=10,并使用重试机制。
⚡ ② SSL证书错误
requests.exceptions.SSLError → 添加 verify=False(谨慎)或使用 certifi 更新证书。
⚡ ③ 反爬虫拦截
状态码 403/418。需伪装 User-Agent、添加 Referer、使用代理池。示例见下文。
⚡ ④ Selenium驱动崩溃
python爬虫代码运行不了 经常因为 chromedriver 版本不匹配。使用 webdriver_manager 自动管理。
【热点】网民最常搜的10个问题
⑴ requests 报错
python爬虫代码运行不了 时,先检查网络代理:proxies={'http':'...'}。示例:requests.get(url, proxies=proxies, timeout=5)。
⑵ 解析HTML乱码
BeautifulSoup 乱码 → 指定 from_encoding='utf-8' 或 response.apparent_encoding。
⑶ 动态加载抓不到
使用 Selenium 或 requests 模拟 Ajax。推荐 selenium-wire 捕获网络请求。
⑷ 验证码阻碍
接入打码平台或使用 OCR(pytesseract)。python爬虫代码运行不了 时验证码往往是最后一步。
⑸ Cookie失效
使用 Session 保持上下文:s = requests.Session(),登录后携带Cookie。
⑹ 多线程卡死
线程池未关闭或异常未捕获。使用 concurrent.futures 并添加超时。
⑺ 数据存储乱码
写入CSV/Excel 时指定 encoding='utf-8-sig'。
⑻ 爬虫被限速
随机延时 time.sleep(random.uniform(1,3)) 并轮换UA。
⑼ 302重定向陷阱
allow_redirects=False 手动处理Location。
⑽ 编码错误 UnicodeEncodeError
输出时 .encode('utf-8','ignore') 或设置环境变量 PYTHONIOENCODING=utf-8。
以上10个热点覆盖了 python爬虫代码运行不了 90%的场景。下面通过选项卡与时间轴提供更详细示例。
〈 调试思维 · 逐步排查 〉
⚙️ 通用调试流程
- ① 打印异常类型与堆栈:
traceback.print_exc() - ② 检查目标网站 robots.txt 及反爬机制
- ③ 使用
curl或 Postman 对比请求 - ④ 分段测试:先获取静态页,再解析
- ⑤ 最小化复现:删除无关代码,聚焦失败行
# 最小化调试模板
import requests
from requests.exceptions import RequestException
url = "https://httpbin.org/get"
try:
resp = requests.get(url, timeout=5, headers={"User-Agent": "Mozilla/5.0"})
resp.raise_for_status()
print(resp.text[:200])
except RequestException as e:
print(f"【python爬虫代码运行不了】{e}")
〖 实战案例 〗
▶ 案例A:requests超时
python爬虫代码运行不了 现象:卡住无响应。解决:添加 timeout=(3,5) 并使用 retry 库。
▶ 案例B:Selenium找不到元素
等待策略:WebDriverWait(driver, 10).until(EC.presence_of_element_located(...))
▶ 案例C:Scrapy管道报错
检查 settings.py 中 ITEM_PIPELINES 配置,启用 FEED_EXPORT_ENCODING='utf-8'。
【 深度选项卡 · 可切换 】
反爬虫绕过策略
- python爬虫代码运行不了 常因反爬升级。使用
fake_useragent随机UA。 - 添加常见请求头:Accept、Accept-Language、Referer。
- 使用代理池:
proxies = {'http':'http://10.10.1.10:3128'} - 示例:
import requests from fake_useragent import UserAgent ua = UserAgent() headers = {'User-Agent': ua.random} resp = requests.get('https://httpbin.org/headers', headers=headers) print(resp.json())
请求参数与超时控制
很多 python爬虫代码运行不了 是因为参数遗漏:
params={'page':1, 'size':20}cookies = {'sessionid':'xxx'}- 超时组合:
timeout=(connect, read)
requests.get('https://api.example.com', params={'key':'value'}, timeout=5)
存储与编码异常
python爬虫代码运行不了 也常发生在写文件时:
- CSV写入:
open('data.csv','w', newline='', encoding='utf-8-sig') - JSON序列化:
json.dumps(data, ensure_ascii=False) - 数据库插入:参数化查询防止SQLite编码错误
import csv
with open('out.csv','w', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['标题','内容'])
〓 爬虫调试时间轴 〓
① 环境搭建失败
Python版本、pip install 报错。解决方案:使用虚拟环境 python -m venv venv。
② 首次请求无响应
python爬虫代码运行不了 第一步:检查防火墙/代理,用 requests.get('https://httpbin.org/get') 测试连通性。
③ 解析结果为空
BeautifulSoup 选择器错误 → 用浏览器复制XPath,并打印 soup.prettify() 定位。
④ 反爬封锁
出现验证码或封IP。轮换代理 + 降低频率 + 使用 selenium 模拟浏览器指纹。
⑤ 数据入库乱码
统一使用UTF-8,MySQL连接设置 charset='utf8mb4'。
【 常见错误码速查表 】
| 状态码 | 含义 | 与爬虫关系 |
|---|---|---|
| 200 | 成功 | 正常 |
| 301/302 | 重定向 | 可能丢失Cookie |
| 403 | 禁止访问 | python爬虫代码运行不了 典型反爬 |
| 418 | 我是茶壶 | 反爬调侃,需换UA |
| 429 | 太多请求 | 限速,需延时 |
| 503 | 服务不可用 | 服务器过载或盾 |