⚙️ www.xservx.com · python爬虫代码运行不了 📧 站长信箱: support@xservx.com

🐍 python爬虫代码运行不了 · 深度修复与热点洞察

每天有数以千计的开发者遇到 python爬虫代码运行不了 的问题。从环境配置到反爬封锁,我们整理出 网民最关心的10个热点,并附上可复现示例与解决方案。

⚡ ① 请求超时

python爬虫代码运行不了 最常见原因之一:requests.exceptions.ConnectTimeout。设置超时参数 timeout=10,并使用重试机制。

⚡ ② SSL证书错误

requests.exceptions.SSLError → 添加 verify=False(谨慎)或使用 certifi 更新证书。

⚡ ③ 反爬虫拦截

状态码 403/418。需伪装 User-Agent、添加 Referer、使用代理池。示例见下文。

⚡ ④ Selenium驱动崩溃

python爬虫代码运行不了 经常因为 chromedriver 版本不匹配。使用 webdriver_manager 自动管理。

【热点】网民最常搜的10个问题

⑴ requests 报错

python爬虫代码运行不了 时,先检查网络代理:proxies={'http':'...'}。示例:requests.get(url, proxies=proxies, timeout=5)。

⑵ 解析HTML乱码

BeautifulSoup 乱码 → 指定 from_encoding='utf-8' 或 response.apparent_encoding。

⑶ 动态加载抓不到

使用 Selenium 或 requests 模拟 Ajax。推荐 selenium-wire 捕获网络请求。

⑷ 验证码阻碍

接入打码平台或使用 OCR(pytesseract)。python爬虫代码运行不了 时验证码往往是最后一步。

⑸ Cookie失效

使用 Session 保持上下文:s = requests.Session(),登录后携带Cookie。

⑹ 多线程卡死

线程池未关闭或异常未捕获。使用 concurrent.futures 并添加超时。

⑺ 数据存储乱码

写入CSV/Excel 时指定 encoding='utf-8-sig'。

⑻ 爬虫被限速

随机延时 time.sleep(random.uniform(1,3)) 并轮换UA。

⑼ 302重定向陷阱

allow_redirects=False 手动处理Location。

⑽ 编码错误 UnicodeEncodeError

输出时 .encode('utf-8','ignore') 或设置环境变量 PYTHONIOENCODING=utf-8。

以上10个热点覆盖了 python爬虫代码运行不了 90%的场景。下面通过选项卡与时间轴提供更详细示例。

〈 调试思维 · 逐步排查 〉

⚙️ 通用调试流程

  • ① 打印异常类型与堆栈:traceback.print_exc()
  • ② 检查目标网站 robots.txt 及反爬机制
  • ③ 使用 curl 或 Postman 对比请求
  • ④ 分段测试:先获取静态页,再解析
  • ⑤ 最小化复现:删除无关代码,聚焦失败行
# 最小化调试模板
import requests
from requests.exceptions import RequestException
url = "https://httpbin.org/get"
try:
    resp = requests.get(url, timeout=5, headers={"User-Agent": "Mozilla/5.0"})
    resp.raise_for_status()
    print(resp.text[:200])
except RequestException as e:
    print(f"【python爬虫代码运行不了】{e}")

〖 实战案例 〗

▶ 案例A:requests超时

python爬虫代码运行不了 现象:卡住无响应。解决:添加 timeout=(3,5) 并使用 retry 库。

▶ 案例B:Selenium找不到元素

等待策略:WebDriverWait(driver, 10).until(EC.presence_of_element_located(...))

▶ 案例C:Scrapy管道报错

检查 settings.py 中 ITEM_PIPELINES 配置,启用 FEED_EXPORT_ENCODING='utf-8'。

【 深度选项卡 · 可切换 】

反爬虫绕过策略

  • python爬虫代码运行不了 常因反爬升级。使用 fake_useragent 随机UA。
  • 添加常见请求头:Accept、Accept-Language、Referer。
  • 使用代理池:proxies = {'http':'http://10.10.1.10:3128'}
  • 示例:
    import requests
    from fake_useragent import UserAgent
    ua = UserAgent()
    headers = {'User-Agent': ua.random}
    resp = requests.get('https://httpbin.org/headers', headers=headers)
    print(resp.json())

请求参数与超时控制

很多 python爬虫代码运行不了 是因为参数遗漏:

  • params={'page':1, 'size':20}
  • cookies = {'sessionid':'xxx'}
  • 超时组合:timeout=(connect, read)
requests.get('https://api.example.com', params={'key':'value'}, timeout=5)

存储与编码异常

python爬虫代码运行不了 也常发生在写文件时:

  • CSV写入:open('data.csv','w', newline='', encoding='utf-8-sig')
  • JSON序列化:json.dumps(data, ensure_ascii=False)
  • 数据库插入:参数化查询防止SQLite编码错误
import csv
with open('out.csv','w', encoding='utf-8-sig') as f:
    writer = csv.writer(f)
    writer.writerow(['标题','内容'])

〓 爬虫调试时间轴 〓

① 环境搭建失败

Python版本、pip install 报错。解决方案:使用虚拟环境 python -m venv venv。

② 首次请求无响应

python爬虫代码运行不了 第一步:检查防火墙/代理,用 requests.get('https://httpbin.org/get') 测试连通性。

③ 解析结果为空

BeautifulSoup 选择器错误 → 用浏览器复制XPath,并打印 soup.prettify() 定位。

④ 反爬封锁

出现验证码或封IP。轮换代理 + 降低频率 + 使用 selenium 模拟浏览器指纹。

⑤ 数据入库乱码

统一使用UTF-8,MySQL连接设置 charset='utf8mb4'。

【 常见错误码速查表 】

状态码含义与爬虫关系
200成功正常
301/302重定向可能丢失Cookie
403禁止访问python爬虫代码运行不了 典型反爬
418我是茶壶反爬调侃,需换UA
429太多请求限速,需延时
503服务不可用服务器过载或盾