网站备案:蜀ICP备2026035467号-3 | 网址:www.xservx.com

python爬虫全套教程:第35

欢迎来到《python爬虫全套教程》第35课——动态渲染与反反爬实战的深度解析页面。本课是整个教程体系中的关键转折点:从静态页面采集转向企业级真实爬虫系统开发,涵盖Selenium自动化、反反爬策略、请求头伪装、请求频率控制、IP池管理、验证码识别等核心实战模块。

在第1-34课中,我们系统讲解了HTTP协议基础、requests库使用、BeautifulSoup解析、正则表达式、XPath、Scrapy基础架构等内容,学员已具备独立采集静态网站的能力。但现实场景中,90%以上的重要数据源采用动态渲染技术(如AJAX异步加载、JavaScript动态插入DOM、SPA单页应用等),仅靠requests+BeautifulSoup已无法满足采集需求。

本课将围绕“如何高效、稳定、合规地采集动态渲染页面数据”展开深度教学。我们将以“豆瓣电影Top250”“知乎热榜”“微博热搜”“去哪儿网酒店信息”等真实网站为案例,逐层拆解其渲染机制,演示如何构建可落地的企业级爬虫方案。课程强调“问题导向”,每个技术点均配有完整可运行的代码、详细调试过程与常见错误解析,确保学员学完即可应用到实际项目中。

特别说明:本课内容严格遵守《网络安全法》《数据安全法》及网站robots.txt协议,所有示例仅用于教学目的,禁止用于商业爬取、数据倒卖等非法行为。我们倡导“技术向善”,鼓励学员在合法合规前提下,探索数据价值的合理挖掘路径。

⚡本课核心产出:一套可复用的“动态页面采集通用模板”,包含自动检测渲染方式、智能切换采集策略、请求失败自动重试、反反爬策略动态调整等功能,已集成至项目仓库,供学员下载使用。

课程定位与知识地图

《python爬虫全套教程》共42课,分四个阶段:基础入门(1-10课)、静态采集(11-20课)、动态渲染(21-35课)、框架与工程(36-42课)。第35课位于动态渲染阶段的收尾位置,是承上启下的关键一课。

本课知识地图如下:

课程设计遵循“认知→实践→优化→迁移”四阶段学习路径,确保知识内化。所有示例均基于Python 3.10+,Selenium 4.8+,Chrome 110+,请学员提前安装对应环境。

核心模块详解

1. 动态渲染类型识别与检测

在采集前,必须先判断目标网站是否为动态渲染。常用检测方法如下:

  • ① 对比源代码与页面DOM:右键→“查看源代码”与“检查元素”,对比关键数据是否存在
  • ② 禁用JavaScript测试:浏览器开发者工具→设置→隐私与安全→禁用JS后刷新页面
  • ③ Network面板观察:是否频繁出现XHR/Fetch请求,响应内容是否为JSON
  • ④ robots.txt检查:部分网站在robots中声明“User-agent: * Disallow: /”暗示动态保护

以“去哪儿网酒店详情页”为例:直接请求URL返回的HTML中,酒店价格字段为“__INITIAL_STATE__”,但实际页面渲染后显示具体价格,说明为客户端渲染。此时需用Selenium获取渲染后DOM。

# 示例:检测是否为动态渲染 import requests from bs4 import BeautifulSoup url = 'https://hotel.qunar.com/hotel_detail/' headers = {'User-Agent': 'Mozilla/5.0'} resp = requests.get(url, headers=headers) soup = BeautifulSoup(resp.text, 'html.parser') print('源代码中是否有价格字段:', '¥' in resp.text) # False → 需动态渲染

⚠️ 注意:部分网站采用“SSR+CSR混合模式”,如知乎。首页HTML含首屏数据,但评论、关注列表等需异步加载。需分层处理:首屏用requests,次屏用Selenium。

2. Selenium核心操作与最佳实践

Selenium是动态爬虫的基石工具,但其使用存在常见误区:过度依赖sleep()、元素定位失败率高、浏览器资源泄漏等。本节提供优化方案:

基础操作
等待策略
无头模式

基础操作:元素定位是关键。推荐优先使用CSS Selector(比XPath更稳定),示例:

from selenium import webdriver from selenium.webdriver.common.by import By driver = webdriver.Chrome() driver.get('https://example.com') # CSS选择器定位:类名、ID、属性组合 price = driver.find_element(By.CSS_SELECTOR, '.price span.highlight') print(price.text) # 避免使用绝对路径(如 /html/body/div[3]/span[1])

特别提示:当元素被遮挡时(如悬浮菜单),需先滚动至可视区域:

element = driver.find_element(By.ID, 'target') driver.execute_script("arguments[0].scrollIntoView();", element) element.click()

等待策略:避免硬等待(time.sleep()),改用显式等待:

from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待元素出现,超时10秒 wait = WebDriverWait(driver, 10) element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.data-list')))

常见等待条件:

  • EC.presence_of_element_located:DOM中存在(不需可见)
  • EC.visibility_of_element_located:可见且可交互
  • EC.text_to_be_present_in_element:文本匹配
  • EC.frame_to_be_available_and_switch_to_it:iframe加载完成

实践案例:采集“微博热搜”时,部分条目需滚动加载,可结合循环与等待:

for _ in range(3): # 滚动3次 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(1.5) # 短暂等待加载 # 继续后续操作

无头模式:生产环境需隐藏浏览器窗口,节省资源:

from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') # 无头模式 chrome_options.add_argument('--no-sandbox') chrome_options.add_argument('--disable-dev-shm-usage') driver = webdriver.Chrome(options=chrome_options)

注意:部分网站检测到无头模式会拦截请求。解决方案:

  • ① 添加User-Agent伪装参数:--user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
  • ② 禁用自动化标志:--disable-blink-features=AutomationControlled
  • ③ 修改navigator.webdriver属性:driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"})

3. 请求头伪装与Cookie注入

反爬常通过User-Agent、Referer、Cookie等字段识别爬虫。需模拟真实浏览器行为:

  • ① User-Agent:从浏览器中复制真实UA(如Chrome 110.0.5481.77)
  • ② Referer:设置为前一页URL,避免空Referer
  • ③ Cookie:登录后手动提取,用于访问需要权限的页面

以“知乎”为例,未携带Cookie时请求“/api/v4/question/xxx/answers”返回401错误。解决方案:登录后复制Cookie,注入请求头:

import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.5481.77 Safari/537.36', 'Referer': 'https://www.zhihu.com/question/123456', 'Cookie': 'd_c0="ABCD1234"; ...' # 登录后的完整Cookie } resp = requests.get('https://www.zhihu.com/api/v4/...', headers=headers)

⚠️ 法律提示:Cookie注入仅限个人学习用途。商业爬取需遵守网站服务条款,否则可能构成《刑法》第285条“非法获取计算机信息系统数据罪”。

进阶技巧与性能优化

1. 滑块验证码规避策略

滑块验证码(如极验、点触)是动态爬虫的最大障碍。本节提供两种解决方案:

  • ① 绕过方案:分析请求参数,找到滑块验证的API接口,用Python模拟验证过程(需逆向JS)
  • ② 自动化识别:结合OpenCV+Tesseract实现图像识别,自动计算滑块位移量

以“极验滑块”为例,其验证过程包含三步:

  1. 请求get滑块图片
  2. 计算缺口位移(需对比原图与缺口图)
  3. 模拟拖动轨迹(非直线,需添加随机扰动)
# 位移计算示例(简化版) from PIL import Image bg = Image.open('bg.jpg') # 背景图 full = Image.open('full.jpg') # 完整图 diff = Image.new('RGB', (bg.width, bg.height)) for x in range(bg.width): for y in range(bg.height): if abs(bg.getpixel((x,y))[0] - full.getpixel((x,y))[0]) > 10: diff.putpixel((x,y), (255,0,0)) # 通过差值图定位缺口位置

⚠️ 注意:自动化识别成功率约70%,且违反网站反爬条款。建议优先采用“模拟人类行为”方案:拖动轨迹添加正弦扰动、随机停顿、鼠标轨迹模拟。

2. 请求频率控制与IP池管理

高频请求易触发封IP策略。解决方案:

  • ① 随机延迟:每次请求后sleep(1~3)秒,避免固定间隔
  • ② IP轮换:使用代理池(如免费代理+付费代理API)
  • ③ 请求头指纹:随机更换Accept-Language、Accept-Encoding

代理池实现示例:

import random proxies_pool = [ {'http': 'http://127.0.0.1:8080'}, {'http': 'http://127.0.0.1:8081'}, ] def get_proxy(): return random.choice(proxies_pool) # 使用 resp = requests.get(url, proxies=get_proxy())

⚠️ 免费代理稳定性差,建议使用付费代理服务(如快代理、阿布云),并定期验证代理有效性。

3. 数据清洗与建模

动态页面返回的数据多为JSON或HTML片段,需清洗后存入数据库。以“去哪儿网酒店价格”为例:

# 原始数据 raw_data = '{"price": "¥288起", "rating": "4.7", "comments": "2345条"}' # 清洗步骤 import re price = re.search(r'¥(\d+)', raw_data).group(1) # 提取数字 rating = float(re.search(r'(\d\.\d)', raw_data).group(1)) comments = int(re.search(r'(\d+)', raw_data).group(1))

建模建议:使用Pydantic定义数据模型,确保结构化:

from pydantic import BaseModel class Hotel(BaseModel): name: str price: int rating: float comments: int hotel = Hotel(name="XX酒店", price=288, rating=4.7, comments=2345)

真实项目实战

项目:采集“携程旅游”酒店信息(含动态渲染)

目标:抓取酒店名称、价格、评分、评论数、地址、图片链接

步骤:

  1. ① 分析:目标页含JS动态加载价格,需Selenium获取
  2. ② 定位:使用CSS Selector提取元素(.hotel-name、.price、.score)
  3. ③ 清洗:价格去“¥”、评分转float、评论数提取数字
  4. ④ 存储:存入MySQL,表结构如下:
CREATE TABLE hotel ( id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255), price DECIMAL(10,2), rating FLOAT, comments INT, address VARCHAR(255), image_url VARCHAR(255) );

完整代码:

from selenium import webdriver from selenium.webdriver.common.by import By import re import pymysql driver = webdriver.Chrome() driver.get('https://hotels.ctrip.com/hotel/beijing1') hotels = driver.find_elements(By.CSS_SELECTOR, '.hotel-item') conn = pymysql.connect(host='localhost', user='root', password='123456', database='crawler') cursor = conn.cursor() for hotel in hotels: name = hotel.find_element(By.CSS_SELECTOR, '.hotel-name').text price_text = hotel.find_element(By.CSS_SELECTOR, '.price').text price = int(re.search(r'¥(\d+)', price_text).group(1)) rating = float(hotel.find_element(By.CSS_SELECTOR, '.score').text) comments = int(re.search(r'(\d+)', hotel.find_element(By.CSS_SELECTOR, '.comment').text).group(1)) address = hotel.find_element(By.CSS_SELECTOR, '.address').text image_url = hotel.find_element(By.CSS_SELECTOR, 'img').get_attribute('src') sql = "INSERT INTO hotel (name, price, rating, comments, address, image_url) VALUES (%s, %s, %s, %s, %s, %s)" cursor.execute(sql, (name, price, rating, comments, address, image_url)) conn.commit() cursor.close() conn.close() driver.quit()

高频问题答疑

Q1:Selenium启动慢,如何优化?

A:① 使用无头模式;② 禁用图片加载:chrome_options.add_argument('--blink-settings=imagesEnabled=false');③ 使用Chromedriver缓存。

Q2:如何绕过“检测到机器人”拦截?

A:① 降低请求频率;② 模拟人类行为(随机移动鼠标、随机停顿);③ 使用Selenium + undetected-chromedriver库(自动绕过检测)。

Q3:数据采集后如何防泄漏?

A:① 敏感数据脱敏存储;② 数据库权限最小化;③ 代码中避免硬编码密码;④ 定期审计日志。

技术交流与支持

本课程配套GitHub仓库:https://github.com/xservx/python-spider,提供所有示例代码、数据集、环境配置脚本。

技术问题请优先提交Issue,我们将72小时内响应。商业合作请邮件至:support@xservx.com。

课程更新动态关注微信公众号:Python爬虫实战(ID: crawler_python)。