Python网络爬虫代码下载 —— 实战驱动 · 即用即走
提供经过真实项目验证的高质量爬虫源码,涵盖 Requests、Selenium、Scrapy、Playwright 等主流框架,附带反爬应对、代理池构建、动态渲染、数据清洗与入库全流程解决方案,助您高效掌握网络数据采集核心技术。
快速上手指南
一、环境准备:从零搭建稳定开发环境
在开始编写 python网络爬虫代码下载 项目前,需确保基础环境配置正确。推荐使用 Python 3.9+ 版本,配合虚拟环境管理工具如 venv 或 conda,避免依赖冲突。
核心依赖包安装命令如下:
pip install requests beautifulsoup4 lxml selenium scrapy playwright
若需处理 JavaScript 渲染页面,推荐使用 Selenium 或 Playwright。两者均支持无头模式,但 Playwright 在性能和稳定性方面更优,尤其适合处理现代 SPA 网站。
此外,还需准备以下工具:
- Chrome/Edge 浏览器及其对应版本的驱动(ChromeDriver 或 msedgedriver)
- 代理 IP 池(推荐购买高质量住宅代理,避免封禁)
- 验证码识别服务(如 2Captcha、Anti-Captch,或本地 OCR 模型)
- 数据库:MongoDB(文档型)、MySQL(结构化)、Redis(缓存与去重)
二、基础爬虫结构:可复用的最小工作流
以下为基于 Requests + BeautifulSoup 的标准爬虫模板,适用于静态 HTML 页面:
import requests
from bs4 import BeautifulSoup
import time
import random
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
def fetch_page(url):
try:
resp = requests.get(url, headers=headers, timeout=10)
resp.raise_for_status()
return resp.text
except requests.RequestException as e:
print(f"请求失败: {e}")
return None
def parse_page(html):
soup = BeautifulSoup(html, 'lxml')
# 示例:提取文章标题与正文
items = []
for article in soup.select('.article-item'):
title = article.select_one('.title').get_text(strip=True)
content = article.select_one('.content').get_text(strip=True)
items.append({'title': title, 'content': content})
return items
def main():
url = 'https://example.com/articles'
html = fetch_page(url)
if html:
data = parse_page(html)
print(f"共提取 {len(data)} 条数据")
# 后续可保存为 JSON/CSV 或入库
import json
with open('articles.json', 'w', encoding='utf-8') as f:
json.dump(data, f, ensure_ascii=False, indent=2)
if __name__ == '__main__':
main()
该模板已加入基础异常处理与 User-Agent 设置,可直接复用于多数静态页面采集任务。注意:实际部署时应根据目标站点 robots.txt 合理设置抓取频率,避免对服务器造成压力。
三、动态页面抓取:Selenium 与 Playwright 实战
面对需要登录、滑动验证或动态加载的页面,静态请求往往失效。此时需引入浏览器自动化工具。
Selenium 示例(模拟登录知乎):
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(options=options)
driver.get('https://www.zhihu.com/signin')
# 等待登录表单加载
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.NAME, 'password')))
# 模拟输入(实际需配合滑块或扫码)
driver.find_element(By.NAME, 'username').send_keys('your_email@example.com')
driver.find_element(By.NAME, 'password').send_keys('your_password')
driver.find_element(By.XPATH, '//button[@type="submit"]').click()
# 等待跳转
wait.until(EC.url_contains('zhihu.com/home'))
# 获取 cookies
cookies = driver.get_cookies()
driver.quit()
# 后续用 requests.Session() 复用 cookies
注意:Selenium 在高并发场景下性能较差,建议仅用于关键页面初始化或低频任务。高频采集应考虑逆向接口或使用 Playwright。
Playwright 优势:原生支持并行执行、自动等待、跨浏览器兼容(Chromium/Firefox/WebKit),且 API 更现代。例如:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto('https://example.com')
page.wait_for_selector('.target-element')
content = page.inner_text('.target-element')
browser.close()
四、反爬应对策略:从基础到进阶
主流反爬手段及对应解决方案如下:
- Headers 校验:伪造完整 headers(Referer、Origin、Cookie、Accept-Language)
- IP 限频:部署代理池(IP 池需支持健康检查与失效剔除)
- 请求频率限制:随机延时(如 time.sleep(random.uniform(1.5, 3.2)))+ 请求队列控制
- JS 混淆参数:逆向 JS 或使用 Playwright 拦截 XHR 请求
- 滑块验证码:调用第三方识别 API(如 aaAPI、Yundun)或使用 OpenCV 匹配缺口位置
- Cookie 加密:分析加密逻辑(如 AES、RSA),或通过浏览器自动化获取
特别提醒:绕过反爬需严格遵守《网络安全法》与网站服务条款,仅用于合法授权的数据采集场景。
高价值实战案例
一、Scrapy 全站爬虫:京东商品数据采集
本项目为 Scrapy 框架完整项目,实现:
- 自动翻页(基于 JS 渲染分页参数解析)
- 商品详情页深度抓取(SKU、价格、评论数、店铺等级)
- MySQL 数据持久化(使用 Scrapy Pipeline)
- 自动重试与错误日志记录
核心 Spider 文件片段:
import scrapy
from jingdong.items import JingdongItem
class JDProductSpider(scrapy.Spider):
name = 'jd_products'
allowed_domains = ['jd.com']
start_urls = ['https://search.jd.com/Search?keyword=爬虫书']
def parse(self, response):
# 提取商品列表
for item in response.css('.gl-item'):
sku = item.css('::attr(data-sku)').get()
if sku:
detail_url = f'https://item.jd.com/{sku}.html'
yield scrapy.Request(detail_url, callback=self.parse_detail)
# 翻页逻辑
next_page = response.css('.pn-next::attr(href)').get()
if next_page:
yield response.follow(next_page, callback=self.parse)
def parse_detail(self, response):
item = JingdongItem()
item['title'] = response.css('#name h1::text').get()
item['price'] = response.css('.p-price span::text').get()
item['comments'] = response.css('#comment-count a::text').get()
item['shop'] = response.css('.curr-shop ::text').get()
yield item
配套 settings.py 配置:
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1.5
RANDOMIZE_DOWNLOAD_DELAY = True
COOKIES_ENABLED = True
ITEM_PIPELINES = {
'jingdong.pipelines.JingdongPipeline': 300,
}
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'jingdong.middlewares.JdUserAgentMiddleware': 400,
}
二、Playwright + asyncio:高并发知乎热榜抓取
针对知乎热榜(https://www.zhihu.com/hot)动态加载特性,采用 Playwright + asyncio 实现并发抓取:
import asyncio
import re
from playwright.async_api import async_playwright
async def fetch_hotlist():
async with async_playwright() as p:
browser = await p.chromium.launch(headless=True)
page = await browser.new_page()
await page.goto('https://www.zhihu.com/hot')
await page.wait_for_selector('.HotItem')
items = await page.query_selector_all('.HotItem')
results = []
for item in items:
title = await item.query_selector('.HotItem-title')
content = await title.inner_text() if title else ''
hot_value = await item.query_selector('.HotItem-hotScore')
score = hot_value.inner_text() if hot_value else '0'
results.append({'title': content.strip(), 'score': score.strip()})
await browser.close()
return results
if __name__ == '__main__':
data = asyncio.run(fetch_hotlist())
print(f"共采集 {len(data)} 条热榜信息")
三、数据清洗与入库:从原始数据到结构化存储
爬取数据常含 HTML 标签、空格、乱码等问题,需清洗处理:
- 正则清洗:`re.sub(r'<.*?>', '', html)` 去除标签
- Unicode 解码:`text.encode('latin1').decode('utf-8', errors='ignore')`
- 缺失值填充:Pandas 中 `df.fillna('未知')`
- 重复数据去重:`df.drop_duplicates(subset=['title'])`
入库示例(MySQL):
import pymysql
conn = pymysql.connect(host='localhost', user='root', passwd='123456', db='spider_db')
cursor = conn.cursor()
sql = "INSERT INTO products (title, price, comments) VALUES (%s, %s, %s)"
cursor.executemany(sql, [
('Python网络爬虫实战', '¥59.80', '1200+'),
('数据采集指南', '¥78.00', '850+')
])
conn.commit()
conn.close()
常见问题(FAQ)
Q1:为什么爬虫代码在本地能跑,部署到服务器就 403?
A:服务器常启用 IP 黑名单或 UA 校验。解决方法:
- 更换代理 IP(确保 IP 段未被封禁)
- 添加完整 headers(包括 Accept、Accept-Language、Accept-Encoding)
- 模拟真实浏览器行为(如添加 Referer、Cookie)
Q2:如何处理需要登录的网站?
A:推荐方案:
- 手动登录后导出 cookies,代码中注入
- 使用 Selenium/Playwright 自动化登录流程
- 逆向登录接口(分析 XHR 请求参数生成逻辑)
注意:禁止暴力破解密码,遵守网站服务协议。
Q3:Scrapy 与 Requests 性能对比?
A:
| 框架 | 并发能力 | 适用场景 | 学习成本 |
|---|---|---|---|
| Requests | 低(单线程) | 简单页面、低频任务 | 低 |
| Scrapy | 高(异步 IO) | 全站爬取、大规模数据 | 中 |
| Playwright | 中(多浏览器上下文) | 动态页面、模拟交互 | 中高 |
Q4:如何避免被封 IP?
A:
- 设置合理抓取间隔(≥2 秒)
- 使用高质量代理池(住宅 IP 优于数据中心 IP)
- 监控 HTTP 状态码(429/403 即暂停)
- 模拟人类行为(随机鼠标移动、滚动页面)
资源下载与支持
本站提供以下 python网络爬虫代码下载 资源:
- 完整项目源码(含 Scrapy/Playwright/Selenium 多框架示例)
- 反爬绕过技术文档(滑块识别、JS 逆向、Cookie 加密)
- 常用数据清洗脚本(Pandas 正则处理模板)
- 代理池搭建教程(免费+付费 IP 资源整理)
所有资源均经过实际项目验证,可直接复用。访问 www.xservx.com 获取最新资源。
技术交流群:QQ 群 87654321(备注“爬虫”)
商务合作:service@xservx.com(仅限授权数据采集服务)