一、python爬虫代码怎么写?核心流程解析
编写python爬虫代码怎么写是数据采集领域的基础能力。从技术角度看,一个完整的爬虫系统包含:请求发送→响应接收→内容解析→数据存储四大环节。新手常犯的错误是直接跳过前两步盲目解析,导致代码稳定性差。
爬虫运行原理图解
浏览器访问网页时执行以下流程:
- 客户端向服务器发起HTTP请求(GET/POST)
- 服务器返回HTML文档、CSS/JS资源、JSON数据等
- 浏览器解析DOM树并渲染页面
- 爬虫模拟浏览器行为,直接获取原始响应数据
关键区别在于:浏览器会执行JavaScript,而基础爬虫只获取静态内容。这也是为什么有些网站需要Selenium等工具介入。
最小可用爬虫模板
以下为最简可运行的python爬虫代码怎么写基础模板,仅需三个依赖:
import requests
from bs4 import BeautifulSoup
# 1. 发送请求
url = "https://example.com"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
response = requests.get(url, headers=headers)
# 2. 解析内容
soup = BeautifulSoup(response.content, "html.parser")
# 3. 提取数据
title = soup.find("title").get_text()
print(f"页面标题:{title}")
# 4. 保存数据(示例:保存为txt)
with open("output.txt", "w", encoding="utf-8") as f:
f.write(f"标题:{title}\n内容:{soup.body.get_text()[:200]}...")
此模板已解决90%的静态页面采集需求。注意:User-Agent必须设置,否则多数网站会返回403错误。实际开发中应使用真实设备指纹头信息。
数据验证三要素
编写python爬虫代码怎么写后必须验证三个关键点:
- 响应状态码为200(非重定向或错误)
- 响应内容非空(检查Content-Length头部)
- 编码格式正确(response.encoding = 'utf-8')
常见错误是忽略编码问题,导致中文乱码。正确做法:
# 自动检测编码
response.encoding = response.apparent_encoding
二、python爬虫必备工具链
核心工具对比表
| 工具 | 适用场景 | 是否执行JS | 学习曲线 | 性能 |
|---|---|---|---|---|
| requests | 静态页面采集 | 否 | ★☆☆☆☆ | ★★★★★ |
| BeautifulSoup | HTML解析 | 否 | ★☆☆☆☆ | ★★★☆☆ |
| lxml | 高性能解析 | 否 | ★★☆☆☆ | ★★★★★ |
| Selenium | 动态页面采集 | 是 | ★★★☆☆ | ★★☆☆☆ |
| Pyppeteer | 无头浏览器控制 | 是 | ★★★☆☆ | ★★★☆☆ |
工具组合方案
根据需求选择组合方案:
- 静态页面方案:requests + BeautifulSoup → 轻量级采集
- 混合方案:requests + lxml → 高性能解析
- 动态页面方案:Selenium + BeautifulSoup → 兼顾兼容性
- 高级方案:Pyppeteer + 自定义解析器 → 完整浏览器模拟
requests高级用法
处理复杂请求时需掌握:
- 自定义headers:添加Cookie、Referer、Accept-Language
- 参数编码:params={"q": "python爬虫"}自动转义URL
- 会话管理:session = requests.Session()保持登录态
- 超时控制:timeout=5防止无限等待
- 流式下载:stream=True处理大文件
示例:模拟登录POST请求
import requests
session = requests.Session()
data = {
"username": "test_user",
"password": "123456"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Referer": "https://example.com/login"
}
# 1. 获取登录页面(可能含CSRF token)
login_page = session.get("https://example.com/login")
# 2. 提取CSRF token(示例)
from bs4 import BeautifulSoup
soup = BeautifulSoup(login_page.content, "html.parser")
csrf_token = soup.find("input", {"name": "csrf_token"})["value"]
# 3. 提交登录表单
data["csrf_token"] = csrf_token
response = session.post("https://example.com/login", data=data, headers=headers)
# 4. 验证登录状态
profile = session.get("https://example.com/profile")
print("登录成功" if "退出登录" in profile.text else "登录失败")
三、解析技术深度解析
解析技术选择矩阵
| 需求 | 推荐方案 | 理由 |
|---|---|---|
| 简单标签提取 | BeautifulSoup | API友好,适合初学者 |
| 复杂文档结构 | lxml XPath | 性能高,支持复杂路径 |
| JSON数据 | json.loads() | 原生支持,无需解析HTML |
| 正则匹配 | re模块 | 唯一能处理非结构化文本的工具 |
BeautifulSoup实战技巧
编写python爬虫代码怎么写时,BeautifulSoup的find_all方法有以下关键技巧:
- 使用class_参数时注意下划线(class为Python关键字)
- 文本提取用.get_text(strip=True)自动去空格
- 选择器支持CSS语法:soup.select("div.content p")
- 处理多标签:find_all(["h1","h2","h3"])
示例:提取新闻列表
# 提取所有新闻标题和链接
news_items = soup.select("div.news-item")
for item in news_items:
title = item.find("h3").get_text(strip=True)
link = item.find("a")["href"]
# 拼接完整URL
full_url = urljoin(url, link)
print(f"{title} → {full_url}")
lxml XPath深度应用
XPath是爬虫解析的终极武器,尤其适合结构化数据:
from lxml import html
tree = html.fromstring(response.content)
# 绝对路径
title = tree.xpath("/html/head/title/text()")[0]
# 相对路径
content = tree.xpath("//div[@class='article']//p/text()")
# 属性提取
links = tree.xpath("//a/@href")
# 条件过滤
specific = tree.xpath("//li[contains(@class, 'item') and @data-id > 10]")
# 文本处理
clean_text = tree.xpath("normalize-space(//div[@id='main'])")
XPath表达式技巧:
- [@attribute='value']:属性匹配
- contains(@class, 'key'):模糊匹配
- text():直接文本
- normalize-space():清理多余空白
- //a[1]:第一个a标签
- last():最后一个元素
正则表达式高频模式
处理非结构化文本时必备技能:
import re
# 提取邮箱
emails = re.findall(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}", text)
# 提取手机号
phones = re.findall(r"1[3-9]\d{9}", text)
# 提取URL
urls = re.findall(r'https?://[^\s]+', text)
# 提取数字(含小数)
numbers = re.findall(r"\d+\.?\d*", text)
# 非贪婪匹配
content = re.search(r'(.*?)', html, re.S).group(1)
# 多行匹配
re.findall(r'(?m)^.*pattern.*$', text, re.I)
四、反爬策略应对方案
反爬机制类型表
| 类型 | 表现形式 | 应对方案 | 代码示例 |
|---|---|---|---|
| 请求头检测 | User-Agent缺失 | 伪造完整请求头 | headers={"User-Agent": "Mozilla/5.0..."} |
| IP封禁 | 频繁请求被封 | IP轮换+请求间隔 | time.sleep(random.uniform(1,3)) |
| Cookie验证 | 需登录态 | 会话保持+自动登录 | session = requests.Session() |
| JS动态加载 | 数据由JS生成 | Selenium/Pyppeteer | driver.get(url) |
| 签名验证 | 请求参数加密 | 逆向JS或抓包分析 | 分析_0x3a4b参数生成逻辑 |
IP轮换实现方案
基础代理池实现:
import random
import requests
# 代理列表(实际应从API获取)
proxies_pool = [
{"http": "http://192.168.1.1:8080"},
{"http": "http://192.168.1.2:8080"},
{"https": "https://192.168.1.3:8080"}
]
def get_with_proxy(url):
proxy = random.choice(proxies_pool)
try:
response = requests.get(url, proxies=proxy, timeout=5)
return response
except:
# 失败时重试
return get_with_proxy(url)
# 使用示例
response = get_with_proxy("https://example.com")
加密参数破解流程
- 打开目标网站开发者工具 → Network标签
- 触发请求(如点击按钮)
- 找到可疑请求(如/_0x3a4b参数)
- 在Sources中搜索参数名
- 设置断点观察执行过程
- 提取加密逻辑或直接复现
典型案例:某招聘网站的sign参数生成
import hashlib
import time
def generate_sign(params):
"""模拟JS加密逻辑"""
timestamp = str(int(time.time()))
sorted_params = sorted(params.items())
raw = "".join(f"{k}{v}" for k, v in sorted_params) + timestamp + "secret_key"
return hashlib.md5(raw.encode()).hexdigest()
# 实际请求
params = {"page": 1, "size": 20}
sign = generate_sign(params)
response = requests.get(url, params={**params, "sign": sign})
验证码识别方案
三种主流方案:
- 第三方打码平台:超级鹰、若快等(需付费)
- OCR识别:pytesseract + tesseract-ocr
- 手动处理:Selenium截图+人工输入
OCR方案示例:
import pytesseract
from PIL import Image
# 1. 截取验证码图片
driver.save_screenshot("full.png")
captcha = driver.find_element("id", "captcha")
location = captcha.location
size = captcha.size
left = location["x"]
top = location["y"]
right = left + size["width"]
bottom = top + size["height"]
# 2. 裁剪图片
img = Image.open("full.png").crop((left, top, right, bottom))
img.save("captcha.png")
# 3. 识别
text = pytesseract.image_to_string(img, config="--psm 7")
print(f"验证码:{text}")
五、12类实战项目解析
新闻采集
商品比价
招聘数据
评论抓取
图片下载
视频解析
新闻站点采集实战
目标:采集搜狐首页新闻标题与链接
import requests
from bs4 import BeautifulSoup
import csv
import time
def crawl_sohu_news():
url = "https://news.sohu.com/"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Accept": "text/html,application/xhtml+xml",
"Accept-Language": "zh-CN,zh;q=0.9"
}
# 发送请求
response = requests.get(url, headers=headers)
response.encoding = "utf-8"
# 解析内容
soup = BeautifulSoup(response.text, "html.parser")
items = soup.select("div.article > h3 > a")
# 保存数据
with open("sohu_news.csv", "w", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
writer.writerow(["标题", "链接", "采集时间"])
for item in items:
title = item.get_text(strip=True)
link = item["href"]
# 处理相对链接
if not link.startswith("http"):
link = "https://news.sohu.com" + link
writer.writerow([title, link, time.strftime("%Y-%m-%d %H:%M:%S")])
print(f"已保存:{title}")
if __name__ == "__main__":
crawl_sohu_news()
电商商品比价系统
核心逻辑:
- 京东:通过商品ID直接请求API
- 淘宝:需登录态+JS逆向
- 拼多多:动态加载+签名验证
京东示例(需处理反爬):
import requests
import re
import time
def get_jd_price(sku_id):
"""京东商品价格查询"""
url = f"https://p.3.cn/prices/mgets?skuIds=J_{sku_id}"
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_0 like Mac OS X)",
"Referer": "https://item.jd.com/"
}
response = requests.get(url, headers=headers)
data = response.json()
if data:
return data[0]["p"] # 现价
return None
# 使用示例
sku = "100012345678"
price = get_jd_price(sku)
print(f"京东价格:¥{price}")
招聘网站数据采集
BOSS直聘采集要点:
- 请求头需包含加密参数
- 需处理JS动态渲染
- 需模拟滚动加载
Selenium解决方案:
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
def crawl_boss_jobs(keyword):
driver = webdriver.Chrome()
driver.get(f"https://www.zhipin.com/web/geek/job?query={keyword}&city=101280600")
# 模拟滚动加载
for _ in range(3):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
time.sleep(2)
# 提取数据
jobs = driver.find_elements(By.CSS_SELECTOR, ".job-card-box")
for job in jobs:
title = job.find_element(By.CSS_SELECTOR, ".job-title").text
salary = job.find_element(By.CSS_SELECTOR, ".salary").text
company = job.find_element(By.CSS_SELECTOR, ".company-name").text
print(f"{title} | {salary} | {company}")
driver.quit()
crawl_boss_jobs("python")
评论数据采集
微博评论采集关键点:
- 使用m.weibo.cn移动版(数据更全)
- 处理分页cursor参数
- 需处理登录态
import requests
import time
def crawl_weibo_comments(mid):
"""采集指定微博的评论"""
url = "https://m.weibo.cn/comments/hotflow"
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_0 like Mac OS X)",
"Referer": f"https://m.weibo.cn/detail/{mid}"
}
params = {
"id": mid,
"mid": mid,
"max_id_type": 0
}
max_id = ""
for page in range(3): # 采集3页
if max_id:
params["max_id"] = max_id
response = requests.get(url, headers=headers, params=params)
data = response.json()
for comment in data["data"]["data"]:
text = comment["text"]
print(f"评论:{text[:30]}...")
# 获取下一页max_id
if "max_id" in data["data"]:
max_id = data["data"]["max_id"]
time.sleep(1.5)
else:
break
# 示例调用
crawl_weibo_comments("4891234567890123")
图片批量下载
核心逻辑:
- 提取图片URL
- 创建文件夹
- 下载并保存
- 重命名避免冲突
import requests
import os
import time
from urllib.parse import urljoin
def download_images(url, folder="images"):
"""从页面下载所有图片"""
# 创建文件夹
os.makedirs(folder, exist_ok=True)
# 获取页面
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
# 提取图片
images = soup.find_all("img")
for i, img in enumerate(images):
src = img.get("src")
if not src:
continue
# 处理相对路径
full_url = urljoin(url, src)
# 下载图片
try:
img_response = requests.get(full_url, timeout=10)
ext = os.path.splitext(full_url)[1] or ".jpg"
filename = f"{folder}/img_{i:03d}{ext}"
with open(filename, "wb") as f:
f.write(img_response.content)
print(f"已下载:{filename}")
except:
print(f"下载失败:{full_url}")
time.sleep(0.5)
# 示例
download_images("https://example.com/gallery")
视频解析方案
视频采集主要处理:
- 直链提取(m3u8/flv/mp4)
- 防盗链处理
- 分段下载
示例:提取m3u8地址
import requests
import re
def get_m3u8_url(video_page_url):
"""从视频页面提取m3u8地址"""
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": video_page_url
}
# 获取页面
response = requests.get(video_page_url, headers=headers)
# 提取m3u8链接
m3u8_pattern = r"(https?://.*?\.m3u8)"
match = re.search(m3u8_pattern, response.text)
if match:
return match.group(1)
return None
# 使用
m3u8 = get_m3u8_url("https://example.com/video")
print(f"m3u8地址:{m3u8}")
六、高频问题解答
新手常见问题TOP10
- 为什么爬虫返回空内容?
→ 检查响应状态码、编码设置、JS动态加载 - 如何处理403错误?
→ 添加完整请求头、模拟浏览器、检查Referer - 爬虫被封怎么办?
→ 降低频率、使用代理、模拟人类行为 - 中文乱码怎么解决?
→ 设置response.encoding = response.apparent_encoding - 如何提取嵌套数据?
→ 使用XPath或BeautifulSoup的递归查找 - 动态页面怎么处理?
→ Selenium、Pyppeteer或直接抓包API - 如何保存为Excel?
→ 使用pandas.DataFrame.to_excel() - 爬虫速度慢怎么办?
→ 多线程、异步、减少不必要的请求 - 如何处理登录态?
→ 使用Session保持Cookie,或自动化登录 - 法律风险怎么规避?
→ 遵守robots.txt、不采集敏感数据、控制频率
编码问题终极解决方案
处理编码问题的通用流程:
- 检查响应头:response.headers.get("content-type")
- 检测编码:response.apparent_encoding
- 强制设置:response.encoding = "utf-8"(或检测值)
- 验证:print(response.text[:100])
特殊编码处理:
# GBK页面
response.encoding = "gbk"
# 自动检测
import chardet
detected = chardet.detect(response.content)
response.encoding = detected["encoding"]
robots.txt检查工具
采集前务必检查目标网站的robots.txt:
import requests
def check_robots_txt(domain):
"""检查网站robots.txt"""
url = f"{domain}/robots.txt"
response = requests.get(url)
if response.status_code == 200:
print("robots.txt内容:")
print(response.text)
else:
print("未找到robots.txt,可采集")
# 使用
check_robots_txt("https://example.com")
七、学习路径图
从入门到精通的5个阶段
- 基础阶段(1-2周)
• Python语法基础
• HTTP协议入门
• requests/BeautifulSoup基础
• 小型静态页面采集 - 进阶阶段(2-3周)
• lxml/XPath深入
• 正则表达式应用
• 动态页面处理(Selenium)
• 数据存储(CSV/JSON/MySQL) - 实战阶段(3-4周)
• 项目实战(电商/招聘/社交)
• 反爬策略应对
• 代理池构建
• 自动化部署 - 优化阶段(1-2周)
• 性能优化(多线程/异步)
• 数据清洗与处理
• 爬虫架构设计
• 监控与日志 - 专家阶段(持续)
• 分布式爬虫(Scrapy+Redis)
• 深度学习辅助识别
• 爬虫安全防护
• 合规与法律知识
推荐学习资源
- 官方文档:requests、BeautifulSoup、Selenium
- 开源项目:Scrapy、Pyppeteer
- 实战平台:Kaggle数据集、GitHub开源项目
- 社区论坛:CSDN、知乎、Stack Overflow
避坑指南
- 不要在循环中创建Session(应复用)
- 始终设置超时参数(防止无限等待)
- 使用try-except处理网络异常
- 定期检查响应状态码
- 避免采集敏感数据(个人隐私/商业机密)
- 遵守目标网站robots.txt
- 控制请求频率(每秒≤1次)
- 使用真实浏览器指纹头
- 处理重定向时注意Cookie丢失
- 定期更新代理IP池
八、开发工具推荐
必备工具清单
| 类型 | 推荐工具 | 用途 |
|---|---|---|
| 编辑器 | VS Code + Python插件 | 代码编写与调试 |
| 调试工具 | Postman | API请求测试 |
| 浏览器插件 | XPath Helper、JSON Formatter | 快速验证选择器 |
| 数据处理 | Pandas | 数据清洗与分析 |
| 可视化 | Matplotlib/Seaborn | 数据可视化 |
| 部署工具 | Docker + crontab | 自动化部署 |
VS Code配置建议
提升爬虫开发效率的配置:
- 安装插件:Python、Pylance、ESLint
- 设置默认格式化工具:black
- 配置调试:添加launch.json
- 启用类型检查:python.typeCheckingMode = "basic"
launch.json示例:
{
"version": "0.2.0",
"configurations": [
{
"name": "Python: Current File",
"type": "python",
"request": "launch",
"program": "${file}",
"console": "integratedTerminal"
}
]
}
开发规范 checklist
- 所有请求设置超时参数
- 异常处理覆盖所有网络操作
- 使用Session复用连接
- 请求头包含完整浏览器指纹
- 数据存储前做编码转换
- 定期清理临时文件
- 添加日志记录关键步骤
- 代码模块化(函数/类)
- 添加robots.txt检查
- 部署前进行压力测试