在进入具体技术栈前,需构建完整的知识框架。网络爬虫是模拟浏览器行为自动抓取网页信息的技术,其本质是HTTP请求→响应解析→数据提取→结构化存储的闭环流程。Python凭借简洁语法与强大生态成为首选语言。
理解HTTP是爬虫开发的基石。常见状态码需牢记:
| 状态码 | 含义 | 应对策略 |
|---|---|---|
| 200 | 请求成功 | 正常解析 |
| 301/302 | 重定向 | 自动跟随Location头 |
| 403 | 禁止访问 | 检查User-Agent/Referer/Cookie |
| 404 | 资源不存在 | URL拼接逻辑修正 |
| 503 | 服务不可用 | 延迟重试/降级处理 |
请求头关键字段:User-Agent(模拟浏览器)、Referer(防盗链)、Cookie(会话维持)、Accept-Encoding(压缩支持)。响应体中Content-Type决定编码方式(常见为utf-8或gbk)。
网页本质是DOM树结构。常用选择器规则:
示例代码:提取《Python爬虫入门百度网盘》专题页面标题与链接:
from bs4 import BeautifulSoup
html = """
Python爬虫入门百度网盘
零基础掌握网络爬虫开发
"""
soup = BeautifulSoup(html, "html.parser")
title = soup.select_one("h2 a").text
link = soup.select_one("h2 a")["href"]
print(f"标题:{title} | 链接:{link}")
# 输出:标题:Python爬虫入门百度网盘 | 链接:/course/123
处理复杂请求场景需掌握以下核心参数:
反爬绕过实例:模拟浏览器访问百度搜索结果:
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://www.baidu.com",
"Accept-Language": "zh-CN,zh;q=0.9"
}
params = {"wd": "Python爬虫入门百度网盘", "rn": 50}
url = "https://www.baidu.com/s"
resp = requests.get(url, headers=headers, params=params, timeout=10)
print(resp.status_code) # 200表示成功
print(resp.request.url) # 实际请求URL
注意:百度搜索结果页为动态加载,需结合Selenium或分析XHR请求。此处仅作基础演示。
支持四种解析器,推荐使用lxml(速度快):
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")
常用方法对比:
| 方法 | 返回类型 | 适用场景 |
|---|---|---|
| find() | 单个Tag | 精确匹配单个元素 |
| find_all() | Tag列表 | 批量提取同类型节点 |
| select() | Tag列表 | CSS选择器灵活定位 |
| get_text() | 字符串 | 提取纯文本内容 |
实战案例:提取豆瓣电影Top250标题与评分:
import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/top250"
headers = {"User-Agent": "Mozilla/5.0 ..."}
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, "lxml")
for item in soup.select("div.item"):
title = item.select_one("span.title").text
rating = item.select_one("span.rating_num").text
print(f"{title} - 评分:{rating}")
高级技巧:处理嵌套节点时,可组合使用.parent/.next_sibling等属性精确定位。
当页面内容由JavaScript动态生成时,需使用Selenium模拟真实浏览器操作:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 启动无头浏览器(生产环境推荐)
options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(options=options)
try:
driver.get("https://example.com")
# 等待元素加载完成
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, ".content"))
)
# 获取页面源码
html = driver.page_source
# 提取数据
titles = driver.find_elements(By.CSS_SELECTOR, "h2.title")
for t in titles:
print(t.text)
finally:
driver.quit()
关键技巧:
网络请求需完善异常处理,避免程序崩溃:
import requests
from requests.exceptions import RequestException, Timeout, ConnectionError
def safe_request(url, **kwargs):
try:
resp = requests.get(url, timeout=5, **kwargs)
resp.raise_for_status() # 检查HTTP错误
return resp
except Timeout:
print(f"请求超时:{url}")
except ConnectionError:
print(f"连接失败:{url}")
except RequestException as e:
print(f"请求异常:{e}")
return None
# 使用示例
resp = safe_request("https://httpbin.org/delay/3", headers={"User-Agent": "Mozilla/5.0"})
if resp:
print(resp.json())
| 反爬类型 | 表现形式 | 解决方案 |
|---|---|---|
| Headers校验 | 缺少User-Agent/Referer | 构造完整请求头 |
| IP封禁 | 频繁请求返回403 | 代理IP池+请求频率控制 |
| Cookie验证 | 需登录态访问 | Session维持/模拟登录 |
| 动态加载 | 内容由JS生成 | Selenium/逆向分析XHR |
| 加密参数 | sign/nonce动态生成 | JS逆向/本地执行 |
| 滑块验证 | 图形验证码/点选验证 | 第三方打码平台/OCR识别 |
使用Redis存储代理IP,实现自动失效检测与轮换:
import redis
import requests
import random
class IPPool:
def __init__(self):
self.r = redis.Redis(host='localhost', port=6379, db=0)
def add_proxy(self, ip, port):
proxy = f"http://{ip}:{port}"
self.r.sadd("proxies", proxy)
def get_proxy(self):
proxies = self.r.smembers("proxies")
return random.choice(list(proxies)) if proxies else None
def remove_proxy(self, proxy):
self.r.srem("proxies", proxy)
# 使用示例
pool = IPPool()
proxy = pool.get_proxy()
resp = requests.get("https://httpbin.org/ip", proxies={"http": proxy})
print(resp.json())
注意事项:
通过Session保存Cookie,实现持续登录状态:
import requests
from bs4 import BeautifulSoup
session = requests.Session()
headers = {
"User-Agent": "Mozilla/5.0 ...",
"Referer": "https://www.zhihu.com/"
}
# 获取登录页Token
login_page = session.get("https://www.zhihu.com/login", headers=headers)
soup = BeautifulSoup(login_page.text, "lxml")
xsrf = soup.find("input", {"name": "_xsrf"})["value"]
# 提交登录表单
login_data = {
"_xsrf": xsrf,
"username": "your_email",
"password": "your_password",
"captcha_type": "cn"
}
session.post("https://www.zhihu.com/login", data=login_data, headers=headers)
# 登录后访问
resp = session.get("https://www.zhihu.com/api/v4/members/xxx/followers", headers=headers)
print(resp.json())
注意:知乎已升级为动态加密参数,实际需分析_login endpoint的请求参数生成逻辑。
以某网站sign参数为例,逆向分析步骤:
典型加密算法:
| 格式 | 适用场景 | Python操作库 |
|---|---|---|
| CSV | 小规模表格数据 | csv模块 |
| JSON | API数据/配置文件 | json模块 |
| MySQL | 关系型数据/高并发 | pymysql/sqlalchemy |
| MongoDB | 非结构化文档 | pymongo |
| Elasticsearch | 全文检索/大数据 | elasticsearch-py |
import csv
import json
# 写入CSV
data = [
{"title": "Python爬虫入门百度网盘", "url": "/course/123", "rating": 9.8},
{"title": "Selenium自动化实战", "url": "/course/456", "rating": 9.5}
]
with open("courses.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=["title", "url", "rating"])
writer.writeheader()
writer.writerows(data)
# 写入JSON
with open("courses.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=2)
创建表结构( courses表):
CREATE TABLE courses (
id INT AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(255) NOT NULL,
url VARCHAR(255) UNIQUE,
rating DECIMAL(3,1),
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
Python插入数据:
import pymysql
conn = pymysql.connect(
host="localhost",
user="root",
password="password",
database="spider_db"
)
cursor = conn.cursor()
sql = "INSERT INTO courses (title, url, rating) VALUES (%s, %s, %s)"
cursor.executemany(sql, [
("Python爬虫入门百度网盘", "/course/123", 9.8),
("Selenium自动化实战", "/course/456", 9.5)
])
conn.commit()
print(f"插入 {cursor.rowcount} 条记录")
示例:使用Redis实现URL去重:
import redis
import hashlib
r = redis.Redis()
def is_duplicate(url):
key = "url:" + hashlib.md5(url.encode()).hexdigest()
return r.sadd(key, 1) == 0 # 已存在返回True
# 使用
if not is_duplicate("https://example.com"):
print("新URL,开始抓取")
else:
print("重复URL,跳过")
目标:抓取关键词为“Python爬虫入门百度网盘”的文库文档标题、链接、预览页数、下载量
实现步骤:
https://wenku.baidu.com/search?query=Python爬虫入门百度网盘核心代码框架:
import requests
import json
import time
class WenkuSpider:
def __init__(self):
self.session = requests.Session()
self.session.headers.update({
"User-Agent": "Mozilla/5.0 ...",
"Referer": "https://wenku.baidu.com/"
})
def search(self, keyword, page=1):
url = "https://wenku.baidu.com/search"
params = {
"query": keyword,
"pn": (page-1)*10,
"rn": 10
}
resp = self.session.get(url, params=params)
# 解析响应(实际需处理加密参数)
data = json.loads(resp.text.replace("searchCallback(", "").rstrip(")"))
for doc in data["data"]["result"]:
print(f"{doc['title']} - 预览页数:{doc['pageCount']} - 下载量:{doc['viewCount']}")
def run(self):
for i in range(1, 4):
self.search("Python爬虫入门百度网盘", i)
time.sleep(2) # 防止触发限流
if __name__ == "__main__":
spider = WenkuSpider()
spider.run()
实际应用中需结合Selenium模拟登录并分析加密参数,此处为简化演示。
目标:以“Python爬虫入门百度网盘”话题为起点,抓取相关回答作者的粉丝列表,构建社交图谱
实现流程:
/api/v4/members/{user_slug}/followers输出格式示例:
{
"nodes": [
{"id": "user_a", "name": "知乎用户A", "type": "author"},
{"id": "user_b", "name": "知乎用户B", "type": "follower"}
],
"edges": [
{"from": "user_a", "to": "user_b", "relation": "follows"}
]
}
目标:聚合主流技术博客中的百度网盘分享链接,按主题分类存储
数据来源:
数据清洗要点:
https://pan\.baidu\.com/s/[\w\-]+提取码[::]?\s*([a-zA-Z0-9]{4})最终输出为可搜索的HTML静态页(适合静态托管)。
根据《网络安全法》第27条,任何个人不得从事危害网络安全的活动。合法爬虫需遵循:
典型案例:2022年某公司因大量抓取大众点评数据被判赔偿30万元。
推荐学习路径:
百度网盘资源推荐:搜索关键词“Python爬虫入门百度网盘”,筛选高赞资源,注意验证链接有效期。
主流解决方案:
示例代码(滑块缺口识别):
import cv2
import numpy as np
def find_gap(bg_path, slide_path):
bg = cv2.imread(bg_path, 0)
slide = cv2.imread(slide_path, 0)
res = cv2.matchTemplate(bg, slide, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
return max_loc[0] # 返回缺口X坐标
多线程/异步方案对比:
| 方案 | 适用场景 | 性能 | 复杂度 |
|---|---|---|---|
| 多线程 | IO密集型(网络请求) | 中等 | 低 |
| asyncio | 高并发网络请求 | 高 | 高 |
| Scrapy | 大型爬虫项目 | 极高 | 高 |
推荐:中小型项目用多线程(threading),大型项目用Scrapy框架。