python爬虫自学网站
本python爬虫自学网站致力于打造一套系统、实用、可落地的Python网络爬虫学习路径,从零基础入门到高阶实战,覆盖网页结构解析、请求模拟、反反爬对抗、分布式抓取、数据清洗与存储等全流程技术栈。无论您是编程初学者,还是已有Python基础的开发者,均可在此获得清晰、完整、可实践的技术提升路径。
网站内容基于真实项目经验整理,结合近年主流网站结构变化与反爬机制演进,强调动手能力与工程思维。所有案例均经过实际部署验证,拒绝“纸上谈兵”式教学。我们坚信:真正的爬虫技术,必须经得起生产环境的考验。
当前python爬虫自学网站已形成五大核心模块:基础语法速成 → 核心库深度解析 → 反爬策略实战 → 大规模采集架构 → 数据处理与可视化。每个模块均配备配套练习题、调试技巧、避坑指南与性能优化建议,帮助学习者建立完整知识体系。
一、爬虫基础:从零构建第一台“数据采集器”
在开始编写任何Python网络爬虫前,必须明确三个核心问题:目标网页如何被浏览器加载?数据藏在HTML源码还是JS动态渲染?请求头与Cookie是否影响返回结果?以下将结合真实案例逐步拆解。
1.1 网页结构基础认知
网页本质是HTML+CSS+JavaScript的组合体,现代网站(如电商、社交、新闻平台)大量采用AJAX异步加载,导致“右键查看源代码”无法看到完整数据。例如某招聘网站的职位列表,初始HTML仅含前3条记录,其余数据通过接口:/api/jobs?city=beijing&page=2动态获取。
1.2 requests库基础使用
requests是Python中最流行的HTTP客户端库,其简洁API极大降低了网络请求门槛:
import requests
url = "https://www.example.com/data"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Accept-Language": "zh-CN,zh;q=0.9",
"Accept-Encoding": "gzip, deflate, br"
}
response = requests.get(url, headers=headers)
html = response.text
注意:response.text返回的是解码后的字符串,若网站编码非UTF-8(如GB2312),需手动指定:response.encoding = "gbk";而response.content返回原始字节流,适合处理图片、文件下载等场景。
1.3 BeautifulSoup解析实战
BeautifulSoup是Python中最成熟的HTML解析库,支持多种解析器(html.parser、lxml、html5lib)。推荐搭配lxml使用,因其解析速度最快:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")
# 提取所有class为job-item的div
jobs = soup.find_all("div", class_="job-item")
for job in jobs:
title = job.find("h3").get_text(strip=True)
salary = job.select_one(".salary").get_text()
print(f"{title} | 薪资:{salary}")
关键技巧:select()支持CSS选择器,可精准定位复杂结构;get_text(strip=True)自动去除首尾空白与换行;find_next_sibling()用于兄弟节点遍历。
1.4 案例:抓取豆瓣图书Top250
豆瓣图书Top250采用分页设计(每页25本),共10页,URL格式:https://book.douban.com/top250?start=0,start参数递增25即可遍历全部数据。
完整代码:
import requests
from bs4 import BeautifulSoup
def crawl_douban_books():
for start in range(0, 250, 25):
url = f"https://book.douban.com/top250?start={start}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36"
}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, "lxml")
books = soup.select("div.item")
for book in books:
title = book.select_one("div.pl2 a")["title"]
info = book.select_one("p.pl").get_text()
rating = book.select_one("span.rating_nums").get_text()
print(f"《{title}》 | 评分:{rating} | {info}")
crawl_douban_books()
执行结果示例:《活着》 | 评分:9.3 | 余华 / 北京十月文艺出版社 / 2012-8 / 13.00元《百年孤独》 | 评分:9.3 | 加西亚·马尔克斯 / 南海出版公司 / 2012-5 / 39.50元
二、核心工具链:构建高效稳定的爬虫引擎
仅靠requests+BeautifulSoup难以应对高并发、反爬对抗、数据持久化等工程需求。现代python爬虫自学网站学习者必须掌握三大核心工具:Selenium、Scrapy、Redis。以下逐一分解其定位与组合策略。
2.1 Selenium:浏览器自动化神器
当目标网页依赖JS渲染(如淘宝商品详情页、知乎评论区),需用Selenium模拟真实用户操作。其原理是通过WebDriver控制浏览器,可执行JS、点击按钮、滚动页面等交互行为。
典型场景:抓取需要登录的网站(如微博、知乎),或动态加载内容(如瀑布流图片站)。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com/login")
# 等待用户名输入框出现
wait = WebDriverWait(driver, 10)
username = wait.until(EC.presence_of_element_located((By.ID, "user")))
# 填写表单并提交
username.send_keys("user@example.com")
password = driver.find_element(By.ID, "pass")
password.send_keys("123456")
driver.find_element(By.CSS_SELECTOR, ".btn-login").click()
# 获取渲染后的内容
html = driver.page_source
⚠️ 注意:Selenium性能较低(启动浏览器开销大),应仅在必要时使用。推荐配合无头模式(headless)减少资源消耗:
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")
driver = webdriver.Chrome(options=options)
2.2 Scrapy:工业级爬虫框架
Scrapy是Python最成熟的爬虫框架,提供异步I/O、自动重试、中间件扩展、数据管道等完整生态。其核心组件包括:
- Spider:定义爬取逻辑与解析规则
- Downloader Middleware:处理请求/响应(如添加代理、伪装User-Agent)
- Item Pipeline:清洗、验证、存储数据
Scrapy项目初始化命令:
scrapy startproject myspider
cd myspider
scrapy genspider douban book.douban.com
以下为spiders/douban.py核心逻辑:
import scrapy
class DoubanSpider(scrapy.Spider):
name = "douban"
allowed_domains = ["book.douban.com"]
start_urls = ["https://book.douban.com/top250"]
def parse(self, response):
for book in response.css("div.item"):
yield {
"title": book.css("div.pl2 a::attr(title)").get(),
"rating": book.css("span.rating_nums::text").get(),
"info": book.css("p.pl::text").get()
}
# 翻页逻辑
next_page = response.css("div.paginator a.next::attr(href)").get()
if next_page:
yield response.follow(next_page, callback=self.parse)
运行命令:scrapy crawl douban -o books.json,即可生成JSON格式数据文件。
2.3 Redis:分布式爬虫的协作中枢
当单机爬虫无法满足效率需求时,需构建分布式架构。Redis作为高性能键值数据库,常用于:
- 存储待爬URL队列(Set去重)
- 记录已爬URL指纹(防止重复)
- 协调多台爬虫机的任务分配
典型架构:爬虫A → Redis队列 → 爬虫B/C/D → 数据库
scrapy-redis扩展,可将Scrapy与Redis无缝集成,无需修改核心代码即可实现分布式部署。三、反反爬实战:破解主流反爬机制
当前主流网站反爬手段已从简单UA检测,升级为多维度行为分析(如滑动验证、请求频率、鼠标轨迹、JS指纹)。python爬虫自学网站总结以下高频策略与应对方案:
3.1 请求头伪装与Cookie管理
基础反爬常检查:User-Agent、Referer、Accept-Language等字段。可通过以下方式增强伪装:
- 使用真实浏览器导出的Cookie(登录后F12复制)
- 动态生成Referer(从搜索页跳转至目标页)
- 轮换User-Agent(模拟不同设备与浏览器)
动态UA生成示例:
import random
USER_AGENTS = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/605.1.15",
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X) Mobile/15E148"
]
def get_headers():
return {
"User-Agent": random.choice(USER_AGENTS),
"Referer": "https://www.google.com/",
"Accept-Language": "zh-CN,zh;q=0.9"
}
3.2 验证码与滑块识别
验证码类型包括:数字字母型、点选文字型、滑动拼图型。应对策略:
- 数字字母型:使用Tesseract OCR识别(需安装libtesseract库)
- 滑动拼图:通过OpenCV模板匹配计算缺口偏移量,再模拟鼠标轨迹移动
滑块缺口定位代码(简化版):
import cv2
import numpy as np
def find_gap_offset(bg_path, slider_path):
bg = cv2.imread(bg_path, 0)
slider = cv2.imread(slider_path, 0)
result = cv2.matchTemplate(bg, slider, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
return max_loc[0] # 返回缺口X坐标偏移量
⚠️ 法律风险:绕过技术措施可能违反《计算机软件保护条例》及《反不正当竞争法》,请严格遵守网站Robots协议,仅用于学习研究。
3.3 动态JS反爬对抗
部分网站(如某点评)将关键数据加密于JS中,通过混淆变量名、动态生成Token等方式防御。应对方法:
- 用Chrome DevTools设置断点,追踪加密函数调用栈
- 提取加密逻辑,用Python重写(如AES、DES加密)
- 逆向JS代码,提取关键参数(如X-Signature)
四、实战项目库:从简单到复杂的完整案例
以下精选5个典型项目,覆盖电商、社交、新闻、招聘、学术数据库,每个案例均附核心代码片段与调试技巧。
4.1 京东商品信息抓取(含价格动态刷新)
京东商品价格实时变动,需通过接口:/p.3/price?id=100012345678获取最新价格。接口需携带Cookie中的ipLoc-dpc=12345(地区编码),否则返回403。
核心逻辑:
import requests
import json
def get_jd_price(sku_id):
url = f"https://p.3.cn/prices/mgets?skuIds=J_{sku_id}"
headers = {
"Referer": f"https://item.jd.com/{sku_id}.html",
"Cookie": "ipLoc-dpc=310100" # 上海地区
}
res = requests.get(url, headers=headers)
data = json.loads(res.text)[0]
return {
"price": data["p"],
"mktPrice": data["m"]
}
print(get_jd_price("100012345678"))
4.2 知乎热榜TOP50(含评论抓取)
知乎热榜接口:/api/v4/feed/topstory/hot-lists/total?limit=50,需添加x-zse-96签名参数。该参数通过JS生成,可逆向提取算法:
def get_zh_sign(url):
# 简化版:实际需执行JS代码生成
return base64.b64encode(f"101_3_3.0+{url}".encode()).decode()
完整方案见python爬虫自学网站的“知乎反爬专项”章节。
4.3 爬取Google Scholar文献(绕过IP封禁)
Google Scholar对高频请求严格限制,需采用:随机延迟(1~5秒)+ 代理IP池(每50次请求切换IP)+ 请求头轮换。
代理IP池管理:
import random
import time
PROXIES = [
{"http": "http://114.235.23.12:8080"},
{"http": "http://221.231.148.35:80"}
]
def crawl_with_proxy(url):
for _ in range(3): # 最多重试3次
try:
proxy = random.choice(PROXIES)
response = requests.get(url, proxies=proxy, timeout=5)
if response.status_code == 200:
return response.text
except:
time.sleep(random.uniform(1, 3))
4.4 爬取BOSS直聘职位(反爬+数据清洗)
BOSS直聘需登录后才能查看完整职位信息。流程:
① 模拟登录获取Cookie → ② 通过XHR请求获取职位列表 → ③ 解析加密的薪资字段(Base64+异或)
薪资字段示例:"aW5kZWV0fDEwMDAwfDE1MDAw",解码步骤:base64.b64decode("aW5kZWV0fDEwMDAwfDE1MDAw") → b"indeed|10000|15000"split("|") → ["indeed", "10000", "15000"]
4.5 学术数据库:CNKI论文下载
CNKI提供API:/kns/brief/brief.aspx?pagename=ASP.brief_result_asp,但需通过__VIEWSTATE参数维持会话。推荐使用Selenium模拟登录后,直接下载PDF:
driver.find_element(By.LINK_TEXT, "下载").click()
time.sleep(3) # 等待PDF下载完成
五、数据存储与处理:从原始数据到可用资产
爬虫最终目标是将原始HTML转化为结构化数据。常用存储方案及适用场景如下:
| 存储方案 | 优势 | 适用场景 |
|---|---|---|
| CSV/JSON文件 | 轻量、跨平台、易读 | 小规模数据(<10万条) |
| MySQL | 事务支持、关系建模 | 需关联查询的结构化数据 |
| Elasticsearch | 全文检索、高并发写入 | 新闻、论坛等文本数据 |
| MongoDB | 文档存储、灵活Schema | 非结构化数据(如JSON) |
5.1 MySQL数据持久化
Scrapy通过Item Pipeline写入MySQL:
import pymysql
class MySQLPipeline:
def open_spider(self, spider):
self.conn = pymysql.connect(
host="localhost",
user="root",
password="123456",
database="spider"
)
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
sql = "INSERT INTO books (title, rating) VALUES (%s, %s)"
self.cursor.execute(sql, (item["title"], item["rating"]))
self.conn.commit()
return item
def close_spider(self, spider):
self.conn.close()
需在settings.py中启用:ITEM_PIPELINES = {"myspider.pipelines.MySQLPipeline": 300}
5.2 数据清洗与去重
常见问题:重复数据、乱码、缺失字段。使用pandas高效处理:
import pandas as pd
df = pd.read_csv("books.csv")
# 去除重复行
df.drop_duplicates(subset=["title"], keep="first", inplace=True)
# 清理乱码
df["title"] = df["title"].str.encode("latin1", errors="ignore").str.decode("utf-8", errors="ignore")
# 填充缺失值
df["rating"].fillna("0.0", inplace=True)
# 保存清洗后数据
df.to_csv("clean_books.csv", index=False)
5.3 数据可视化初探
用matplotlib绘制图书评分分布图:
import matplotlib.pyplot as plt
ratings = [9.3, 9.2, 9.1, 9.3, 9.0, 9.4, 9.2]
plt.hist(ratings, bins=10, edgecolor="black")
plt.title("豆瓣Top250评分分布")
plt.xlabel("评分")
plt.ylabel("书籍数量")
plt.show()
六、高频问题解答:新手最常遇到的10个问题
① 爬虫会被封IP怎么办?
立即降低请求频率(建议≥2秒/次),添加随机User-Agent,使用代理IP池。若已被封,等待24小时后恢复,或更换IP段。
② 如何判断网站是否允许爬取?
访问 https://目标网站/robots.txt(如https://www.zhihu.com/robots.txt),查看Disallow字段。但注意:robots.txt无法律约束力,仅建议遵守。
③ BeautifulSoup和lxml哪个更快?
lxml解析速度是html.parser的5~10倍,推荐安装:pip install lxml。
④ Scrapy与Selenium如何选择?
静态页面→Scrapy;动态渲染→Selenium;混合场景→Scrapy+Selenium混合架构(用Selenium获取Cookie,Scrapy发起请求)。
⑤ 如何处理JavaScript加密参数?
优先用Chrome DevTools追踪请求参数生成逻辑;若无法逆向,可提取JS代码用PyExecJS执行:
import execjs
ctx = execjs.compile(open("crypto.js").read())
sign = ctx.call("get_sign", url)
更多问题见python爬虫自学网站的“常见问题库”栏目,持续更新中。