本python爬虫教程网站致力于构建一套系统、实用、合规的网络数据抓取知识体系,覆盖从零基础入门到高级实战的全路径内容。我们深知:网络爬虫不仅是技术能力的体现,更是数据素养与法律意识的综合考验。因此,教程设计以真实业务场景为驱动,强调“能用、好用、合规用”的三大原则,帮助开发者构建可持续的数据获取能力。
无论您是编程新手希望快速上手自动化数据采集,还是资深工程师寻求更高效的反反爬解决方案,这里都能提供清晰的学习路径与可落地的技术方案。本站内容持续更新,所有示例代码均经过生产环境验证,确保在复杂网络环境下依然具备高稳定性与可复用性。
当前,随着《个人信息保护法》《数据安全法》的落地实施,网络数据采集已进入强监管时代。我们特别增设“合规爬取”模块,详解合法边界、robots协议解析、用户协议审查、数据使用限制等关键议题,避免开发者因技术误操作引发法律风险。真正的专业爬虫工程师,不仅要有技术硬实力,更要有合规软实力。
本python爬虫教程网站不提供任何“黑盒工具”或绕过反爬的非法脚本,所有技术方案均严格遵循《网络爬虫行业自律公约》,倡导“公开、合法、必要、最小化”数据采集原则。我们相信:可持续的数据价值,只能建立在可持续的合规实践之上。
在正式编写爬虫前,必须掌握HTTP协议核心机制。HTTP是爬虫与网站通信的基础语言,理解其请求/响应模型是高效开发的前提。一个标准HTTP请求包含:请求行(方法+URL+协议版本)、请求头(Headers)、可选请求体(Body)。响应则由状态行(协议+状态码+说明)、响应头、响应体构成。
常见HTTP状态码分类如下:
| 状态码范围 | 含义 | 爬虫意义 |
|---|---|---|
| 2xx | 成功 | 如200表示请求成功,可正常解析响应体 |
| 3xx | 重定向 | 如301/302需自动跟随Location头跳转,Scrapy已内置处理 |
| 4xx | 客户端错误 | 如404表示资源不存在;403表示禁止访问,需检查User-Agent或IP |
| 5xx | 服务器错误 | 如503表示服务不可用,应暂停请求避免加重负载 |
以requests库为例,构建一个最简爬虫:
import requests
url = "https://www.example.com/data"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers, timeout=10)
response.encoding = 'utf-8' # 手动指定编码避免乱码
print(response.status_code)
print(response.text[:500]) # 打印前500字符预览
⚠️ 注意:许多网站使用gzip压缩,requests会自动解压,但若手动处理响应体需设置response.raw.decode_content = True。此外,python爬虫教程网站强烈建议为所有请求添加timeout参数,防止因单个请求阻塞整个程序。
响应内容解析是关键环节。HTML结构解析可采用:
以解析某新闻列表为例:
from bs4 import BeautifulSoup
html = response.text
soup = BeautifulSoup(html, 'lxml')
articles = soup.select('div.article-item h3.title a')
for a in articles:
title = a.get_text(strip=True)
link = a['href']
print(f"标题:{title} | 链接:{link}")
💡 技巧:当网页内容由JS动态渲染时(如观察Network面板发现XHR请求返回JSON),应优先抓取API接口而非解析DOM——效率更高、结构更稳定。很多网站的“列表页”实际由/api/v1/articles?page=1返回JSON数据,直接请求该接口比模拟滚动更可靠。
requests库是Python最流行的HTTP客户端,其设计哲学是“人类友好”。常用功能包括:
session = requests.Session()可复用TCP连接,自动管理Cookiesparams={'q': 'python爬虫'}自动拼接查询字符串files={'file': open('data.csv', 'rb')}proxies={'http': 'http://127.0.0.1:8080'}当页面内容完全由JavaScript动态生成(如React/Vue应用),且无对应API时,需用selenium模拟真实浏览器行为。典型场景包括:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)"))driver.find_element(By.CSS_SELECTOR, '.load-more').click())⚠️ 关键配置:为避免被检测,必须关闭自动化控制标志:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
Scrapy是企业级爬虫框架,具备高并发、中间件、管道处理等完整生态。其核心组件:
Scrapy项目结构示例:
myproject/
├── myproject/
│ ├── spiders/
│ │ └── example.py
│ ├── pipelines.py
│ ├── middlewares.py
│ └── settings.py
└── scrapy.cfg
Spider核心代码:
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = ['https://www.example.com']
def parse(self, response):
for item in response.css('div.card'):
yield {
'title': item.css('h3::text').get(),
'link': item.css('a::attr(href)').get(),
'content': item.css('p::text').get()
}
# 翻页逻辑
next_page = response.css('a.next::attr(href)').get()
if next_page:
yield response.follow(next_page, callback=self.parse)
💡 高级技巧:使用request.meta['download_timeout']为单个请求设置超时;通过Request(dont_filter=True)允许重复URL。
现代网站反爬已形成完整体系,常见策略包括:
网站通过访问频率判断异常行为,常见阈值:
应对方案:
time.sleep(random.uniform(1,3))代理IP池构建要点:
http://httpbin.org/headers)网站将关键数据隐藏在JS中,或通过WebAssembly动态生成DOM。典型案例如:
sign=md5(url+timestamp+secret))解决方案:
sign、encrypt)字体反爬示例代码:
from fontTools.ttLib import TTFont
# 下载字体文件
font_url = "https://example.com/static/webfont.woff"
font_resp = requests.get(font_url)
with open("font.woff", "wb") as f:
f.write(font_resp.content)
# 解析字体
font = TTFont("font.woff")
cmap = font['cmap'].getBestCmap()
# cmap示例:{61517: 'glyph00001', 61518: 'glyph00002'}
# glyph00001对应字符“1”
滑块验证通过分析鼠标轨迹(移动速度、加速度、轨迹点分布)判断是否为人类。破解思路:
path = [(x, y, t) for x,y in bezier_curve(start, end, steps) for t in timestamps]
⚠️ 注意:过度模拟可能被检测为机器人。更优策略是使用第三方打码平台(如极验官方API),成本约0.02元/次。
💡 python爬虫教程网站特别提醒:任何绕过反爬的技术手段必须在合法范围内使用。例如:
• 仅爬取公开数据(非用户隐私页)
• 遵守robots.txt协议(https://www.example.com/robots.txt)
• 设置合理请求频率(≤5次/秒/域名)
• 禁止绕过登录验证直接访问受保护资源
目标:采集某省级日报近3年所有头版新闻标题与日期
hex(page-1)[2:].zfill(4)需求:实时监控3大平台某型号手机价格变化
| 平台 | 反爬特点 | 应对策略 |
|---|---|---|
| 京东 | 动态加载+JS加密sign | 复现sign算法 + 代理池 |
| 淘宝 | 滑块验证+Cookie加密 | Selenium自动登录 + 保存Cookie |
| 拼多多 | 请求头需特定字段 | 抓包分析Header字段 → 重放请求 |
场景:监控微博#人工智能#话题下的实时评论
https://weibo.com/ajax/statuses/search(搜索API)containerid=100808d2e4d3e0d0f0e0e0d2e4d3e0d0f0e0e0d2e4d3e0d0f0e0e0(话题ID)since_id参数避免重复抓取re.sub(r'@\w+|https?://\S+|\S+', '', text))数据清洗代码示例:
import re
import jieba
def clean_text(text):
# 移除特殊字符
text = re.sub(r'@\w+|https?://\S+|\S+', '', text)
# 去除多余空格
text = re.sub(r'\s+', ' ', text).strip()
return text
def extract_keywords(text, topn=5):
# 关键词提取(TF-IDF)
return jieba.analyse.extract_tags(text, topK=topn)
平台:BOSS直聘(反爬极严)
X-Auth-Token(动态JWT)模拟登录关键代码:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
context = browser.new_context()
page = context.new_page()
page.goto("https://zhipin.com/web/geek/job")
# 扫码登录后保存Cookie
cookies = context.cookies()
# 保存至文件供requests复用
with open("cookies.json", "w") as f:
json.dump(cookies, f)
目标:CNKI、PubMed、IEEE Xplore
https://eutils.ncbi.nlm.nih.gov/entrez/eutils/)→ 优先使用APIhttps://目标站/robots.txt)💡 python爬虫教程网站建议:商业项目务必咨询法律意见。可采用“数据代理”模式——将采集数据托管至合规数据服务商,由其提供脱敏数据接口。
被封常见原因:
解决方案:
Accept-Language: zh-CN,zh;q=0.9robotparser.parse_url("https://example.com/robots.txt")解析库对比:
| 库 | 速度 | 容错性 | 适用场景 |
|---|---|---|---|
| BeautifulSoup | 慢 | 高 | 结构混乱的HTML |
| lxml | 极快 | 中 | 结构清晰的XML/HTML |
| re | 快 | 低 | 纯文本匹配 |
| pyquery | 中 | 高 | jQuery语法爱好者 |
推荐组合:lxml + XPath(性能+可读性平衡)
JSON解析常见错误:
response.json(simplify_whitespace=False)response.content.decode('utf-8', errors='ignore')print(json.dumps(data, indent=2))示例:某API返回{code:200,data:[{id:1,name:"测试"}]},需用data['data'][0]['name']获取值
Scrapy并发优化:
CONCURRENT_REQUESTS = 16:全局并发数DOWNLOAD_DELAY = 0.5:下载延迟CONCURRENT_REQUESTS_PER_DOMAIN = 8:单域名并发scrapy.downloadermiddlewares.retry.RetryMiddleware性能测试:Scrapy默认配置可实现200+页/分钟,优化后可达1000+页/分钟