当您输入“python爬虫能搜索资源吗”时,背后藏着技术可行性、法律合规性与工程落地性的三重追问。本文从真实开发者视角出发,系统拆解爬虫技术的底层逻辑、主流框架选型、反爬对抗策略、司法判例边界及合规采集路径,助您在合法前提下高效获取网络资源。
立即探索Python爬虫技术完全可以实现对公开网页的自动化资源抓取。其核心依赖于:
requests库模拟浏览器发起GET/POST请求,获取HTML、JSON等响应数据;BeautifulSoup或lxml解析HTML树,精准提取目标元素;Selenium或Playwright驱动无头浏览器,绕过JavaScript动态加载限制。例如,抓取新闻标题的最简代码仅需3行:
import requests
from bs4 import BeautifulSoup
html = requests.get('https://example.com').text
soup = BeautifulSoup(html, 'html.parser')
titles = [h2.text.strip() for h2 in soup.select('h2.title')]
网络资源可分为三类,其采集难度与技术门槛显著不同:
以淘宝商品搜索结果为例,其前端页面虽显示商品列表,但实际数据通过https://s.taobao.com/search的AJAX接口动态加载,直接请求HTML仅能获取骨架屏结构。此时需结合DevTools抓包定位真实API,或使用Selenium模拟用户滚动行为触发加载。
技术上可行 ≠ 合法。根据《网络安全法》第27条及《民法典》第1034条:
最高人民法院2023年发布的《关于审理网络消费纠纷案件适用法律若干问题的规定(二)》第12条明确:“经营者通过技术手段,违反其他经营者合法提供的网络产品或者服务中的爬虫协议,影响其正常运行的,人民法院可以认定构成不正当竞争。”
为提高请求成功率,需完整构建请求头(Headers),关键字段包括:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36);https://www.zhihu.com/question/123);zh-CN,zh;q=0.9);keep-alive可提升并发效率)。完整请求示例:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'https://www.example.com/search',
'Cookie': 'sessionid=abc123; _ga=GA1.2.123456',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive'
}
response = requests.get('https://api.example.com/data', headers=headers)
以抓取豆瓣电影Top250为例,目标元素结构为:
<div class="item">
<span class="title">肖申克的救赎</span>
<span class="rating_num">9.7</span>
<div class="bd">...</div>
</div>
使用BeautifulSoup提取数据:
soup = BeautifulSoup(html, 'html.parser')
for item in soup.select('div.item'):
title = item.select_one('span.title').text.strip()
rating = item.select_one('span.rating_num').text.strip()
print(f'{title} - 评分:{rating}')"
若目标元素通过JS动态生成(如document.write('数据')),需改用Selenium:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://movie.douban.com/top250')
titles = [e.text for e in driver.find_elements('css selector', 'span.title')]
针对高频请求导致的IP封禁,推荐以下三层防御机制:
time.sleep(1)),关键页面添加随机延迟(time.sleep(random.uniform(0.5,2)));ddddocr等开源工具自动识别,成功率约70%~85%。注意:代理IP必须来自合规服务商,自建代理池若涉及非法获取他人设备流量,同样存在法律风险。
适用于中大型项目,支持高并发、数据管道处理、中间件扩展。典型架构包含:
示例:定义一个爬取新闻标题的Spider:
import scrapy
class NewsSpider(scrapy.Spider):
name = 'news'
start_urls = ['https://news.example.com']
def parse(self, response):
for article in response.css('div.article'):
yield {
'title': article.css('h2::text').get(),
'url': article.css('a::attr(href)').get()
}
通过scrapy crawl news -o output.json一键导出结果。其内置AutoThrottle中间件可自动调节请求频率,避免触发反爬。
专为解决动态页面难题设计,支持Chrome/Firefox/WebKit多内核。核心优势:
抓取动态加载的评论列表示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto('https://example.com/comments')
page.wait_for_selector('.comment-content') # 自动等待
comments = [e.inner_text() for e in page.query_selector_all('.comment-content')]
browser.close()
作为轻量级解析库,常与requests组合使用。优势在于:
lxml加速解析(速度提升10倍以上)。典型用法:提取页面所有链接并过滤站外链接:
soup = BeautifulSoup(html, 'lxml')
internal_links = [a['href'] for a in soup.find_all('a', href=True)
if a['href'].startswith('/')]
根据(2021)京73民终1023号判决,合法采集需同时满足:
2022年某科技公司因爬取某招聘网站简历数据并收费出售,被法院判赔50万元并公开道歉。
建议实施以下措施降低法律风险:
https://目标网站/robots.txt,确认目标路径未被禁止;/api/v4/questions/{id}/answers接口,调用更稳定且合法。问题:直接请求https://www.baidu.com/s?wd=python返回空内容
解决方案:
Selenium模拟搜索行为;#content_left元素加载完成;from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/s?wd=python')
driver.implicitly_wait(5) # 等待动态加载
results = driver.find_elements('css selector', 'div.result')
for r in results:
title = r.find_element('tag name', 'h3').text
summary = r.find_element('css selector', 'div.c-abstract').text
print(f'{title}\n{summary}\n')"
风险提示:直接复用Cookie可能失效(因Session有时效性),且违反《用户协议》
合规替代方案:
/statuses/user_timeline接口;淘宝采用:加密参数+IP限流+行为验证三重防护
解决方案:
https://s.taobao.com/api?_ksTS=1620000000000_123&callback=jsonp124;enc(加密参数)为手动构造的合法值;注意:2023年淘宝已升级滑块验证,需集成ddddocr自动识别,成功率约65%。
某爬虫项目因抓取robots.txt禁止的/admin目录,被法院认定为“故意规避技术措施”。
正确做法:采集前解析https://site.com/robots.txt,检查Disallow字段。
某公司爬取某地图API,单日请求超10万次,IP被封且账号被封禁。
正确做法:使用scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware自动轮换代理。
采集包含手机号、邮箱的公开帖子,即使未主动使用,仍违反《个人信息保护法》第13条。
正确做法:对敏感字段(如\d{11}手机号)进行正则过滤或脱敏。
将User-Agent设为Mozilla/5.0但缺少其他头字段,易被识别为爬虫。
正确做法:使用真实浏览器的完整请求头(从DevTools复制)。
某网站通过crypto-js加密API参数,直接请求返回403。
正确做法:在Playwright中注入JS,提取加密函数逻辑后本地复现。
某APP将爬取的新闻标题聚合展示,被原网站起诉侵权。
正确做法:添加显著来源标注,或通过API授权获取合法数据源。
未检查response.status_code导致404/503页面报错中断整个流程。
正确做法:添加重试机制(requests.adapters.HTTPAdapter(max_retries=3))。
主流平台提供合规API:
| 平台 | API地址 | 调用限制 | 适用场景 |
|---|---|---|---|
| 知乎 | /api/v4/questions/{id}/answers | 每日500次(需登录) | 获取问题答案、点赞数 |
| 微博 | /2/statuses/user_timeline | 开放平台申请,限1000次/日 | 用户微博列表、转发数 |
| 百度指数 | 需登录,提供CSV导出 | 仅限注册用户 | 关键词热度趋势 |
示例:使用requests调用知乎API:
import requests
headers = {'Authorization': 'oauth xxx'}
params = {'limit': 10, 'offset': 0}
url = 'https://www.zhihu.com/api/v4/questions/123/answers'
response = requests.get(url, headers=headers, params=params)
data = response.json()
推荐合法合规的数据源:
免费高质量数据集平台:
IMDB 5000 Movie Dataset);data.stats.gov.cn提供CSV/Excel下载;dataset标签,如datasets/zh-dataset项目。