Python爬虫常用字符串

入门基础:字符串在爬虫中的核心地位

在Python爬虫开发中,字符串处理贯穿整个数据采集流程——从发起HTTP请求、解析响应内容、提取目标数据到最终存储,每一步都离不开对字符串的精准操作。尤其在面对结构复杂、动态加载、反爬机制严密的网站时,字符串处理能力直接决定了数据抓取的效率与成功率。

以requests库为例,其返回的响应内容`response.text`本质是经过编码解码后的字符串;BeautifulSoup解析HTML后得到的`tag.string`或`tag.get_text()`同样返回字符串;lxml的XPath表达式常需拼接字符串路径;正则表达式匹配更是以字符串为操作对象;JSON数据需通过`json.loads()`转化为字典,而原始数据仍是字符串。

因此,掌握字符串的编码解码、格式转换、模式匹配、转义处理等核心技能,是构建稳定、高效爬虫系统的基石。尤其值得注意的是,不同网站对字符编码的处理方式差异显著——有的使用`UTF-8`,有的用`GB2312`,还有的采用`GBK`或`ISO-8859-1`,若未正确识别编码,将导致中文乱码、符号错位等问题。因此,合理使用`response.apparent_encoding`结合`response.encoding`进行动态调整,是避免乱码的关键策略之一。

此外,HTML实体(如`&nbsp;`、`<`、`>`)在原始HTML中广泛存在,若直接提取文本未做转换,将导致“&”显示为“&amp;”,“<”显示为“&lt;”,严重影响数据可读性。此时需借助`html.unescape()`或BeautifulSoup内置的解析器自动处理。同样,URL中的特殊字符(如空格、中文、引号)必须进行URL编码(如`urllib.parse.quote()`),否则请求可能失败或被服务器拒绝。

综上所述,字符串处理虽看似基础,实则涵盖编码认知、库函数熟练度、正则设计能力、异常处理意识等多维技能。一个成熟的爬虫工程师,往往在字符串层面投入了大量调试时间——因为正是这些“微小”的细节,决定了整个项目能否稳定运行。

URL字符串:编码与解码的完整生命周期

URL(统一资源定位符)是爬虫访问网页的入口,其字符串结构虽简明,但包含协议、主机、端口、路径、查询参数、锚点等多部分,任一环节处理不当,都可能导致404或400错误。尤其在涉及中文、空格、特殊符号(如`#`、`?`、`&`、`%`)时,必须进行URL编码。

典型场景如下:

  • 搜索关键词含空格或中文:`"人工智能 2025"`需转为`"人工智能%202025"`或`"人工智能%202025"`(取决于空格是否保留);
  • URL中含`&`参数分隔符:如`?q=a&b=c`中若`a`本身含`&`,必须编码为`a%26b`;
  • 路径含中文:如`/搜索/结果`应编码为`/%E6%90%9C%E7%B4%A2/%E7%BB%93%E6%9E%9C`;
  • 动态生成URL时拼接参数:避免字符串拼接出非法字符,应使用`urllib.parse.urlencode()`自动处理。

Python标准库提供了两组核心函数:

from urllib.parse import quote, unquote, urlencode, urlparse
# 单个字符串编码(默认使用UTF-8)
encoded = quote("Python爬虫", safe="")  # 输出:Python%E7%88%AC%E8%99%AB
# safe参数指定不编码的字符,默认为'/',可自定义保留如"-"、"."等
# URL解码(逆向操作)
decoded = unquote("Python%E7%88%AC%E8%99%AB")  # 输出:Python爬虫
# 参数字典转URL查询字符串
params = {"q": "人工智能 2025", "page": 1}
query = urlencode(params)  # 输出:q=%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%202025&page=1
# 解析URL各部分
url = "https://www.example.com/search?q=Python爬虫&page=1#top"
parsed = urlparse(url)
print(parsed.scheme)   # 'https'
print(parsed.netloc)   # 'www.example.com'
print(parsed.path)     # '/search'
print(parsed.query)    # 'q=Python%E7%88%AC%E8%99%AB&page=1'
print(parsed.fragment) # 'top'

特别注意:`quote()`默认不编码`/`,若需完全编码(如生成SHA256哈希前的原始字符串),需设`safe=""`;而`unquote()`在Python 3.10+支持`errors='strict'`参数,可控制异常处理方式,确保解码失败时程序不中断。

实战建议:构建URL时优先使用`urljoin()`而非字符串拼接,避免路径错误。例如:

from urllib.parse import urljoin
base = "https://www.example.com/list"
full = urljoin(base, "/detail?id=123")  # 正确输出:https://www.example.com/detail?id=123
full2 = urljoin(base, "detail?id=123")  # 输出:https://www.example.com/detail?id=123
# 注意:若base末尾无'/',拼接路径会覆盖最后一段

此外,某些网站采用“伪静态”URL(如`/article-123.html`),需注意路径格式;而SPA单页应用常将参数放在`#`后(如`/page#?id=123`),此时`urlparse().query`无法获取,需手动解析`fragment`字段。

HTML字符串:实体转换与文本提取技巧

网页源码本质是HTML字符串,其中包含大量HTML实体(HTML Entities),如`&`、`<`、`>`、` `、`©`等。若直接提取文本未做转换,将导致数据失真。例如,`

价格:¥100

`提取后显示为“价格:¥100”,而非“价格:¥100”。

Python提供两种主流解决方案:

  1. 使用`html.unescape()`(标准库):
import html
raw = "Python爬虫 <教程> & 实战   2025"
clean = html.unescape(raw)
print(clean)  # 输出:Python爬虫 <教程> & 实战  2025
  1. 通过BeautifulSoup自动解析(推荐):
from bs4 import BeautifulSoup
html_doc = '
价格:¥199 & 优惠
' soup = BeautifulSoup(html_doc, 'html.parser') text = soup.get_text(separator=' ', strip=True) print(text) # 输出:价格: ¥199 & 优惠 # 注意:BeautifulSoup内部调用了html.parser,会自动处理实体

进阶技巧:当目标网站使用自定义编码(如将`&`替换为`&amp;`嵌套两层)时,需多次调用`unescape()`:

def decode_html_entities(text, max_iter=5):
    for _ in range(max_iter):
        new_text = html.unescape(text)
        if new_text == text:
            break
        text = new_text
    return text

同时,HTML字符串中常含脚本(`' # 若msg含URL编码参数,继续解码 if "http" in msg: msg = unquote(msg)

反向转义(构造请求时):

import urllib.parse
import html
import json
# 构造含特殊字符的JSON
data = {"text": "Python <爬虫> & \"教程\""}
json_str = json.dumps(data, ensure_ascii=False)  # '{"text":"Python <爬虫> & \"教程\""}'
# 若需作为URL参数,继续编码
url_param = urllib.parse.quote(json_str)
# 最终URL参数:text=%7B%22text%22%3A%22Python%20%3C%E7%88%AC%E8%99%AB%3E%20%26%20%22%E6%95%99%E7%A8%8B%22%7D

综合实战:构建一个完整字符串处理流程

以抓取某资讯网站列表页为例,目标:提取标题、链接、发布时间、摘要。

步骤1:发起请求并处理编码

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
url = "https://example.com/news"
response = requests.get(url)
response.encoding = response.apparent_encoding  # 关键:避免乱码
html = response.text

步骤2:解析HTML并提取基础数据

soup = BeautifulSoup(html, 'html.parser')
articles = soup.select('.news-item')  # 假设列表项class为news-item
for item in articles:
    title_tag = item.select_one('.title a')
    title = title_tag.get_text(strip=True)
    link = urljoin(url, title_tag['href'])
    date_tag = item.select_one('.date')
    date_str = date_tag.get_text(strip=True) if date_tag else "未知"
    summary_tag = item.select_one('.summary')
    summary = summary_tag.get_text(strip=True) if summary_tag else ""

步骤3:清理与转换

import re
from dateutil import parser
import html
# 清理标题中的多余空格
title = re.sub(r'\s+', ' ', title).strip()
summary = re.sub(r'\s+', ' ', summary).strip()
# 处理HTML实体(如©)
title = html.unescape(title)
summary = html.unescape(summary)
# 解析发布时间
try:
    pub_date = parser.parse(date_str)
except:
    pub_date = None  # 或记录为无效时间

步骤4:结构化存储

article_data = {
    "title": title,
    "url": link,
    "pub_date": pub_date.isoformat() if pub_date else "",
    "summary": summary
}

扩展:应对动态加载内容

若列表通过AJAX加载,需直接请求API接口。例如:`https://example.com/api/news?page=1`返回JSON:

import json
api_url = "https://example.com/api/news?page=1"
response = requests.get(api_url)
# 假设返回格式为:{ "code": 200, "data": { "items": [...] } }
api_data = response.json()  # 等价于 json.loads(response.text)
articles = api_data["data"]["items"]
for item in articles:
    title = html.unescape(item["title"])
    link = urljoin(api_url, item["url"])
    date_str = item["pub_date"]  # ISO格式或时间戳

通过上述流程,可确保从原始字符串到结构化数据的每一步都经过严谨处理,避免乱码、转义错误、时间解析失败等常见问题。

网友们还关心

Python爬虫常见反爬对策
爬虫法律风险规避
性能优化技巧

Python爬虫常见反爬对策

网站反爬手段日益升级,字符串层面的对抗尤为关键:

示例:构造完整请求头

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive",
    "Referer": "https://www.example.com/",
    "Upgrade-Insecure-Requests": "1"
}
response = requests.get(url, headers=headers)

爬虫法律风险规避

根据《网络安全法》及《数据安全法》,爬虫需遵守“robots协议”与“合理使用原则”:

合规爬虫实践建议:

  1. 首次访问时解析`robots.txt`并缓存规则;
  2. 使用`Crawler-Limit`头设置抓取深度;
  3. 提供`Contact`信息(如`X-Crawler-Contact: admin@example.com`);
  4. 对`429 Too Many Requests`状态码自动降速。

性能优化技巧

字符串处理是性能瓶颈高发区,优化方向:

性能对比示例:

# 低效写法(O(n²)时间复杂度)
html = ""
for chunk in response.iter_content(1024):
    html += chunk.decode('utf-8')  # 每次拼接创建新字符串
# 高效写法(O(n))
chunks = []
for chunk in response.iter_content(1024):
    chunks.append(chunk.decode('utf-8'))
html = ''.join(chunks)