欢迎访问 首页 · 快速上手 · 实战案例 · 常见问题 · 相关资源 · 联系我们

Python网络爬虫代码下载 —— 实战驱动 · 即用即走

提供经过真实项目验证的高质量爬虫源码,涵盖 Requests、Selenium、Scrapy、Playwright 等主流框架,附带反爬应对、代理池构建、动态渲染、数据清洗与入库全流程解决方案,助您高效掌握网络数据采集核心技术。

快速上手指南

一、环境准备:从零搭建稳定开发环境

在开始编写 python网络爬虫代码下载 项目前,需确保基础环境配置正确。推荐使用 Python 3.9+ 版本,配合虚拟环境管理工具如 venv 或 conda,避免依赖冲突。

核心依赖包安装命令如下:

pip install requests beautifulsoup4 lxml selenium scrapy playwright

若需处理 JavaScript 渲染页面,推荐使用 Selenium 或 Playwright。两者均支持无头模式,但 Playwright 在性能和稳定性方面更优,尤其适合处理现代 SPA 网站。

此外,还需准备以下工具:

二、基础爬虫结构:可复用的最小工作流

以下为基于 Requests + BeautifulSoup 的标准爬虫模板,适用于静态 HTML 页面:

import requests
from bs4 import BeautifulSoup
import time
import random
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
def fetch_page(url):
    try:
        resp = requests.get(url, headers=headers, timeout=10)
        resp.raise_for_status()
        return resp.text
    except requests.RequestException as e:
        print(f"请求失败: {e}")
        return None
def parse_page(html):
    soup = BeautifulSoup(html, 'lxml')
    # 示例:提取文章标题与正文
    items = []
    for article in soup.select('.article-item'):
        title = article.select_one('.title').get_text(strip=True)
        content = article.select_one('.content').get_text(strip=True)
        items.append({'title': title, 'content': content})
    return items
def main():
    url = 'https://example.com/articles'
    html = fetch_page(url)
    if html:
        data = parse_page(html)
        print(f"共提取 {len(data)} 条数据")
        # 后续可保存为 JSON/CSV 或入库
        import json
        with open('articles.json', 'w', encoding='utf-8') as f:
            json.dump(data, f, ensure_ascii=False, indent=2)
if __name__ == '__main__':
    main()

该模板已加入基础异常处理与 User-Agent 设置,可直接复用于多数静态页面采集任务。注意:实际部署时应根据目标站点 robots.txt 合理设置抓取频率,避免对服务器造成压力。

三、动态页面抓取:Selenium 与 Playwright 实战

面对需要登录、滑动验证或动态加载的页面,静态请求往往失效。此时需引入浏览器自动化工具。

Selenium 示例(模拟登录知乎):

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(options=options)
driver.get('https://www.zhihu.com/signin')
# 等待登录表单加载
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.NAME, 'password')))
# 模拟输入(实际需配合滑块或扫码)
driver.find_element(By.NAME, 'username').send_keys('your_email@example.com')
driver.find_element(By.NAME, 'password').send_keys('your_password')
driver.find_element(By.XPATH, '//button[@type="submit"]').click()
# 等待跳转
wait.until(EC.url_contains('zhihu.com/home'))
# 获取 cookies
cookies = driver.get_cookies()
driver.quit()
# 后续用 requests.Session() 复用 cookies

注意:Selenium 在高并发场景下性能较差,建议仅用于关键页面初始化或低频任务。高频采集应考虑逆向接口或使用 Playwright。

Playwright 优势:原生支持并行执行、自动等待、跨浏览器兼容(Chromium/Firefox/WebKit),且 API 更现代。例如:

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto('https://example.com')
    page.wait_for_selector('.target-element')
    content = page.inner_text('.target-element')
    browser.close()

四、反爬应对策略:从基础到进阶

主流反爬手段及对应解决方案如下:

特别提醒:绕过反爬需严格遵守《网络安全法》与网站服务条款,仅用于合法授权的数据采集场景。

高价值实战案例

一、Scrapy 全站爬虫:京东商品数据采集

本项目为 Scrapy 框架完整项目,实现:

核心 Spider 文件片段:

import scrapy
from jingdong.items import JingdongItem
class JDProductSpider(scrapy.Spider):
    name = 'jd_products'
    allowed_domains = ['jd.com']
    start_urls = ['https://search.jd.com/Search?keyword=爬虫书']
    def parse(self, response):
        # 提取商品列表
        for item in response.css('.gl-item'):
            sku = item.css('::attr(data-sku)').get()
            if sku:
                detail_url = f'https://item.jd.com/{sku}.html'
                yield scrapy.Request(detail_url, callback=self.parse_detail)
        # 翻页逻辑
        next_page = response.css('.pn-next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, callback=self.parse)
    def parse_detail(self, response):
        item = JingdongItem()
        item['title'] = response.css('#name h1::text').get()
        item['price'] = response.css('.p-price span::text').get()
        item['comments'] = response.css('#comment-count a::text').get()
        item['shop'] = response.css('.curr-shop ::text').get()
        yield item

配套 settings.py 配置:

ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1.5
RANDOMIZE_DOWNLOAD_DELAY = True
COOKIES_ENABLED = True
ITEM_PIPELINES = {
   'jingdong.pipelines.JingdongPipeline': 300,
}
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'jingdong.middlewares.JdUserAgentMiddleware': 400,
}

二、Playwright + asyncio:高并发知乎热榜抓取

针对知乎热榜(https://www.zhihu.com/hot)动态加载特性,采用 Playwright + asyncio 实现并发抓取:

import asyncio
import re
from playwright.async_api import async_playwright
async def fetch_hotlist():
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        await page.goto('https://www.zhihu.com/hot')
        await page.wait_for_selector('.HotItem')
        items = await page.query_selector_all('.HotItem')
        results = []
        for item in items:
            title = await item.query_selector('.HotItem-title')
            content = await title.inner_text() if title else ''
            hot_value = await item.query_selector('.HotItem-hotScore')
            score = hot_value.inner_text() if hot_value else '0'
            results.append({'title': content.strip(), 'score': score.strip()})
        await browser.close()
        return results
if __name__ == '__main__':
    data = asyncio.run(fetch_hotlist())
    print(f"共采集 {len(data)} 条热榜信息")

三、数据清洗与入库:从原始数据到结构化存储

爬取数据常含 HTML 标签、空格、乱码等问题,需清洗处理:

入库示例(MySQL):

import pymysql
conn = pymysql.connect(host='localhost', user='root', passwd='123456', db='spider_db')
cursor = conn.cursor()
sql = "INSERT INTO products (title, price, comments) VALUES (%s, %s, %s)"
cursor.executemany(sql, [
    ('Python网络爬虫实战', '¥59.80', '1200+'),
    ('数据采集指南', '¥78.00', '850+')
])
conn.commit()
conn.close()

常见问题(FAQ)

Q1:为什么爬虫代码在本地能跑,部署到服务器就 403?

A:服务器常启用 IP 黑名单或 UA 校验。解决方法:

Q2:如何处理需要登录的网站?

A:推荐方案:

注意:禁止暴力破解密码,遵守网站服务协议。

Q3:Scrapy 与 Requests 性能对比?

A:

框架并发能力适用场景学习成本
Requests低(单线程)简单页面、低频任务低
Scrapy高(异步 IO)全站爬取、大规模数据中
Playwright中(多浏览器上下文)动态页面、模拟交互中高

Q4:如何避免被封 IP?

A:

资源下载与支持

本站提供以下 python网络爬虫代码下载 资源:

所有资源均经过实际项目验证,可直接复用。访问 www.xservx.com 获取最新资源。

技术交流群:QQ 群 87654321(备注“爬虫”)

商务合作:service@xservx.com(仅限授权数据采集服务)