专为PHP开发者设计的全功能网络爬虫解决方案,支持HTTP/HTTPS、反反爬策略、动态渲染模拟、分布式调度与异步并发,适配电商数据采集、舆情监控、SEO分析、市场情报等核心业务场景。
立即体验内置对HTTP/1.1、HTTP/2、HTTPS的全栈支持,支持Keep-Alive长连接复用、Cookie自动管理、Gzip/Deflate自动解压,以及自定义请求头与代理池轮换,确保高并发抓取的稳定性。
基于DOMDocument与Symfony/DomCrawler构建的混合解析器,兼顾速度与容错性,支持XPath与CSS选择器双路径提取,精准定位动态注入节点。
针对主流网站(如京东、淘宝、知乎、微博)构建的定制化绕过方案,覆盖请求频率控制、IP代理池、行为模拟与JS执行层对抗。
轻量级任务调度器,支持优先级队列、去重指纹、失败重试、依赖注入,无缝对接Redis/Kafka消息中间件,实现千级QPS级并发抓取。
通过Swoole协程或ReactPHP异步事件驱动模型,突破PHP单线程限制,实现单进程千级并发,显著提升高延迟网站的吞吐量。
内置多种存储适配器,支持MySQL、PostgreSQL、MongoDB、Elasticsearch及文件系统,提供数据清洗、转换、去重与增量更新能力。
某跨境平台使用本框架构建商品比价系统,每日抓取京东、天猫、拼多多等平台超200万商品数据,实现价格波动预警、库存预警与新品发现。
核心实现逻辑如下:
// 初始化爬虫任务
$spider = new Spider([
'domain' => 'jd.com',
'max_depth' => 2,
'concurrency' => 16,
]);
// 商品列表页解析规则
$spider->addRule('/list.*', function($dom) {
return $dom->filter('.j-sku-item')->each(function($item) {
return [
'sku_id' => $item->attr('data-sku'),
'title' => trim($item->filter('.p-name')->text()),
'price' => $item->filter('.p-price')->text(),
'stock_status' => $item->filter('.stock-status')->text(),
];
});
});
// 商品详情页解析规则
$spider->addRule('/item/.*', function($dom) {
return [
'sku_id' => $dom->filter('#sku-name')->text(),
'brand' => $dom->filter('.p-brand')->text(),
'comments' => $dom->filter('#comment-count')->text(),
'score' => $dom->filter('.comment-score')->text(),
];
});
// 数据入库(MySQL)
$spider->on('finish', function($items) {
foreach ($items as $item) {
$db->replace('products', $item);
}
});
$spider->run(['https://list.jd.com/list.html?cat=9987,653,655']);
该方案日均处理请求180万次,数据完整率99.2%,价格更新延迟<15分钟。
某政府舆情系统集成本框架,实现对微博、微信公众号、新闻门户、论坛等200+信源的实时监测,支持关键词组合检索、情感分析与传播路径回溯。
关键技术点:
系统日均处理新闻稿12万篇、微博28万条,关键事件响应时间<2分钟。
某SEO服务商采用本框架构建网站体检系统,自动抓取目标站点的 robots.txt、sitemap.xml、内部链接结构、外链分布及关键词密度。
核心分析维度:
| 维度 | 采集内容 | 分析指标 |
|---|---|---|
| 页面结构 | H1~H6标签、Meta标签、Schema结构化数据 | 标题长度、关键词密度、内链数量 |
| 技术指标 | HTTP状态码、加载时间、CDN分布 | 404页面占比、首屏速度、TLS版本 |
| 内容质量 | 文本长度、图片ALT、视频描述 | 原创度评分、关键词位置分布 |
系统支持导出PDF报告,包含问题清单、优化建议与效果预测模型。
某咨询公司构建政策监测系统,每日自动抓取国家统计局、工信部、行业协会等官网的政策原文与解读,实现关键词标签化与关联关系挖掘。
特色功能:
系统已建立覆盖200+政策主题的标签体系,支持按行业/时间/地区多维度筛选。
以下为标准开发流程,适配PHP 7.4+环境,建议使用Composer管理依赖。
composer require phpspider/core:~2.0
<?php
require 'vendor/autoload.php';
use PhpSpider\Core\Spider;
use PhpSpider\Core\Task;
// 创建任务
$task = new Task();
$task->name = 'jd-product-scraper';
$task->url = 'https://list.jd.com/list.html?cat=9987,653,655';
$task->depth = 2;
$task->concurrency = 8;
// 注册解析器
$task->on('parse', function($dom, $url) {
// 列表页解析
if (strpos($url, '/list.html') !== false) {
$items = $dom->filter('.j-sku-item')->each(function($item) {
return [
'sku' => $item->attr('data-sku'),
'title' => trim($item->filter('.p-name')->text()),
'price' => $item->filter('.p-price')->text(),
];
});
// 保存数据
file_put_contents('products.json', json_encode($items, JSON_PRETTY_PRINT | JSON_UNESCAPED_UNICODE));
}
// 详情页解析
elseif (strpos($url, '/item/') !== false) {
return [
'sku' => $dom->filter('#sku-name')->text(),
'brand' => $dom->filter('.p-brand')->text(),
];
}
});
// 启动爬虫
$spider = new Spider($task);
$spider->run();
$task->headers = [
'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept-Language' => 'zh-CN,zh;q=0.9',
'Accept-Encoding' => 'gzip, deflate, br',
];
// 每次请求前随机等待0.5~2.5秒
$task->on('before_request', function($request) {
usleep(500000 + rand(0, 2000000));
});
// 代理池配置
$task->proxy_list = [
['ip' => '192.168.1.100', 'port' => 8080, 'type' => 'http'],
['ip' => '192.168.1.101', 'port' => 8080, 'type' => 'http'],
];
$task->proxy_rotate = true;
通过Redis作为中央任务队列,可部署多节点爬虫实例:
// 启动中央调度器(Redis)
$spider->useRedisQueue('spider:queue:jd', 'redis://127.0.0.1:6379');
// 工作节点(多台服务器)
while (true) {
$task = $spider->fetchTask();
if ($task) {
$spider->runTask($task);
}
usleep(100000); // 100ms轮询间隔
}
集成Prometheus指标采集:
$spider->on('metrics', function($metrics) {
// 推送至Prometheus Pushgateway
$client = new Client();
$client->post('http://pushgateway:9091/metrics/job/jd_scraper', [
'body' => "# TYPE spider_requests_total counter\nspider_requests_total {$metrics['requests']}\n"
]);
});
A:知乎对非浏览器请求实施严格风控。解决方案:①使用Puppeteer模拟真实浏览器行为;②在请求头中添加Cookie(需登录态);③降低请求频率至≤1次/秒;④使用代理IP轮换池。
A:检查以下三点:①是否在协程中创建了全局变量;②是否未及时释放DOM解析对象;③是否未设置协程超时。推荐使用`go(function() { ... })`包裹任务逻辑,并添加`Swoole\Coroutine::defer(function() { gc_collect_cycles(); })`。
A:典型场景如某电商的sign参数。解决方案:①逆向分析JS生成逻辑,用PHP重写加密算法;②使用PhantomJS/Puppeteer执行JS获取结果;③抓包分析参数规律,建立规则库自动匹配。
A:启用URL指纹去重:①在Task中设置`$task->dedup = true`;②使用布隆过滤器(BloomFilter)降低内存占用;③对重复URL记录添加`last_seen`时间戳,设置7天有效期自动过期。
A:推荐方案:①使用Cookie池(维护多个登录态);②模拟登录流程(POST账号密码);③使用Selenium自动完成登录;④对接第三方登录服务(如微博开放平台)。注意:避免频繁触发风控,建议登录后保留会话30分钟以上。