网络爬虫(Web Crawler)是自动化抓取互联网信息的核心技术手段。作为Java开发者,掌握爬虫技术不仅意味着具备数据采集能力,更意味着理解HTTP协议、浏览器行为、反爬机制及数据合规性等多维知识体系。
在本教程中,我们将以Java爬虫技术教程为主线,结合真实业务场景,系统讲解从基础HTML解析到分布式架构设计的完整技术栈。内容覆盖:Jsoup结构化解析、HttpClient请求控制、Selenium动态渲染、WebMagic框架实战、Redis+Kafka消息队列调度、Elasticsearch数据存储等。
特别强调:爬虫开发必须严格遵守《网络安全法》《数据安全法》及网站Robots协议。合法爬取应遵循以下原则:
- 尊重Robots.txt协议(robots.txt)中的禁止条款
- 控制请求频率,避免对目标服务器造成压力
- 不绕过身份验证或加密保护措施
li>不采集涉及个人隐私、商业秘密或国家秘密的数据
例如:某公司因使用爬虫大量抓取竞争对手的公开商品价格数据并用于商业比价,被法院认定为不正当竞争,判赔50万元。而另一企业仅爬取政府公开招标公告(符合robots.txt且为公开信息),并设置2秒请求间隔,则被认定为合法行为。
任何爬虫的第一步都是模拟浏览器发送HTTP请求。Java中常用工具包括java.net.HttpURLConnection、Apache HttpClient及OkHttp。其中HttpClient因支持连接池、Cookie管理、代理切换等高级特性,成为生产环境首选。
请求头构造关键字段:
| 字段 | 作用 | 典型值 |
|---|---|---|
| User-Agent | 标识客户端类型 | Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 |
| Accept-Language | 指定语言偏好 | zh-CN,zh;q=0.9,en;q=0.8 |
| Referer | 来源页面(防防盗链) | https://www.example.com/list |
| Cookie | 维持登录状态 | sessionid=abc123; _ga=GA1.2... |
以下是一个完整的HttpClient请求示例:
CloseableHttpClient client = HttpClients.createDefault();
HttpGet request = new HttpGet("https://www.example.com/api/data");
request.addHeader("User-Agent", "Mozilla/5.0 (Java crawler)");
request.addHeader("Referer", "https://www.example.com/");
try (CloseableHttpResponse response = client.execute(request)) {
String html = EntityUtils.toString(response.getEntity(), "UTF-8");
// 使用Jsoup解析
Document doc = Jsoup.parse(html);
Elements items = doc.select(".item-title");
for (Element e : items) {
System.out.println("标题:" + e.text());
}
}
响应内容类型处理:
Content-Type: text/html → HTML页面,使用Jsoup解析Content-Type: application/json → JSON数据,直接反序列化Content-Type: application/octet-stream → 文件流(如PDF、图片),需下载保存Transfer-Encoding: chunked → 分块传输,HttpClient自动处理页面解析是爬虫的核心环节。Jsoup支持CSS选择器语法,兼容jQuery风格,极大提升开发效率:
div.content → class为content的divul.list > li:nth-child(2) → ul下第2个lia[href*=login] → href包含login的链接[data-id^=item] → data-id以item开头的元素对于复杂结构,可结合XPath(需配合jsoup-xpath扩展)或正则表达式辅助提取。
典型反爬应对案例:
某网站将关键数据以Unicode编码形式嵌入HTML,如测试(“测试”),此时需先解码再解析:
String html = EntityUtils.toString(response.getEntity());
// 使用HTMLDecoder解码
String decoded = HTMLDecoder.decode(html, "UTF-8");
Document doc = Jsoup.parse(decoded);
另一种常见方式是将数据写入JavaScript变量,如:var DATA = {"title":"..."}。此时需提取该变量并解析JSON:
String script = doc.select("script").stream()
.filter(s -> s.html().contains("var DATA ="))
.findFirst()
.orElseThrow()
.html();
String jsonStr = script.substring(script.indexOf("{"), script.lastIndexOf("}") + 1);
DataBean data = new Gson().fromJson(jsonStr, DataBean.class);
Jsoup是Java中最流行的HTML解析库,核心优势在于:
典型应用场景:
代码示例:
Document doc = Jsoup.connect("https://news.example.com")
.userAgent("Mozilla/5.0")
.timeout(5000)
.get();
Elements news = doc.select("li.news-item a");
for (Element e : news) {
String title = e.text();
String url = e.absUrl("href");
System.out.println(title + " → " + url);
}
Apache HttpClient是Java中功能最全面的HTTP客户端,支持:
连接池配置示例:
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
cm.setMaxTotal(200); // 最大连接数
cm.setDefaultMaxPerRoute(20); // 每路由最大连接数
CloseableHttpClient client = HttpClients.custom()
.setConnectionManager(cm)
.build();
会话保持(登录后保持Cookie):
CookieStore cookieStore = new BasicCookieStore();
CloseableHttpClient client = HttpClients.custom()
.setDefaultCookieStore(cookieStore)
.build();
// 先请求登录页获取Cookie
HttpGet loginPage = new HttpGet("https://example.com/login");
client.execute(loginPage);
// 再提交表单登录
HttpPost loginPost = new HttpPost("https://example.com/login");
// ... 设置表单参数
client.execute(loginPost);
// 此后请求将自动携带登录Cookie
当页面内容通过JavaScript动态加载(如SPA应用、AJAX请求)时,Jsoup无法直接获取数据,此时需借助Selenium模拟真实浏览器行为。
核心组件:
Java集成Selenium步骤:
<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId></dependency>System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver");
ChromeDriver driver = new ChromeDriver();
driver.get("https://dynamic.example.com");
// 显式等待元素加载
WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(10));
wait.until(ExpectedConditions.presenceOfElementLocated(By.cssSelector(".data-content")));
// 获取动态内容
String content = driver.findElement(By.cssSelector(".data-content")).getText();
driver.quit();
性能优化建议:
WebMagic是国产开源爬虫框架,提供完整的爬虫生命周期管理:
简单爬虫实现:
Spider.create(new PageProcessor() {
@Override
public void process(Page page) {
page.putField("title", page.getHtml().css("h1.title", "text"));
page.putField("content", page.getHtml().css("div.content", "text"));
// 提取新URL
page.addTargetRequests(page.getHtml().links().regex(".*article/.*").all());
}
})
.addUrl("https://example.com/list")
.addPipeline(new ConsolePipeline()) // 输出到控制台
.thread(5) // 5线程并发
.run();
自定义Pipeline存入MySQL:
public class MySQLPipeline implements Pipeline {
private Connection conn;
public MySQLPipeline() {
// 初始化数据库连接
}
@Override
public void process(ResultItems result, Task task) {
String title = result.get("title");
String content = result.get("content");
try (PreparedStatement ps = conn.prepareStatement(
"INSERT INTO articles(title, content) VALUES(?, ?)")) {
ps.setString(1, title);
ps.setString(2, content);
ps.executeUpdate();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
主流网站反爬策略可分为四层:
案例:应对请求频率限制
某网站对每IP每分钟请求次数限制为30次。解决方案:
Thread.sleep(2000 + Math.random()*3000)实现随机延迟public String fetchWithRetry(String url) {
int retry = 0;
while (retry < 3) {
try {
Thread.sleep(2000 + (long)(Math.random() * 3000));
return Jsoup.connect(url).timeout(5000).get().html();
} catch (Exception e) {
retry++;
if (retry == 3) throw new RuntimeException("请求失败", e);
}
}
return null;
}
案例:处理JavaScript混淆数据
某网站将API地址加密为eval(atob("..."))格式。解决步骤:
String encoded = "YXhpb3MuZ2V0KCdodHRwczovL2FwaS5leGFtcGxlLmNvbS9kYXRhJyk7";
String decoded = new String(Base64.getDecoder().decode(encoded));
// decoded = "axios.get('https://api.example.com/data');"
案例:应对验证码(图形/滑块)
对于简单图形验证码,可使用Tesseract OCR识别;滑块验证码需模拟人类拖动轨迹(非线性运动)。但需注意:过度模拟可能被识别为机器人,建议优先通过API申请白名单。
当数据量增大时,单机爬虫面临瓶颈:
分布式架构核心组件:
Redis调度方案:
// 添加URL到队列(去重)
jedis.sadd("spider:urls:pending", url);
// 提取URL
String url = jedis.spop("spider:urls:pending");
// 标记已处理
jedis.sadd("spider:urls:processed", url);
数据存储优化:
articles_202406)以电商价格监控为例,需实现:
技术实现:
// Kafka消费者代码片段
@KafkaListener(topics = "product-added")
public void handleProductAdded(ProductEvent event) {
String url = "https://shop.com/product/" + event.getProductId();
scheduler.push(url, "product");
log.info("已添加爬取任务:" + url);
}
需求:抓取主流新闻网站头条、社会、科技分类,构建本地新闻库
技术栈:WebMagic + Elasticsearch + Kibana
关键实现:
/news/society?page={n})article_id)去重| 字段 | 类型 | 说明 |
|---|---|---|
| title | text | 标题(分词分析) |
| content | text | 正文(去除HTML标签) |
| pub_time | date | 发布时间(ISO8601格式) |
| source | keyword | 来源网站 |
效果:日均抓取10万篇新闻,全文检索延迟<200ms
需求:采集职位信息,分析薪资分布与技能要求
挑战:动态加载+反爬
解决方案:
API接口分析:
通过浏览器开发者工具发现职位列表数据来自:
https://job.example.com/api/v1/jobs?city=beijing&keyword=java&page=1
该接口返回JSON数据,包含职位详情。直接请求该API可大幅提升效率:
String json = Jsoup.connect(url)
.header("Authorization", "Bearer xxx")
.ignoreContentType(true)
.execute()
.body();
List jobs = new Gson().fromJson(json, JobList.class).getData();
数据可视化:使用Elasticsearch聚合分析: