围绕 java抓取网页数据 方法、工具、疑难及周边高频问题,汇集网民深度搜索需求。示例驱动,清晰可靠。
使用 java.net.URLConnection 或 Apache HttpClient 获取网页源码。
示例: HttpGet get = new HttpGet("https://httpbin.org/get");
Jsoup 是首选,支持 DOM/CSS选择器。抓取标题: doc.title() 。
利用选择器或正则 Pattern 提取指定内容,清洗后持久化。
〖 核心思路 〗:java如何抓取网页数据 本质是模拟浏览器发送请求,获得响应流,再用解析库抽取结构化信息。网民常问『 是否需要代理 』『 如何解析JSON 』等都在此范畴。
| 组件 | 特点 | 推荐场景 |
|---|---|---|
| HttpURLConnection | 原生, 轻量 | 简单GET |
| Apache HttpClient 5 | 连接池, 重试 | 高并发采集 |
| OkHttp | 高效, 支持HTTP2 | 移动端/微服务 |
| Jsoup.connect() | 内置解析 | 快速原型 |
▶ 设置 User-Agent 与超时:多数网站反爬基于UA,可模拟 Mozilla/5.0 。下面是一个简化版 HttpClient抓取 骨架:
CloseableHttpClient client = HttpClients.createDefault();
HttpGet httpGet = new HttpGet("https://www.xservx.com");
httpGet.setHeader("User-Agent", "Mozilla/5.0");
try (CloseableHttpResponse res = client.execute(httpGet)) {
String html = EntityUtils.toString(res.getEntity());
// 解析…
}
【网友们还关心】「 java抓取网页数据 如何携带cookie 」「 频繁抓取被封怎么办 」,一般通过 连接池 与随机延时缓解。
Elements links = doc.select("a[href]"); 抓取所有链接。国内常用 jsoup抓取 新闻列表。
String src = img.attr("src"); 可提取图片地址。
Jsoup.clean(html, Whitelist.basic()) 防止XSS。
【示例】抓取博客园首页标题:Document doc = Jsoup.connect("https://www.cnblogs.com").get();
然后 doc.select(".post-title a").eachText() 。
很多网站内容由JavaScript生成,直接HttpClient无法获取。方案:
【示例】通过抓取API:https://api.example.com/data 返回JSON,用 jackson 解析。
当HTML不规范且结构清楚时,正则更直接。常用 Pattern.compile("<title>(.*?)</title>") 。但要注意换行符。
网友关注: 「java如何抓取网页数据 使用正则提取表格」推荐在线调试工具。
String regex = "<span class=\"price\">([^<]+)</span>"; Pattern p = Pattern.compile(regex); Matcher m = p.matcher(html); if(m.find()) System.out.println(m.group(1));
常见BIG5、GBK。Jsoup会自动检测meta charset,也可手动指定: Jsoup.connect(url).charset("GBK") 。
【高发错误】ISO-8859-1 读取中文。转换:new String(bytes, "UTF-8") 。
java抓取网页 常配合 HttpComponents。多数教程基于4.x。
CSS选择器简洁,成为解析首选。
Playwright / Selenium 兴起,应对SPA站点。
利用大模型结构化数据。
先模拟POST登录,获取cookie并添加到后续请求。可使用 HttpClient 的 setCookieStore 。
多线程+连接池+延迟控制。注意遵守robots.txt。
循环遍历page参数,注意递归终止条件。
定时任务(Quartz/Spring @Scheduled)重新抓取比对哈希。
Json / CSV / 数据库。推荐使用MyBatis批量插入。
第三方打码 / 机器学习OCR / 手动绕过。
〓 附加: 抓取时经常遇到 java.net.SocketTimeoutException,设置连接超时与读取超时,示例: RequestConfig.custom().setConnectTimeout(5000) 。
某电商监控抓取:使用 java如何抓取网页数据 实现竞品价格监控。每日抓取约5万条商品信息。
常见反爬:频率限制、动态token、指纹检测。解决方案:随机UA池 + 代理IP轮换。
WebMagic 国内常用, 注解式开发。结合XPath。还有 Crawler4j 。
doc.select("img[src]").stream().map(i->i.attr("src"))
用 HttpClient 直接请求, 用Jackson.
广度优先+去重。使用HashSet保存URL。
利用 PrintWriter 写入,逗号分隔。
HttpPost 添加 NameValuePair 。
Rome库或Jsoup抓取XML。
➡ 更多深度关联:java如何抓取网页数据 也适用于新闻聚合、舆情分析,常与 Elasticsearch 整合。