百度地图作为国内权威的地理信息平台,每日承载超2亿次定位请求,覆盖全国99%以上的行政区划与POI(Point of Interest)数据,包括餐饮、酒店、加油站、医院、学校等超1.2亿个兴趣点。这些数据对市场调研、竞品分析、城市规划、出行服务等具有极高价值。
然而,百度地图官方API存在严格限制:
因此,通过Python爬虫绕过部分限制,实现批量、自动化数据采集,已成为技术团队的常见策略——尤其适用于非商业用途或数据补充场景。
本方案采用“Python爬虫百度地图”三位一体架构:
| 模块 | 技术选型 | 作用 |
|---|---|---|
| 请求层 | requests + urllib3 + fake-useragent | 模拟浏览器请求,规避基础反爬 |
| 解析层 | lxml + re + json | 解析HTML/JS响应,提取结构化数据 |
| 调度层 | threading + queue + asyncio | 并发控制,提升采集效率 |
| 存储层 | MySQL + Redis + CSV | 数据持久化与去重 |
| 可视化 | PyECharts + Folium + GeoPandas | 地图渲染与空间分析 |
官方提供15类API,最常用于数据采集的包括:
【示例】POI检索请求结构
https://api.map.baidu.com/place/v2/search?query=加油站
&bounds=39.915,116.404,39.975,116.464
&output=json&ak=YOUR_AK&page_size=20&page_num=0
返回JSON包含:name、location(经纬度)、address、telephone、detail_url等字段。
⚠️ 注意事项:
通过分析百度地图前端页面(如map.baidu.com),发现其搜索接口实际调用的是:
http://map.baidu.com/search?qt=s&wd=酒店&c=131&wd2=&pn=0&nn=20
该接口无需AK,返回HTML或JSONP,但含加密参数(如tk、u)。经逆向可提取加密逻辑:
getTk函数(基于token与时间戳生成);tk并拼接URL。【实战代码】tk生成算法模拟
经测试,该方案可突破AK绑定限制,单日稳定采集5万+条POI数据(需配合代理IP)。
为避免单一源数据偏差,可交叉验证以下平台:
【案例】文库关键词挖掘
在百度搜索:site:wenku.baidu.com "百度地图 搜不到 餐厅",发现大量用户反馈:
→ “百度地图漏标了XX路新开了XX火锅”
→ “XX小区旁的快递柜没在地图显示”
此类信息可作为POI补充采集的线索库,极大提升数据覆盖率。
目标:采集北京市五环内所有加油站(关键词:加油站),分区域切割,避免单次查询超限。
【核心代码】
单线程采集4000网格需约3小时,改用线程池可提升至20分钟内:
采集结果可导出为:
【PyECharts热力图示例】
生成文件可在浏览器中交互查看热力分布(如下图示意):
tk、u等加密字段;| 反爬手段 | 应对策略 | 效果 |
|---|---|---|
| UA检测 | 使用fake-useragent随机生成UA | ✅ 95%有效 |
| Referer | 添加header: "Referer: http://map.baidu.com" | ✅ 必要时启用 |
| IP限流 | 使用代理IP池(如快代理、阿布云) | ✅ 高频采集必备 |
| 动态参数 | JS逆向提取加密逻辑(见API章节) | ✅ 可绕过 |
| 滑块验证 | 接入打码平台(如2Captcha)+ Selenium自动识别 | ⚠️ 成本较高 |
建议添加以下监控指标:
【监控代码片段】
地图数据存在三套坐标系,混淆将导致位置偏移数百米:
偏移示例:
天安门广场(WGS84):39.9155°N, 116.4039°E
→ GCJ-02:39.9170°N, 116.4117°E(偏移约800米)
→ BD09:39.9232°N, 116.4185°E(再偏移约700米)
百度坐标转WGS84需两步:
【Python实现】
为确保转换准确性,建议:
【误差统计示例】
| 地标 | 实测WGS84 | 转换结果 | 误差(米) |
|---|---|---|---|
| 天安门广场 | 39.9155,116.4039 | 39.9158,116.4042 | 38 |
| 北京西站 | 39.8952,116.3221 | 39.8955,116.3225 | 41 |
| 首都机场 | 40.0799,116.6031 | 40.0802,116.6034 | 35 |
结论:本算法误差稳定在30~50米,满足大多数业务需求。
适用于展示POI密度分布,关键代码:
生成可缩放的HTML地图,支持点击弹窗:
生成文件可直接在浏览器打开,点击加油站图标显示名称与地址。
用于计算POI与行政区的交叉关系:
输出示例:
海淀区 284
朝阳区 212
丰台区 176
西城区 145
东城区 128
根据《网络安全法》及《数据安全法》:
robots.txt禁止爬取的路径不得采集。实操建议:
/robots.txt;User-Agent: PythonBot (+https://www.xservx.com/);progress.json),中断后从断点继续。【断点续爬示例】
原始数据常含:重复项、乱码、坐标异常(如经度>180°)
【清洗流程】
(name, address, lat, lon)组合去重;lat ∉ [−90,90]或lon ∉ [−180,180];【清洗代码】