Java8 List 去重完全攻略
掌握Stream.distinct()、自定义对象去重以及Collectors.toMap等核心手段,覆盖网友最关心的内存安全与执行效率。
去重模式
性能提升案例
① 基础去重:distinct()
在Java8中,stream().distinct()依赖hashCode()和equals()。对于String、Integer等包装类可直接使用。
List<String> names = Arrays.asList("java","list","java","去重");
List<String> unique = names.stream().distinct().collect(Collectors.toList());
// 结果:[java, list, 去重]
⚡ 底层通过LinkedHashSet维持顺序,时间复杂度O(n)。
② 对象去重 · 按属性过滤
当List内为自定义对象时,需重写equals与hashCode,或使用TreeSet配合比较器。
📌 重写hashCode/equals
class User {
String id;
String name;
// 重写equals & hashCode 基于id
}
List<User> users = ...;
List<User> uniqueUsers = users.stream().distinct().collect(Collectors.toList());
✅ 适合全属性一致才视为重复的场景。
📌 Collectors.toMap 合并
Collection<User> values = users.stream()
.collect(Collectors.toMap(User::getId, Function.identity(), (a,b)-> a))
.values();
List<User> result = new ArrayList<>(values);
⚡ 按id保留第一个出现的对象,灵活度极高。
📌 筛选特定属性去重
List<User> distinctByName = users.stream()
.filter(distinctByKey(User::getName))
.collect(Collectors.toList());
// distinctByKey 需自定义Predicate维护Set
🔹 网友常用ConcurrentHashMap实现线程安全版本。
③ 性能对比与时间轴
不同Java8 List去重方案在10万条数据下的表现:
| 方案 | 耗时(ms) | 内存占用 |
|---|---|---|
| distinct() | ≈32 | 中等 |
| toMap | ≈28 | 较低 |
| TreeSet | ≈45 | 较高 |
④ 网友们还关心 · 深度问答
🔹 如何保留原始顺序?
distinct()默认保持遇见顺序,因为内部使用LinkedHashSet。若用toMap需指定LinkedHashMap。
🔹 去重后List为null?
流操作不会修改源数据,必须collect生成新集合。检查中间操作是否返回空流。
🔹 按多个字段去重
组合键:user.getId()+user.getDept()作为key,或使用TreeSet与Comparator.comparing。
🔹 并行流去重安全吗?
distinct()在并行流中是线程安全的,但自定义收集器需使用ConcurrentHashMap。
📋 实战卡片:去重并统计频次
Map<String, Long> freq = list.stream()
.collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
利用groupingBy不仅去重还能获得重复次数,常用于日志分析。
- ⚡ distinct() 适合简单去重
- ⚙️ toMap 适合按key保留对象
- 📊 TreeSet 可排序去重
另外,Guava库的ImmutableSet也能辅助去重,但Java8原生方案已足够覆盖95%场景。网友常搜索“java8 list去重并排序”,只需在流末尾添加.sorted()即可。
⑤ 高级模式:条件去重与惰性求值
在Java8中,流是惰性求值的,去重操作直到终端操作才执行。例如filter + distinct组合可以大幅减少遍历元素。
List<Integer> numbers = Arrays.asList(1,2,2,3,4,4,5);
List<Integer> evenDistinct = numbers.stream()
.filter(n -> n % 2 == 0)
.distinct()
.collect(Collectors.toList()); // [2,4]
⚠️ 注意:若先distinct再filter,顺序不同可能影响性能。建议先过滤再去重。
🔰 网友实测:对象去重最佳实践
很多开发者遇到Lombok的@Data自动生成equals,导致去重不符合预期。务必明确哪些字段决定唯一性。使用@EqualsAndHashCode.Include精确控制。
- ① 重写equals时遵循自反性、对称性。
- ② 配合HashSet去重时注意null元素。
- ③ Collectors.toCollection(TreeSet::new)可实现排序去重。
⑥ 周边知识:Stream与集合框架
Java8 List去重不仅是API调用,更涉及函数式接口、方法引用。例如ArrayList与LinkedList在去重后性能差异微小,但收集阶段指定Collectors.toCollection可优化。
| 收集器 | 输出类型 |
|---|---|
| Collectors.toList() | ArrayList |
| Collectors.toSet() | HashSet |
| Collectors.toCollection(LinkedList::new) | LinkedList |
⚡ 网友还关心“java8 list去重空指针”问题:流中包含null时,distinct会保留一个null,但自定义比较器需处理null安全。