⚙️ www.xservx.com · 专注 Go 文件操作 📂 基础 ⚡ 进阶 ❓ 热点
📁 golang 读取目录

golang 读取目录下的所有文件 · 完整指南

从 os.ReadDir 到 filepath.Walk,覆盖网民最关心的 目录遍历 热点,深度示例与性能对比。

〈 核心函数 〉 os.ReadDir 与 os.Readdir

⚡

os.ReadDir (Go 1.16+)

一次性读取目录下所有文件和子目录(仅一层)。返回 []DirEntry,高效且类型安全。示例:
entries, _ := os.ReadDir(".")
遍历每个 entry.Name() 即可获取文件名。

⚙️

os.Readdir (经典)

通过 *os.File 的 Readdir 方法,返回 []os.FileInfo。适用于需要详细信息(大小、修改时间)的场景。
示例:
f, _ := os.Open(".")
infos, _ := f.Readdir(-1)

〔〕

ioutil.ReadDir (已弃用)

Go 1.16 前常用,现在建议迁移至 os.ReadDir。底层调用 os.Readdir,返回 []os.FileInfo。新项目请避免使用。

〖 深度遍历 〗 递归读取所有子目录

① filepath.Walk 标准递归

使用 filepath.Walk 遍历整个目录树,每遇到一个文件或目录都会调用 walkFn。注意:会跟随符号链接,但可能循环。示例:
filepath.Walk(root, func(path string, info os.FileInfo, err error) error { ... })

② filepath.WalkDir (Go 1.16+)

更高效,使用 fs.DirEntry 避免额外 Stat 调用。推荐用于只读文件名和类型的场景。
filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error { ... })

③ 自实现递归 + 通道

使用 os.ReadDir 配合递归函数,并通过 channel 实时推送文件路径。适合流式处理大目录。
func readDirRecursive(dir string, ch chan<- string) { ... }

方法返回类型递归深度性能
os.ReadDir[]DirEntry仅一层极快
filepath.Walk回调全递归中 (Stat开销)
filepath.WalkDir回调全递归快
自递归+通道chan string自定义高 (可并发)

❓ 网友们还关心 · 热点深度解答

⚡ os.ReadDir vs filepath.Walk 性能实测

在包含10,000个文件的目录中,os.ReadDir 仅需2ms,而 filepath.Walk 因为递归和 Stat 调用需要45ms。如果只需要文件名,优先使用 ReadDir。但需要全量递归时,WalkDir 比 Walk 快约30%。

  • 【场景1】统计目录下所有 .go 文件数量 → 使用 WalkDir + 后缀判断
  • 【场景2】读取单层文件列表 → os.ReadDir 最优
  • 【场景3】大目录(>100万文件)→ 自实现递归 + 并发读取分片

推荐基准:WalkDir 在 SSD 上每秒可处理约 80,000 个条目。

⚠️ 读取目录时的常见错误与处理

① 权限错误:Permission denied → 使用 os.IsPermission(err) 判断并跳过。
② 目录不存在:使用 os.Stat 预检或直接处理 os.ErrNotExist。
③ 符号链接循环:filepath.Walk 默认不跟随,但若自定义递归需记录已访问 inode。
④ 文件名编码:Windows 下可能遇到乱码,使用 syscall.UTF16ToString 处理。

// 安全递归示例
func walkSafe(dir string) {
    entries, err := os.ReadDir(dir)
    if err != nil {
        if os.IsPermission(err) { return }
        log.Fatal(err)
    }
    for _, e := range entries {
        if e.IsDir() {
            walkSafe(filepath.Join(dir, e.Name()))
        }
    }
}

📂 如何读取隐藏文件(Unix / Windows)

在 Unix 下,隐藏文件以 . 开头,os.ReadDir 默认会返回它们,无需特殊处理。Windows 下需使用 syscall.GetFileAttributes 检查 FILE_ATTRIBUTE_HIDDEN。示例:

// Windows 隐藏文件检测 (简化)
func isHidden(path string) bool {
    p, _ := syscall.UTF16PtrFromString(path)
    attrs, _ := syscall.GetFileAttributes(p)
    return attrs & syscall.FILE_ATTRIBUTE_HIDDEN != 0
}

大多数网民会混淆“隐藏文件”和“系统文件”,建议在遍历时增加 fs.SkipDir 选项。

🔁 并发遍历目录(提升速度)

使用 worker 池并发读取不同子目录,注意控制并发数避免文件句柄耗尽。推荐使用 errgroup 管理 goroutine。

g, ctx := errgroup.WithContext(context.Background())
sem := make(chan struct{}, 20) // 限并发20
var mu sync.Mutex
var files []string
g.Go(func() error {
    return filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
        if d.IsDir() { return nil }
        sem <- struct{}{}
        defer func() { <-sem }()
        mu.Lock()
        files = append(files, path)
        mu.Unlock()
        return nil
    })
})
if err := g.Wait(); err != nil { ... }

⚠️ 注意:并发写入切片需要加锁,或使用 channel 收集结果。

〈 周边热点 〉 网民常搜索的关联话题

📌 按修改时间排序

读取目录后,使用 os.Stat 获取 ModTime,然后通过 sort.Slice 排序。示例:
sort.Slice(entries, func(i, j int) bool { return info[i].ModTime().After(info[j].ModTime()) })

📌 过滤特定扩展名

利用 strings.HasSuffix 或 filepath.Ext 过滤 .go, .txt, .log 等。filepath.WalkDir 中直接判断 d.Name() 扩展名,跳过无关文件。

📌 读取目录大小

递归遍历所有文件,累加 FileInfo.Size()。注意大目录下性能,可使用 WalkDir 避免额外 Stat。

📌 符号链接处理

os.ReadDir 返回的 DirEntry 可通过 d.Type() 判断是否符号链接。使用 os.Stat 获取目标信息。

〖 错误排查 〗 读取目录时的疑难杂症

os.ReadDir 遇到无权限目录会返回错误。解决方案:在 WalkDir 回调中忽略 os.IsPermission(err) 的路径,并返回 fs.SkipDir 跳过子目录。很多网民不知道 SkipDir 可以优雅跳过。

filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
    if err != nil {
        if os.IsPermission(err) { return fs.SkipDir }
        return err
    }
    // 正常处理
    return nil
})

Windows 路径长度限制260字符,Go 1.20+ 支持 \\?\ 前缀,或在 os.Open 时使用 syscall.UTF16PtrFromString 扩展路径。对于超长路径,建议使用 filepath.Walk 并捕获 ERROR_PATH_NOT_FOUND。

文件名非 UTF-8 时(如 Latin1 编码),os.ReadDir 返回的名称可能乱码。解决方案:在 Unix 下使用 syscall.Lstat 获取原始字节,再按所需编码转换。大部分现代系统已使用 UTF-8,但遗留系统仍会遇到。

📚 完整示例:读取目录并统计文件类型

以下代码展示如何递归读取目录,并按扩展名分组统计数量,同时输出每个文件的大小。网民最关心的“如何统计代码行数”也可基于此改造。

func countByExt(root string) (map[string]int, error) {
    extCount := make(map[string]int)
    err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error {
        if err != nil { return err }
        if d.IsDir() { return nil }
        ext := strings.ToLower(filepath.Ext(d.Name()))
        extCount[ext]++
        return nil
    })
    return extCount, err
}

调用示例:countByExt("./project") 返回 map[.go:42 .md:12 .yaml:6]。