17370845950

Go处理大文件需流式读写、分块处理与合理缓冲，核心是“稳”和“省”；用bufio.Reader/Writer减少系统调用，Seek+ReadAt支持随机访问，并发数宜设2～4以避免I/O瓶颈。

Go 语言处理大文件的核心思路是避免一次性加载到内存，改用流式读写、分块处理和合理缓冲。关键不是“快”，而是“稳”和“省”——不 OOM、不卡死、可中断、可监控。

使用 bufio.Reader/Writer 分块读写

默认的 os.File.Read 是系统调用直读，效率低且不可控。用 bufio.Reader 可自定义缓冲区（如 64KB～1MB），减少系统调用次数，提升吞吐量。

示例：逐行读取超大日志文件（不爆内存）

f, _ := os.Open("huge.log")
defer f.Close()
reader := bufio.NewReaderSize(f, 1<<20) // 1MB buffer
for {
    line, err := reader.ReadString('\n')
    if err == io.EOF { break }
    if err != nil { log.Fatal(err) }
    processLine(line) // 自定义处理逻辑
}

按偏移量 Seek + 固定大小 ReadAt/WriteAt

适合需要随机访问或并行处理的场景（如分片上传、断点续传）。绕过文件指针移动开销，直接定位读写。

• 用 file.ReadAt(buf, offset) 替代 file.Read()
• 多个 goroutine 可安全并发读不同 offset 区域（注意 buf 隔离）
• 写入时建议先写临时文件，成功后再 os.Rename 原子替换

内存映射（mmap）适用于只读或频繁随机访问

通过 syscall.Mmap（Unix）或 golang.org/x/sys/windows（Windows）将文件映射为内存区域，零拷贝访问。但注意：

• 不适用于超大文件（如 >10GB）且物理内存不足时，可能触发频繁 swap
• Go 运行时 GC 不管理 mmap 内存，需手动 Munmap
• 跨平台需封装，推荐用现成库如 github.com/edsrzf/mmap-go

流式处理 + context 控制生命周期

大文件操作常需支持超时、取消、进度反馈。把 context.Context 传入处理链路：

• 用 ctx.Done() 检查是否被取消
• 配合 time.AfterFunc 或 context.WithTimeout 设置单次读取上限
• 每处理 N KB 触发一次回调，用于打日志或更新进度条

基本上就这些。不复杂但容易忽略的是：别迷信“并发越多越快”——磁盘 I/O 本质是串行瓶颈，goroutine 数量建议设为 2～4，再高反而因调度和锁争用拖慢整体速度。