go 语言实际内存、虚拟内存怎么分配,延迟归还是什么机制?本文结合监控对内存管理进行了观测。
深入学习golang对于内存的管理机制
问题引入
现象:在实际工作项目中,golang项目经常内存报警,现象为在流量增大,或传入很大文件的情况下算法worker内存降低到一定限度之后(100Mb左右),过一段时间才能内存才能自动恢复。
- Go内存管理机制,Go自己本身会管理内存,释放的内存不会立即归还给操作系统,在一定时间之后才会归还给操作系统,过早的释放内存归还给操作系统会降低性能。
-
内存泄漏,Go调用CGO算法模块时,导致了内存泄漏
-
进程占用的内存过大导致进程挂掉,并释放了内存,supervisor自动重启了进程,内存曲线恢复正常
几个基本概念
RSS,VSS解释
对于RAM内存的使用,实际是os kernel来控制的。
- RSS(Resident Set Size)表示该进程分配的占用RAM的内存大小,不包括交互分区内存,包括共享库占用的内存,栈内存,堆内存
-
VSZ(Virtual Memory Size)表示该进程分配的虚拟内存大小,包括进程可以访问的所有内存,包括交换分区,共享内存
举例说明RSS,VSS:
如果一个进程,程序的大小有 500K,链接的共享库大小有 2500K,堆栈内存共有 200K,其中 100K 进入了交换分区。进程实际加载了共享库中的 1000K 的内容,以及自己程序的中的 400K 的内容。请问 RSS 和 VSZ 应是多少?RSS: 400K + 1000K + 100K = 1500K VSZ: 500K + 2500K + 200K = 3200K
Go内存管理机制
Go runtime内存延迟归还
Go是一种高级语言,自带GC。内存的分配和回收都是自动的被垃圾回收器所执行,当某个对象内存变成不可达状态时(unreachable)。垃圾回收器则将其回收。
Go中空闲的内存,并不意味着立即归还给操作系统。空闲的内存可以被重新利用。因此Go语言中,即使某些对象被释放了,操作系统的内存使用并没有下降。这是因为Go的内存管理器,将其标为free,并可以重新利用。
Go runtime不会立刻归还内存给操作系统,内存在大约5分钟左右没有被使用时,才会归还给操作系统。
例如:在处理Http请求时读取HttpBody到Bytes.Buffer中,处理完HttpBody的内容之后,并不会立刻释放内存给OS,而是将这些内存对下一个Http请求进行内存的复用。
编写如下:简单的http服务,并使用ab进行压测可以验证Go gc的延迟归还内存给操作系统:
func main() {
http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) {
fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path))
})
http.ListenAndServe(":8010", nil)
fmt.Println("hello")
}
1. 初始
$ ps -p 563 -v
PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND
563 pts/19 SNl 0:27 0 2100 359203 3480 0.1 ./http
2. 压测后:ab -n 1000000 -c 1000 http://10.104.7.46:8010/bar
$ ps -p 563 -v
PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND
563 pts/19 SNl 0:27 0 2100 359203 12908 0.1 ./http
3. 5min后
$ ps -p 563 -v
PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND
563 pts/19 SNl 0:27 0 2100 359203 4816 0.0 ./http
可以看到RSS由3480到12908在到4816,结合free -m可以看到内存一样的变化,因此验证了golang的内存管理的延迟归还特性。
强制归还内存
debug.FreeOSMemory()
该函数强制尽可能多的将内存归还给操作系统。不推荐手动调用释放内存,FreeOSMemory
的操作在后台进程runtime来负责执行,定期归还内存给操作系统。
转自:
dreamgoing.github.io
本文链接:http://www.yunweipai.com/40876.html