memcached原理全面剖析

memcached会预先分配内存，memcached分配内存方式称之为allocator，
首先，这里有3个概念： 1 slab 　　2 page 　　3 chunk
一般来说一个memcahced进程会预先将自己划分为若干个slab，每个slab下又有若干个page，每个page下又有多个chunk，slab得数量是有限得，几个，十几个，或者几十个，这个跟进程配置得内存有关。而每个slab下得page默认情况是1m，也就是说如果一个slab占用100m得内存得话，那么默认情况下这个slab所拥有得page得个数就是100，而chunk就是我们得数据存放得最终地方。

stats slabs
-----------------------------
STAT 2:chunk_size 104
STAT 2:chunks_per_page 10082
STAT 2:total_pages 1
STAT 2:total_chunks 10082
STAT 2:used_chunks 12
STAT 2:free_chunks 74
STAT 2:free_chunks_end 9996
STAT 2:mem_requested 996
STAT 2:get_hits 0
STAT 2:cmd_set 31761
STAT 2:delete_hits 17
STAT 2:incr_hits 991
STAT 2:decr_hits 0
STAT 2:cas_hits 0
STAT 2:cas_badval 0
STAT 2:touch_hits 0
STAT 5:chunk_size 224
STAT 5:chunks_per_page 4681
STAT 5:total_pages 1
STAT 5:total_chunks 4681
STAT 5:used_chunks 29
STAT 5:free_chunks 13
STAT 5:free_chunks_end 4639
STAT 5:mem_requested 6496
STAT 5:get_hits 2954
STAT 5:cmd_set 297
STAT 5:delete_hits 10
STAT 5:incr_hits 0
STAT 5:decr_hits 0
STAT 5:cas_hits 0
STAT 5:cas_badval 0
STAT 5:touch_hits 0
.....
.....
STAT active_slabs 28
STAT total_malloced 63283664
-----------------------------
chunk_size表示数据存放块得大小，
chunks_per_page表示一个内存页page中拥有得chunk得数量，
total_pages表示每个slab下page得个数。
total_chunks表示这个slab下chunk得总数（＝total_pages * chunks_per_page），
used_chunks表示该slab下已经使用得chunk得数量，
free_chunks表示该slab下还可以使用得chunks数量。

从上面得示例slab 1一共有1m得内存空间，而且现在已经被用完了，slab2也有1m得内存空间，也被用完了，slab3得情况依然如此。而且从这3个slab中chunk得size可以看出来，第一个chunk为104b，第二个是224，基本上后一个是前一个得1.25倍，但是这个增长情况我们是可以控制得，我们可以通过在启动时得进程参数 f来修改这个值，比如说 f 1.1表示这个增长因子为1.1，那么第一个slab中得chunk为80b得话，第二个slab中得chunk应该是80*1.1左右。

memcached中新的value过来存放的地址是该value的大小决定的，value总是会被选择存放到chunk与其最接近的一个slab中，比如上面的例子，如果我的value是80b，那么我这所有的value总是会被存放到1号slab中，而1号slab中的free_chunks已经是0了，怎么办呢，如果你在启动memcached的时候没有追加-M（禁止LRU，这种情况下内存不够时会out of memory），那么memcached会把这个slab中最近最少被使用的chunk中的数据清掉，然后放上最新的数据。这就解释了为什么我的内存还有40%的时候LRU就执行了，因为我的其他slab中的chunk_size都远大于我的value，所以我的value根本不会放到那几个slab中，而只会放到和我的value最接近的chunk所在的slab中(而这些slab早就满了，郁闷了)。这就导致了我的数据被不停的覆盖，后者覆盖前者。

memcached server不能停啊，不要紧还有另外一个方法，就是memcached-tool，执行move命令，如：move 3 1，代表把3号slab中的一个内存页移动到1号slab中，有人问了，这有什么用呢，比如说我的20号slab的利用率非常低，但是page却又很多，比如200，那么就是200m，而2好slab经常发生LRU，明显page不够，我就可以move 20 2，把20号slab的一个内存页移动到2号slab上，这样就能更加有效的利用内存了

+++++++++++++++++++++++++++++++++++++++++++++++++++

其他参考文档：

巴特西

memcached原理全面剖析

Memcached 工作原理介绍

最新文章

热门文章