全球觀熱點:memcached使用中踩的一些坑
線上啟用memcached(以下簡稱mc)作為熱點緩存組件已經多年,其穩定性和性能都經歷住了考驗,這里記錄一下踩過的幾個坑。
大key存儲某年某月某日,觀察mysql的讀庫CPU占比有些異常偏高,去check慢查詢log,發現部分應有緩存的慢sql居然存在幾秒執行一次情況,不符合緩存數小時的代碼邏輯。查看業務log在每次查詢sql之后也確實有將結果set至mc之中:
# python代碼mc.set(cache_key, v, 3600)
而set返回的取值卻是False而非正常的True,很快想到mc著名的只可存儲不超過1MB大小的key限制,在以往的業務場景中沒有出現過這么大的key,所以一直沒達到過這個限制,直到這一次撞上。要解決超過1MB大小的key存儲問題有以下幾個思路:
(相關資料圖)
想辦法將cache結果變小換個cache組件mc >=1.4.2 版本其實已經支持命令行參數-I指定最大key大小了,線上使用版本支持最小1KB最大128MB的設置將大key拆分為幾個子key,通過set_multi和get_multi實現統一的讀寫。無論是通過2或3都可以支持更大的key存儲,但是更大的key存儲對于讀寫傳輸其實都更不友好,而思路4需要手動拆分、組裝子key略顯麻煩,所以優先從思路1著手,意外發現python使用的memcached庫其實提供了key壓縮功能,在寫入時指定min_compress_len參數即可:
mc.set(key, v, time=expires, min_compress_len=1024)
如上表示寫入的v對象序列化大小若>=1024則啟用壓縮存儲,庫底層會將其壓縮后再寫入mc,讀取時庫底層也會自動解壓縮后再返回,業務層可以說完全無感,并且壓縮后還能極大降低存儲和傳輸成本。最終通過min_compress_len參數啟用大key壓縮后,原1MB大小的key直瘦身了4/5。
slab鈣化啟用大key壓縮后mc度過了好一段歲月靜好的日子,直到某一天...
大規模key分布變動導致的鈣化查看zabbix上的相關監控,發現mc的key查詢miss比例居然接近50%!這個緩存命中率著實讓人深思,進一步check后發現同時異常的指標還有evicted items數,日常取值居然可以達到數百/S的級別。mc官方文檔對evicted items的定義如下:
evicted Number of times an item had to be evicted from the LRU before it expired.
即存儲的key在其實際過期前被從LRU強制清理了,這一般說明mc剩余可分配內存不足了,所以新key寫入時只能先從LRU淘汰一部分key騰出空間后再給新key使用,但是查看mc的內存使用率,明明還有超過>2GB的剩余內存可用。最終調查后真相大白:mc明明剩余大量內存可用,寫入新key卻不斷導致舊key被提前清除的現象其實是mc特有的slab鈣化問題所致:
Memcached采用LRU(Least Recent Used)淘汰算法,在內存容量滿時踢出過期失效和LRU數據,為新數據騰出內存空間。不過該淘汰算法在內存空間不足以分配新的Slab情況下,這時只會在同一類Slab內部踢出數據。即當某個Slab容量滿,且不能在內存足夠分配新的Slab,只會在相同Slab內部踢出數據,而不會挪用或者踢出其他Slab的數據。這種局部剔除數據的淘汰算法帶來一個問題:Slab鈣化。
簡單來說memcached 使用的不同尺寸slab一旦分配完成就不可變了,所以如果某類slab已用盡,即便其他slab剩余大量空閑內存也無法再對其加以利用。業務這邊之前對使用mc的部分緩存key進行了整合優化,在優化之前單mc的全部5GB內存均已根據key存儲情況分配給了特定的slab,而優化之后大大降低了小key的數量,取而代之的是相對更緊湊的大key,key的數量和大小分布都發生了顯著的變化,于是原有的適用于大量小key的slab分配就無法滿足優化后的key存儲了。最終體現為,中等大小的slab內存已被耗盡,每次寫入新key只能先通過LRU淘汰部分舊key騰出空間,體現為evicted數異常偏高,并且直接影響了緩存命中率,而小尺寸的slab卻長期大量空閑,體現為mc內存使用剩余空間一直充足。網上檢索解決鈣化問題有三個辦法:
1) 重啟Memcached實例,簡單粗暴,啟動后重新分配Slab class,但是如果是單點可能造成大量請求訪問數據庫,出現雪崩現象,沖跨數據庫。2) 隨機過期:過期淘汰策略也支持淘汰其他slab class的數據,twitter工程師采用隨機選擇一個Slab,釋放該Slab的所有緩存數據,然后重新建立一個合適的Slab。3) 通過slab_reassign、slab_authmove參數控制。
方法2看上去應是twitter的定制版mc Twemcache的特有功能,方法3則是線上mc已支持的方案,但首次接觸也不敢貿然直接在線上使用。考慮到mc僅作為熱點緩存其數據可丟失,且部署有多臺分攤壓力,直接采用低峰時段分別重啟單個mc的策略解決,重啟后evicted item直接降為0,cache命中率升至90%上下。
少量大key變動導致的鈣化首次鈣化之后又是一段歲月靜好,直到...某段時間開始一個主要接口偶發耗時會突然飆升一下,對應機器的CPU使用也會瞬間飚高一小陣,查看zabbix監控時,發現mc的 evicted items>0已持續好一段時間,但一直是個位數/S的級別,看著影響不大。進一步執行stats items
命令,發現發生key evict的是最大的chunk_size=1048576 的slab 42,這也就是說存在大小在512KB~1MB之間的大key,同時當前mc分配的1MB slab個數已無法滿足其存儲,也無法再分配出新的1MB大小的slab,最終體現為對于大key的再次鈣化。由于slab鈣化大key會被頻繁evict,對應緩存機制基本失效,所幸server端針對該類大key的讀取還做了一個短期的本地cache,避免了每次請求都穿透到db。在某些特定時刻,當mc中對應大key失效且本地cache失效,對應請求又較多的時候,多個獨立的請求都會穿透到db獲取數據,而后再寫入mc,無論是穿透到db獲取數據后本地進行相應的數據組裝處理邏輯,還是讀寫mc的壓縮、解壓縮數據操作,都比較耗CPU,最終會體現為api耗時增加,且CPU使用率也存在飚高的現象。近期并沒有涉及大key讀寫的改動,那這次的大key slab鈣化又是怎么來的?進一步探查原因:觸發evict的大key近期確實無相關邏輯改動,但該部分舊key的大小和運營放出的資源多少直接相關,近一段時間放出的資源一直持續增加,舊key原本大小是<512KB,所以使用的是512KB的slab 41,近期持續增大為>512KB后,就只能使用1MB的slab 42存儲了,對于slab 42來說相當于在原有支持的大key數量基礎上又新的大key存儲需要支持,又由于slab鈣化無法再分配新的slab 42,最終觸發evict,cache命中率降低,api偶發耗時上升。最終解決方案:還是在業務低峰期逐個重啟mc,觸發slab重分配即可。
memcached作為一個開源的純內存kv緩存組件,上手簡單、性能、穩定性都有足夠保證,但是實際使用時也不可掉以輕心,對其相關監控與關注不能少,對于其特有的最大key存儲限制、slab鈣化問題要有一定的認識并能及時處理。轉載請注明出處,原文地址:https://www.cnblogs.com/AcAc-t/p/memcached_large_key_slab_calcification.html
參考https://github.com/memcached/memcached/blob/master/doc/protocol.txt#L637https://github.com/memcached/memcached/wiki/ReleaseNotes142#configurable-maximum-item-sizehttps://www.jianshu.com/p/b91a45711460https://blog.twitter.com/engineering/en_us/a/2012/caching-with-twemcachehttps://www.cnblogs.com/AcAc-t/p/memcached_large_key_slab_calcification.htmlhttps://bugwz.com/2020/05/24/memcached-slab-calcification/#2-2-2、Rebalance執行邏輯https://www.cnblogs.com/Leo_wl/p/3310294.html
關鍵詞:
您可能也感興趣:
為您推薦
這個端午節 四川發放消費券1.5億元_天天視點
流動性與機構行為周度跟蹤:稅期后資金再度轉松跨半年波動料將可控_環球速訊
每日消息!強降雨襲多地,6月24日預報
排行
最近更新
- 全球觀熱點:memcached使用中踩的一些坑
- 萬能鹵汁配方大公開,分享鹵雞腿雞蛋的家常做法
- 時訊:神似科比!克里斯蒂曬出訓練照:夏日訓練 嚴格對待
- 傳奇從這里開始!紐維爾老男孩曬照祝梅西36歲生日快樂
- 【天天快播報】原來楊穎還出演過這幾部電影 楊穎新電影正式...
- 環球百事通!北京中考語文作文題目出爐!“我讀到的北京”和...
- 天天熱議:2023年河南高招7月8日開始錄取
- 黃圣依演的全部電視劇(靠做小四上位 每日播報
- 收藏!高考查分報志愿時間表
- 天天微速訊:海南萬寧眾人合力將擱淺鯨鯊推回大海
- 環球看點!微信回了個“OK”表情手勢,一男子成了被告
- 環球熱消息:廣東普寧梅園最新_廣東普寧看南方梅園生態村
- 老榮威550改新款 花15萬買輛國產車再花20萬去改裝
- 市場監管總局:推動氣瓶安全排查整治 加強燃氣用品質量安全...
- 普京與土耳其總統埃爾多安通話-每日簡訊
- 小學生如何仿句梁福勝茂名市第二小學(關于小學生如何仿句梁...
- 小學生學語文一點通(關于小學生學語文一點通介紹)|天天熱聞
- 理想,再“狂”一次? 世界快訊
- 每日動態!太陽官方告別保羅:感謝保羅為菲尼克斯所做的一切
- 突發!“瓦格納首領號召叛亂” “部隊進入俄南部”_天天新動態
- 靈異小說排行榜2021前十名完結_靈異小說排行榜完本
- 融資輸血,蔚來汽車躬身入局價格戰-當前熱議
- 端午小長假結束,我省鐵路發送旅客約34.7萬人次
- 筆記本電腦輸入法切換不了怎么辦_電腦輸入法切換不了 怎么辦...
- 打入谷底! 楊鼎新李軒豪辜梓豪王星昊等中國悍將讓申真谞不斷慘敗
- 好當家海參養殖基地_好當家海鮮
- 勇士再補強
- 全球通訊!泡沫混凝土強度等級一般是多少 泡沫混凝土強度等級
- 雛鵝前10天的飼養技術_雛鵝1-40天養殖過程注意什么 視焦點訊
- 世界即時看!濟南人防工程納涼點向公眾開放