資料技術嘉年華等你來
精彩預告:第八屆資料技術嘉年華大會將於2018年11月16日~17日在北京市富力萬麗酒店盛大開啟。本次大會圍繞資料、智慧、連結組織前沿議題,倡導以智慧智慧演演算法應用,發掘資料價值,以技術將企業連結到未來的戰略制高點!
福利:全場通票等你搶
點選“原文連結”檢視大會詳情。
我們天天都在使用 Redis 內建的命令列工具 redis-cli,久而久之以為它就是一個簡單的互動式 Redis 資料結構手工操作程式,但是它背後強大的功能絕大多數同學可能聞所未聞。本節我們一起來挖掘這些鮮為人知的有趣用法。
執行單條命令
平時在訪問 Redis 伺服器,一般都會使用 redis-cli 進入互動樣式,然後一問一答來讀寫伺服器,這種情況下我們使用的是它的「互動樣式」。還有另外一種「直接樣式」,透過將命令引數直接傳遞給 redis-cli 來執行指令並獲取輸出結果。
$ redis-cli incrby foo 5
(integer) 5
$ redis-cli incrby foo 5
(integer) 10
如果輸出的內容較大,還可以將輸出重定向到外部檔案
$ redis-cli info > info.txt
$ wc -l info.txt
120 info.txt
上面的命令指向的伺服器是預設伺服器地址,如果想指向特定的伺服器可以這樣
// -n 2 表示使用第2個庫,相當於 select 2
$ redis-cli -h localhost -p 6379 -n 2 ping
PONG
批次執行命令
在平時線上的開發過程中,有時候我們免不了要手工造資料,然後匯入 Redis。通常我們會編寫指令碼程式來做這件事。不過還有另外一種比較便捷的方式,那就是直接使用 redis-cli 來批次執行一系列指令。
$ cat cmds.txt
set foo1 bar1
set foo2 bar2
set foo3 bar3
......
$ cat cmds.txt | redis-cli
OK
OK
OK
...
上面的指令使用了 Unix 管道將 cat 指令的標準輸出連線到 redis-cli 的標準輸入。其實還可以直接使用輸入重定向來批次執行指令。
$ redis-cli OK
OK
OK
...
set 多行字串
如果一個字串有多行,你希望將它傳入 set 指令,redis-cli 要如何做?可以使用 -x 選項,該選項會使用標準輸入的內容作為最後一個引數。
$ cat str.txt
Ernest Hemingway once wrote,
"The world is a fine place and worth fighting for."
I agree with the second part.
$ redis-cli -x set foo OK
$ redis-cli get foo
"Ernest Hemingway once wrote,\n\"The world is a fine place and worth fighting for.\"\nI agree with the second part.\n"
重覆執行指令
redis-cli 還支援重覆執行指令多次,每條指令執行之間設定一個間隔時間,如此便可以觀察某條指令的輸出內容隨時間變化。
// 間隔1s,執行5次,觀察qps的變化
$ redis-cli -r 5 -i 1 info | grep ops
instantaneous_ops_per_sec:43469
instantaneous_ops_per_sec:47460
instantaneous_ops_per_sec:47699
instantaneous_ops_per_sec:46434
instantaneous_ops_per_sec:47216
如果將次數設定為 -1 那就是重覆無數次永遠執行下去。如果不提供 -i 引數,那就沒有間隔,連續重覆執行。在互動樣式下也可以重覆執行指令,形式上比較怪異,在指令前面增加次數
127.0.0.1:6379> 5 ping
PONG
PONG
PONG
PONG
PONG
# 下麵的指令很可怕,你的螢幕要憤怒了
127.0.0.1:6379> 10000 info
.......
匯出 csv
redis-cli 不能一次匯出整個庫的內容為 csv,但是可以匯出單條指令的輸出為 csv 格式。
$ redis-cli rpush lfoo a b c d e f g
(integer) 7
$ redis-cli --csv lrange lfoo 0 -1
"a","b","c","d","e","f","g"
$ redis-cli hmset hfoo a 1 b 2 c 3 d 4
OK
$ redis-cli --csv hgetall hfoo
"a","1","b","2","c","3","d","4"
當然這種匯出功能比較弱,僅僅是一堆字串用逗號分割開來。不過你可以結合命令的批次執行來看看多個指令的匯出效果。
$ redis-cli --csv -r 5 hgetall hfoo
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
看到這裡讀者應該明白 –csv 引數的效果就是對輸出做了一次轉換,用逗號分割,僅此而已。
執行 lua 指令碼
在 lua 指令碼小節,我們使用 eval 指令來執行指令碼字串,每次都是將指令碼內容壓縮成單行字串再呼叫 eval 指令,這非常繁瑣,而且可讀性很差。redis-cli 考慮到了這點,它可以直接執行指令碼檔案。
127.0.0.1:6379> eval "return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])" 2 foo1 foo2 bar1 bar2
OK
127.0.0.1:6379> eval "return redis.pcall('mget', KEYS[1], KEYS[2])" 2 foo1 foo2
1) "bar1"
2) "bar2"
下麵我們以指令碼的形式來執行上面的指令,引數形式有所不同,KEY 和 ARGV 之間需要使用逗號分割,並且不需要提供 KEY 的數量引數
$ cat mset.txt
return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
$ cat mget.txt
return redis.pcall('mget', KEYS[1], KEYS[2])
$ redis-cli --eval mset.txt foo1 foo2 , bar1 bar2
OK
$ redis-cli --eval mget.txt foo1 foo2
1) "bar1"
2) "bar2"
如果你的 lua 指令碼太長,–eval 將大有用處。
監控伺服器狀態
我們可以使用 –stat 引數來實時監控伺服器的狀態,間隔 1s 實時輸出一次。
$ redis-cli --stat
------- data ------ --------------------- load -------------------- - child -
keys mem clients blocked requests connections
2 6.66M 100 0 11591628 (+0) 335
2 6.66M 100 0 11653169 (+61541) 335
2 6.66M 100 0 11706550 (+53381) 335
2 6.54M 100 0 11758831 (+52281) 335
2 6.66M 100 0 11803132 (+44301) 335
2 6.66M 100 0 11854183 (+51051) 335
如果你覺得間隔太長或是太短,可以使用 -i 引數調整輸出間隔。
掃描大 KEY
這個功能太實用了,我已經線上上試過無數次了。每次遇到 Redis 偶然卡頓問題,第一個想到的就是實體中是否存在大 KEY,大 KEY的記憶體擴容以及釋放都會導致主執行緒卡頓。如果知道裡面有沒有大 KEY,可以自己寫程式掃描,不過這太繁瑣了。redis-cli 提供了 –bigkeys 引數可以很快掃出記憶體裡的大 KEY,使用 -i 引數控制掃描間隔,避免掃描指令導致伺服器的 ops 陡增報警。
$ ./redis-cli --bigkeys -i 0.01
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type. You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).
[00.00%] Biggest zset found so far 'hist:aht:main:async_finish:20180425:17' with 1440 members
[00.00%] Biggest zset found so far 'hist:qps:async:authorize:20170311:27' with 2465 members
[00.00%] Biggest hash found so far 'job:counters:6ya9ypu6ckcl' with 3 fields
[00.01%] Biggest string found so far 'rt:aht:main:device_online:68:{-4}' with 4 bytes
[00.01%] Biggest zset found so far 'machine:load:20180709' with 2879 members
[00.02%] Biggest string found so far '6y6fze8kj7cy:{-7}' with 90 bytes
redis-cli 對於每一種物件型別都會記錄長度最大的 KEY,對於每一種物件型別,掃清一次最高記錄就會立即輸出一次。它能保證輸出長度為 Top1 的 KEY,但是 Top2、Top3等 KEY 是無法保證可以掃描出來的。一般的處理方法是多掃描幾次,或者是消滅了 Top1 的 KEY 之後再掃描確認還有沒有次大的 KEY。
取樣伺服器指令
現線上上有一臺 Redis 伺服器的 OPS 太高,有很多業務模組都在使用這個 Redis,如何才能判斷出來是哪個業務導致了 OPS 異常的高。這時可以對線上伺服器的指令進行取樣,觀察取樣的指令大致就可以分析出 OPS 佔比高的業務點。這時就要使用 monitor 指令,它會將伺服器瞬間執行的指令全部顯示出來。不過使用的時候要註意即使使用 ctrl+c 中斷,否則你的顯示器會噼裡啪啦太多的指令瞬間讓你眼花繚亂。
$ redis-cli --host 192.168.x.x --port 6379 monitor
1539853410.458483 [0 10.100.90.62:34365] "GET" "6yax3eb6etq8:{-7}"
1539853410.459212 [0 10.100.90.61:56659] "PFADD" "growth:dau:20181018" "2klxkimass8w"
1539853410.462938 [0 10.100.90.62:20681] "GET" "6yax3eb6etq8:{-7}"
1539853410.467231 [0 10.100.90.61:40277] "PFADD" "growth:dau:20181018" "2kei0to86ps1"
1539853410.470319 [0 10.100.90.62:34365] "GET" "6yax3eb6etq8:{-7}"
1539853410.473927 [0 10.100.90.61:58128] "GET" "6yax3eb6etq8:{-7}"
1539853410.475712 [0 10.100.90.61:40277] "PFADD" "growth:dau:20181018" "2km8sqhlefpc"
1539853410.477053 [0 10.100.90.62:61292] "GET" "6yax3eb6etq8:{-7}"
診斷伺服器時延
平時我們診斷兩臺機器的時延一般是使用 Unix 的 ping 指令。Redis 也提供了時延診斷指令,不過它的原理不太一樣,它是診斷當前機器和 Redis 伺服器之間的指令(PING指令)時延,它不僅僅是物理網路的時延,還和當前的 Redis 主執行緒是否忙碌有關。如果你發現 Unix 的 ping 指令時延很小,而 Redis 的時延很大,那說明 Redis 伺服器在執行指令時有微弱卡頓。
$ redis-cli --host 192.168.x.x --port 6379 --latency
min: 0, max: 5, avg: 0.08 (305 samples)
時延單位是 ms。redis-cli 還能顯示時延的分佈情況,而且是圖形化輸出。
$ redis-cli --latency-dist
這個圖形的含義作者沒有描述,讀者們可以嘗試破解一下。
遠端 rdb 備份
執行下麵的命令就可以將遠端的 Redis 實體備份到本地機器,遠端伺服器會執行一次bgsave操作,然後將 rdb 檔案傳輸到客戶端。遠端 rdb 備份讓我們有一種“秀才不出門,全知天下事”的感覺。
$ ./redis-cli --host 192.168.x.x --port 6379 --rdb ./user.rdb
SYNC sent to master, writing 2501265095 bytes to './user.rdb'
Transfer finished with success.
模擬從庫
如果你想觀察主從伺服器之間都同步了那些資料,可以使用 redis-cli 模擬從庫。
$ ./redis-cli --host 192.168.x.x --port 6379 --slave
SYNC with master, discarding 51778306 bytes of bulk transfer...
SYNC done. Logging commands from master.
...
從庫連上主庫的第一件事是全量同步,所以看到上面的指令卡頓這很正常,待首次全量同步完成後,就會輸出增量的 aof 日誌。
轉載:碼洞
溫馨提示:2018 資料技術嘉年華即將開啟,點選“原文連結”註冊購票哦,購票過程中有任何問題,可加小助手微信:Enmoedu05。
資料技術嘉年華等你來!