眾所周知，redis里面的大key存在是非常危險的一件事情。因為最近的工作轉移到中間件相關的工作，因此關注了一下bigkey的掃描方法。首先介紹一下阿里云提供的掃描腳本：
我對這個腳本進行了一個壓力測試，在redis的內存為15G，key的數量為2KW，ops為40K到80K之間，在這種情況下，阿里云的腳本完全不能跑成功(估計跑出來的時間以天為單位)，主要原因是每確認一個key的情況，就需要與redis交互多次。因此，我對它的腳本進行了改造，加入了pipeline和debug object方法，腳本如下：
import sys
import redis
def find_big_key_normal(db_host, db_port, db_password, db_num):
client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
i=0
temp = client.scan(cursor=i,count=1000)
j =0
while temp[0]>0 :
i=temp[0]
j=j+len(temp[1])
try:
r = client.pipeline(transaction=False)
for k in temp[1]:
r.debug_object(k)
tempA = r.execute()
x = 0
for key in tempA:
length = key.get("serializedlength")
##type = key.get("encoding")
if length > 10240 :
type = client.type(temp[1][x])
print temp[1][x], type,length
x=x+1
except :
print "a execption come"
temp = client.scan(cursor=i,count=1000)
if __name__ == '__main__':
if len(sys.argv) != 4:
print 'Usage: python ', sys.argv[0], ' host port password '
exit(1)
db_host = sys.argv[1]
db_port = sys.argv[2]
db_password = sys.argv[3]
r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)
nodecount = 1
keyspace_info = r.info("keyspace")
for db in keyspace_info:
print 'check ', db, ' ', keyspace_info[db]
find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))
