redis 数据迁移至 twemproxy redis 集群
在之前的文章讲到实现redis集群高可用，可以查看链接：twemproxy + redis + sentinel 实现redis集群高可用
但是要从旧的redis中将数据迁移到redis集群确实还是要想想办法，因为集群的前端是 twemproxy .
反正想来想去，实在没有办法了，了解到了redis的这三个命令 dump 、 pttl 、restore
那就用最原始的方法，将redis的每个key的数据从旧redis直接dump出来，然后通过restore命令导入到 twemproxy redis 集群中。
先来了解一下redis的这三个命令 dump 、 pttl 、restore
Redis DUMP 命令
Redis DUMP 命令用于序列化给定 key ，并返回被序列化的值
命令基本语法：
redis 127.0.0.1:4500 > DUMP KEY_NAME
如果 key 不存在，那么返回 nil 。 否则，返回序列化之后的值
|
1 2 3 4 5 6 7 8 9 |
[root@localhost ~]# redis-cli -h 192.168.1.101 -p 4503 192.168.1.101:4503> SET huangdc "hello,welcome huangdc.com!" OK 192.168.1.101:4503> GET huangdc "hello,welcome huangdc.com!" 192.168.1.101:4503> 192.168.1.101:4503> DUMP huangdc "\x00\x1ahello,welcome huangdc.com!\x06\x00\xfe\xe1:\xea_)7\xe0" 192.168.1.101:4503> |
Redis PTTL 命令
Redis PTTL 命令以毫秒为单位返回 key 的剩余过期时间。
命令基本语法如下：
redis 127.0.0.1:6379> PTTL KEY_NAME
当 key 不存在时，返回 -2 。 当 key 存在但没有设置剩余生存时间时，返回 -1 。 否则，以毫秒为单位，返回 key 的剩余生存时间。
注意：在 Redis 2.8 以前，当 key 不存在，或者 key 没有设置剩余生存时间时，命令都返回 -1 。
|
1 2 3 4 5 6 7 8 9 10 11 |
192.168.1.101:4503> GET huangdc "hello,welcome huangdc.com!" 192.168.1.101:4503> PTTL huangdc (integer) -1 192.168.1.101:4503> 192.168.1.101:4503> PEXPIRE huangdc 204800 (integer) 1 192.168.1.101:4503> 192.168.1.101:4503> PTTL huangdc (integer) 201868 192.168.1.101:4503> |
Redis RESTORE 命令
反序列化给定的序列化值，并将它和给定的 key 关联
命令基本语法：
redis 127.0.0.1:6379> RESTORE KEY_NAME ttl serialized-value [REPLACE]
参数 ttl 以毫秒为单位为 key 设置生存时间；如果 ttl 为 0 ，那么不设置生存时间。（ttl 的值需要通过 PTTL 命令来回去）
RESTORE 在执行反序列化之前会先对序列化值的 RDB 版本和数据校验和进行检查，如果 RDB 版本不相同或者数据不完整的话，那么 RESTORE 会拒绝进行反序列化，并返回一个错误。
如果键 key 已经存在， 并且给定了 REPLACE 选项， 那么使用反序列化得出的值来代替键 key 原有的值；
相反地， 如果键 key 已经存在， 但是没有给定 REPLACE 选项， 那么命令返回一个错误。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
192.168.1.101:4503> 192.168.1.101:4503> GET huangdc "hello,welcome huangdc.com!" 192.168.1.101:4503> DUMP huangdc "\x00\x1ahello,welcome huangdc.com!\x06\x00\xfe\xe1:\xea_)7\xe0" 192.168.1.101:4503> PEXPIRE huangdc 2048000 (integer) 1 192.168.1.101:4503> PTTL huangdc (integer) 1971895 192.168.1.101:4503> GET huangdc2 (nil) 192.168.1.101:4503> RESTORE huangdc2 1971895 "\x00\x1ahello,welcome huangdc.com!\x06\x00\xfe\xe1:\xea_)7\xe0" OK 192.168.1.101:4503> GET huangdc2 "hello,welcome huangdc.com!" 192.168.1.101:4503> |
好了，大家知道了，就是将 dump 出来的序列化的值重新RESTORE 到新的key去即可 ，即完成了数据的导入导出
python多线程脚本实现迁移
最后，贡献一个多线程小脚本来实现：（python脚本，大家提前需要安装redis模块，pip install redis 即可安装）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 |
# -*- coding: utf-8 -*- """ info: migrate redis cache （redist to twemproxy） date: 2016-05-12 author: DcHuang """ import redis import os import sys import time from multiprocessing import Pool from multiprocessing.dummy import Pool as ThreadPool def usage(): print "Usage: %s src['1.1.1.1:4500'] dst['2.2.2.2:14500']" % sys.argv[0] try: src=str(sys.argv[1]) dst=str(sys.argv[2]) src_ip = src.split(':')[0] src_port = src.split(':')[1] dst_ip = dst.split(':')[0] dst_port = dst.split(':')[1] except Exception,e: usage() sys.exit() now_time = int(time.time()) """connect redis""" try: src_pool = redis.ConnectionPool(host=str(src_ip), port=int(src_port)) src_redis = redis.Redis(connection_pool=src_pool) except: print "src redis %s connection fail" % src sys.exit() try: dst_pool = redis.ConnectionPool(host=str(dst_ip), port=int(dst_port)) dst_redis = redis.Redis(connection_pool=dst_pool) except: print "dst redis %s connection fail" % dst sys.exit() """导入导出""" def dump_restore(key): """获取pttl""" s_pttl = src_redis.pttl(key) if s_pttl == -2 : return "1" elif s_pttl == -1 : s_pttl = 0 else: s_pttl = 0 """获取key的dump,并且restore 导入到新的redis中""" try: s_dump = src_redis.dump(key) if s_dump: d_status = dst_redis.restore(key,int(s_pttl),s_dump) #print "key:",str(key)," type:",str(src_redis.type(key))," pttl:",str(s_pttl) ##," d_status:",str(d_status) except: return "1" return "0" """创建线程执行导出导入函数""" pool = ThreadPool(10) results = pool.map(dump_restore,src_keys_all) pool.close() pool.join() new_time = int(time.time()) ################ print "use time(s):",str(new_time - now_time) |
实例(保存为 mig.py 脚本)：
redis 源： 192.168.1.101:4672
twemproxy redis 集群： 192.168.1.6:4503
redis源数据大概有150M ，可以看到数据迁移的用时是108秒，稍微有点慢。
|
1 2 |
[root@localhist DcHuang]# /usr/local/python27/bin/python mig.py '192.168.1.101:4672' '192.168.1.6:4503' use time(s): 108 |
大家可以自己试试，或者有其他更好的数据迁移方法，希望分享一下
转载请注明：Huangdc » redis数据迁移(twemproxy)
