1 Redis 介绍
Redis是Remote Dictionary Server的缩写。他本质上一个Key/Value数据库,与Memcached类似的NoSQL型数据库,但是他的数据可以持久化的保存在磁盘上,解决了服务重启后数据不丢失的问题,他的值可以是string(字符串)、list(列表)、sets(集合)或者是ordered sets(被排序的集合),所有的数据类型都具有push/pop、add/remove、执行服务端的并集、交集、两个sets集中的差别等等操作,这些操作都是具有原子性的,Redis还支持各种不同的排序能力
2Redis功能简介
l Redis的Sharding:目前,redis server没有提供类似mongodb那样的shard功能,只能在client端,通过一致性hash算法实现,当前Redis不支持故障冗余,在集群中不能在线增加或删除Redis
l Redis的master/slave复制:
n 一个master支持多个slave
n Slave可以接受其他slave的连接来替代他连接master
n 复制在master、在slave都是非阻塞的。
n 复制被利用来提供可扩展性,在slave端只提供查询功能及数据的冗余
l Redis的Virtual Memory功能:
u 因性能问题,2.4版本 VM机制彻底废弃
u redis的vm模式在实践中存在一些问题.
u 我使用过redis2.0.2, 发现当vm模式打开的时候, 并发连 接数在1500以上时, redis latency会大大增加.平均每个请求的latency会超过4000ms, 观察redis的进程cpu占用率, 会超过100%. 最后迫于无奈,关掉了redis的vm功能. 此时并发连接不变的情况下,redis的latency下降到2ms以下. cpu占用率下降到1%.
l Redis的附加档案(AOF)功能:Redis通过配置的策略将数据集保存到aof中,当Redis挂掉后能够通过aof恢复到挂掉前的状态
l 提供批量写入功能
l 事务:允许让一组命令进入队列一次性执行,在执行的过程中不穿插其它命令(Redis的单线程保证)。
l 管道:一次性提交多个命令(如果只是进行一些设置,命令之间不需要依赖前置命令结果的话,可以提高不少效率)。
3 Redis机构示意图
4 Redis安装
Shell>wget http://redis.googlecode.com/files/redis-2.4.13.tar.gz #下载程序
Shell >tar –zxvf redis-2.4.13.tar.gz #解压程序包
Shell > cd redis-2.4.13 #进入解压目录
Shell> make #进行编译安装
Shell > make test #测试是否成功
该版本安装不需要configure 和make install ,make编译安装后SRC目录下会多几个文件
redis-server #Redis 服务器启动命令
redis-benchmark #Redis服务启动后查看相关服务信息命令
redis-check-aof
redis-check-dump
redis-cli #Redis 命令行操作工具
为了部署规范管理方便操作如下:
· shell>mkdir -p bin
· shell>mkdir -p conf
· shell>mkdir -p logs
· shell>mkdir -p data
· shell>cd src
· shell>cp redis-server redis-cli redis-benchmark redis-stat ../bin
· shell>cd ..
shell·>cp redis.conf conf
调整配置文件调整
daemonize yes #后台运行
pidfile /opt/redis-2.4.13/bin/redis.pid #pid路径
port6379 #监听端口
logfile /opt/redis-2.4.13logs/stdout.log #日志文件路径
dbfilename /opt/redis-2.4.13/data/dump.rdb #数据库文件路径
5 Redis服务启动与停止
Shell>bin/redis-server /opt/redis-2.4.13/conf/redis.conf #服务启动,直接运行在后台
Shell>ps -ef |grep redis #查看是否有进程
Shell>netstat –ntlp |grep 6379 #查看默认监听端口
Shell>bin/ redis-benchmark #性能测试工具,测试该系统下读写性能
Shell>bin/redis-cli #命令行工具,测试是否正常
Shell >bin/redis-cli shutdown #关闭Redis服务
6 Redis配置文件详解
配置文件参数说明:
1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
i. daemonize no
2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
i. pidfile /var/run/redis.pid
3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
i. port 6379
4. 绑定的主机地址
i. bind 127.0.0.1
5. 当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
i. timeout 300 #
如果应用中使用了连接池,最好设置为0,表示不使用服务器自动断开的功能,否则容易出现 java.net.SocketTimeoutException: Read timedout 或者是 It seems like server has closedthe connection 这样的异常,应用中千万要控制住连接数,打开的连接一定要关闭
6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
i. loglevel verbose
7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
i. logfile stdout
8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
i. databases 16
9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
i. save <seconds> <changes>
ii. Redis默认配置文件中提供了三个条件:
iii. save 900 1
iv. save 300 10
v. save 60 10000
vi. 分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
i. rdbcompression yes
11. 指定本地数据库文件名,默认值为dump.rdb
i. dbfilename dump.rdb
12. 指定本地数据库存放目录
i. dir ./
13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
i. slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时,slav服务连接master的密码
i. masterauth <master-password>
15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
i. requirepass foobared
16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
i. maxclients 128
17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
i. maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
i. appendonly no
19. 指定更新日志文件名,默认为appendonly.aof
i. appendfilename appendonly.aof
20. 指定更新日志条件,共有3个可选值:
i. no:表示等操作系统进行数据缓存同步到磁盘(快)
ii. always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
iii. everysec:表示每秒同步一次(折衷,默认值)
iv. appendfsync everysec
21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
i. vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
i. vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
i. vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
i. vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
i. vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
i. vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
i. glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
i. hash-max-zipmap-entries 6
ii. hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
a) activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf
7 多端口运行的配置
redis是单进程的服务,所以咱得根据CPU的数目,确定究竟该运行几个实例,这样才能最好的发挥性能优势,比如服务器是8core的,那最好能够运行8个实例,这里只以第一个作为举例
1. 假设redis的安装目录在/opt/redis下面,即这个目录下包含了redis-benchmark redis-cli redis-server这几个可执行文件,现在在下面新建一个servers的文件夹,存放所有的实例
mkdir -p /opt/redis/servers/0/
mkdir -p /opt/redis/servers/0/conf
mkdir -p /opt/redis/servers/0/data
mkdir -p /opt/redis/servers/0/run
mkdir -p /opt/redis/servers/0/logs
2. 然后我们需要拷贝一份配置文件到该实例的路径下
cp redis.conf /opt/redis/servers/0/conf
3. 修改配置文件中的下列内容
pidfile /opt/redis/servers/0/run/redis.pid
port 6380
logfile /opt/redis/servers/0/logs/stdout.log
dbfilename /opt/redis/servers/0/data/dump.rdb
4. 启动停止
./redis-server /opt/redis/servers/0/conf/redis.conf #启动服务
./redis-cli -p 6380shutdown #停止服务
8 Redis维护常用命令
1、../bin/redis-cli keys\* #查看所有键值信息
[root@monitordata]# ../bin/redis-cli keys \*
1)”name”
2)”name1″
2、../bin/redis-cli info #查看redis运行状态
[root@monitordata]# ../bin/redis-cli info
redis_version:2.4.13
redis_git_sha1:00000000
redis_git_dirty:0
arch_bits:64
multiplexing_api:epoll
gcc_version:4.4.6
process_id:2738
uptime_in_seconds:6888
uptime_in_days:0
lru_clock:1508888
used_cpu_sys:0.08
used_cpu_user:0.02
used_cpu_sys_children:0.01
used_cpu_user_children:0.00
connected_clients:2
connected_slaves:0
client_longest_output_list:0
client_biggest_input_buf:0
blocked_clients:0
used_memory:734976
used_memory_human:717.75K
used_memory_rss:7323648
used_memory_peak:726504
used_memory_peak_human:709.48K
mem_fragmentation_ratio:9.96
mem_allocator:jemalloc-2.2.5
loading:0
aof_enabled:0
changes_since_last_save:0
bgsave_in_progress:0
last_save_time:1336293648
bgrewriteaof_in_progress:0
total_connections_received:8
total_commands_processed:19
expired_keys:0
evicted_keys:0
keyspace_hits:9
keyspace_misses:2
pubsub_channels:0
pubsub_patterns:0
latest_fork_usec:1679
vm_enabled:0
role:master
db0:keys=2,expires=0
from:http://hi.baidu.com/webwatch/item/47c7e3df6f4a37f592a97456