使用Docker构建redis集群–最靠谱的版本-第五维

1集群结构说明

集群中有三个主节点，三个从节点，一共六个结点。因此要构建六个redis的docker容器。在宿主机中将这六个独立的redis结点关联成一个redis集群。需要用到官方提供的ruby脚本。

2构建redis基础镜像

本文选择版本为redis-3.0.7，如果需要其他版本，直接修改wget后面地址中的版本号即可。

代码清单2-1 下载&编译redis源码包

# mkdir –p /usr/docker_root/redis_cluster
# cd /usr/docker_root/redis_cluster
# wget http://download.redis.io/releases/redis-3.0.7.tar.gz
# tar zxvf redis-3.0.7.tar.gz
# cd redis-3.0.7
# make

PS: 如果你连 # 也复制了，那你还是别看了……

我们已经在宿主机编译好了redis源码，在src路径下有我们需要的可执行文件：redis-cli，redis-server和redis-trib.rb。redis-trib.rb是redis官方提供的ruby脚本，用来构建redis集群

修改redis.conf。在redis-3.0.7的根路径下有redis的配置文件redis.conf。将其移动到上一级路径/usr/docker_root/redis_cluster/ 下。

依据代码清单2-2，修改redis.conf文件中的对应参数值。

daemonize : 是否后台运行，将其设为no，表示前台运行。

port :redis服务监听的端口。

logfile : 指定日志文件路径。

appendonly : 是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。

cluster-node-timeout : 集群结点超时限制。

代码清单2-2 需要修改的配置参数

daemonize no
port 6379
logfile "/var/log/redis/redis-server.log"

appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000

下面构建redis基础镜像。以Dockerfile方式构建。

代码清单2-3 创建redis基础镜像的Dockerfile

# pwd

/usr/docker_root/redis_cluster

# vim Dockerfile

我们来看看Dockerfile的内容，如代码清单2-4所示。

<strong>代码清单2-4 Dockerfile<br><br></strong>FROM ubuntu:14.04

ADD redis-3.0.7.tar.gz /
RUN mkdir -p /redis
ADD redis.conf /redis/
 
RUN apt-get -yqq  update
RUN apt-get install -y gcc make
 
WORKDIR /redis-3.0.7
RUN make
RUN mv /redis-3.0.7/src/redis-server /redis/
 
WORKDIR /
RUN rm -rf /redis-3.0.7
 
RUN apt-get remove --purge -y gcc make
 
VOLUME ["/var/log/redis/"]
 
EXPOSE 6379<br><br>

将本地的redis源码包复制到镜像的根路径下，ADD命令会在复制过后自动解包。被复制的对象必须处于Dockerfile同一路径，且ADD后面必须使用相对路径。

将我们修改后的配置文件也复制到镜像内。

为编译源码包，需要安装gcc和make，安装之前先更新apt-get。更新和安装时间较长。

编译源码包。当然编译也需要一段时间。

编译后，容器中只需要可执行文件redis-server，所以将该文件移到/redis/路径下。现在redis-server 和redis.conf都在/redis/下。

将redis-3.0.7路径整个删除。

gcc和make也可以卸载掉。

指定数据卷，通过这个数据卷可以查看redis运行的日志文件。

公开redis默认端口6379。

因为不会执行这个镜像，所有没有包含ENTRYPOINT和CMD指令。我们基于这个镜像构建别的镜像。

现在我们构建redis基础镜像

代码清单2-5 构建redis基础镜像

# docker build -t redis:3.0.7 .

构建过程与网络带宽有关，十分钟左右，构建完成。成功构建镜像之后，运行docker images，可以看见zcq/redis_base镜像，如图2-2所示，镜像size有290.4MB。

图片[1]-使用Docker构建redis集群–最靠谱的版本-第五维

3构建redis结点镜像

我们继续构建redis结点镜像，这个镜像将会用于生成提供redis服务的docker容器。

代码清单3-1 创建redis结点镜像的Dockerfile

# mkdir redis_node

# cd redis_node

# vim Dockerfile

Dockerfile如代码清单3-2所示。

<br><strong>代码清单3-2 redis结点镜像Dockerfile</strong>

FROM redis:3.0.7

ENTRYPOINT ["/redis/redis-server", "/redis/redis.conf"]

构建redis结点镜像。

代码清单3-3 构建redis结点镜像

# docker build -t redis-cluster:3.0.7 .

查看redis结点镜像redis-cluster:3.0.7，如上图。

4创建redis结点容器

依次创建六个redis结点容器，如代码清单4-1所示。

代码清单4-1 创建redis结点

# docker run -d --name redis01 -p 30001:6379 redis-cluster:3.0.7
# docker run -d --name redis02 redis-cluster:3.0.7
# docker run -d --name redis03 redis-cluster:3.0.7
# docker run -d --name redis04 redis-cluster:3.0.7
# docker run -d --name redis05 redis-cluster:3.0.7
# docker run -d --name redis06 redis-cluster:3.0.7<br><br>

docker-compose.yml

version: “2”
services:
redis01:
image: redis-cluster:3.0.7
ports:
– 6379:6379
container_name: redis01

redis02:
image: redis-cluster:3.0.7
container_name: redis02

redis03:
image: redis-cluster:3.0.7
container_name: redis03

redis04:
image: redis-cluster:3.0.7
container_name: redis04

redis05:
image: redis-cluster:3.0.7
container_name: redis05

redis06:
image: redis-cluster:3.0.7
container_name: redis06

启动：COMPOSE_PROJECT_NAME=test docker-compose up -d

是不是很奇怪第一个容器的打开方式有点不一样，第一个容器做了端口映射，是专门留给客户端访问的，这样客户端就可以通过宿主机的30001端口访问redis集群了。

查看各容器IP地址

代码清单4-2 查看redis结点IP

# docker inspect redis01 redis02 redis03 redis04 redis05 redis06 | grep \”IPAddress\”| grep 172

“IPAddress”: “172.19.0.16”,

“IPAddress”: “172.19.0.17”,

“IPAddress”: “172.19.0.15”,

“IPAddress”: “172.19.0.19”,

“IPAddress”: “172.19.0.14”,

“IPAddress”: “172.19.0.18”,

5搭建redis集群

前文已经提到，要构建集群需要使用官方提供的ruby脚本，也就是redis-3.0.7/src/redis-trib.rb，因此需要先安装ruby的环境。

一般需要安装ruby1.9的版本，可以自己下载安装。

代码清单5-1 安装ruby环境

# yum install ruby

# yum install rubygems

手动安装步骤：

tar -xzf ruby-1.9.3-p194.tar.gz解压安装包

./configure –prefix=/usr/local/ruby

由于redhat新版本(redhat5.4不报错，开发环境会报错)默认openssl的配置变更取消了对EC_xx的支持,make 会出错，

此时需要修改ext/openssl/ossl_pkey_ec.c代码，修改的内容如下

修改762行开始处：

if (id == s_GFp_simple) {

method = EC_GFp_simple_method();

} else if (id == s_GFp_mont) {

method = EC_GFp_mont_method();

} else if (id == s_GFp_nist) {

method = EC_GFp_nist_method();

#if !defined (OPENSSL_NO_EC2M)

} else if (id == s_GF2m_simple) {

method = EC_GF2m_simple_method();

#endif

修改817行开始处：

if (id == s_GFp) {

new_curve = EC_GROUP_new_curve_GFp;

#if !defined (OPENSSL_NO_EC2M)

} else if (id == s_GF2m) {

new_curve = EC_GROUP_new_curve_GF2m;

#endif

} else {

ossl_raise(rb_eArgError, “unknown symbol, must be :GFp or :GF2m”);

}

修改完成后执行如下命令

make

make install

安装完成后设置PATH路径,把安装的ruby放在系统PATH前面，

避免调用操作系统自带的ruby (开发环境REDHAT自带为1.8版本，而1.8版本不能用于redis集群的部署，至少用1.9以上) ，

修改~/.bash_profile

#PATH=$PATH:$HOME/bin—原来的配置

PATH=/usr/local/ruby/bin:$PATH:$HOME/bin—修改后的配置

修改后保存，并执行 source ~/.bash_profile生效

执行ruby -v 查看ruby版本

运行redis-trib.rb脚本还需要安装redis的ruby包。

<strong>代码清单5-2 安装redis的ruby包</strong>

# gem install redis --version 3.0.7

由于源的原因，可能下载失败，那就手动下载下来安装

download地址:http://rubygems.org/gems/redis/versions/3.0.7

代码清单5-3 手动下载&安装redis的ruby包

# wget https://rubygems.org/downloads/redis-3.0.7.gem --no-check-certificate
# gem install -l redis-3.0.7.gem

一切准备就绪，开始搭建redis集群吧！参照代码清单5-4，但是你还是要修改一下IP地址，你的容器地址应该不可能和我的一毛一样吧。

代码清单5-4 搭建redis集群

# cd /usr/docker_root/redis_cluster/redis-3.0.7/src/

[root@localhost src]# ./redis-trib.rb create –replicas 1 172.19.0.16:6379 \

172.19.0.17:6379 \

172.19.0.15:6379 \

172.19.0.19:6379 \

172.19.0.14:6379 \

172.19.0.18:6379

执行结果代码代码清单5-5所示

代码清单5-5 搭建redis集群输出结果

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes…
Using 3 masters:
172.19.0.16:6379
172.19.0.17:6379
172.19.0.15:6379
Adding replica 172.19.0.19:6379 to 172.19.0.16:6379
Adding replica 172.19.0.14:6379 to 172.19.0.17:6379
Adding replica 172.19.0.18:6379 to 172.19.0.15:6379
M: 6dd5bbcb3866b26d84d237de94d706c5612195bc 172.19.0.16:6379
slots:0-5460 (5461 slots) master
M: 3bd685c9e976cff50148b4cf432079bf5c82b132 172.19.0.17:6379
slots:5461-10922 (5462 slots) master
M: 001c39d6516064496ea257dab40e9089632e3226 172.19.0.15:6379
slots:10923-16383 (5461 slots) master
S: 9dbc596a889579f3efff3e89c868ff4bd6ab46bd 172.19.0.19:6379
replicates 6dd5bbcb3866b26d84d237de94d706c5612195bc
S: 060ace103346ca3a14446c092c324cb587847914 172.19.0.14:6379
replicates 3bd685c9e976cff50148b4cf432079bf5c82b132
S: bb81d9eb1084df2ce66ea3cc38ca4be7a6b009fe 172.19.0.18:6379
replicates 001c39d6516064496ea257dab40e9089632e3226
Can I set the above configuration? (type ‘yes’ to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join…
>>> Performing Cluster Check (using node 172.19.0.16:6379)
M: 6dd5bbcb3866b26d84d237de94d706c5612195bc 172.19.0.16:6379
slots:0-5460 (5461 slots) master
M: 3bd685c9e976cff50148b4cf432079bf5c82b132 172.19.0.17:6379
slots:5461-10922 (5462 slots) master
M: 001c39d6516064496ea257dab40e9089632e3226 172.19.0.15:6379
slots:10923-16383 (5461 slots) master
M: 9dbc596a889579f3efff3e89c868ff4bd6ab46bd 172.19.0.19:6379
slots: (0 slots) master
replicates 6dd5bbcb3866b26d84d237de94d706c5612195bc
M: 060ace103346ca3a14446c092c324cb587847914 172.19.0.14:6379
slots: (0 slots) master
replicates 3bd685c9e976cff50148b4cf432079bf5c82b132
M: bb81d9eb1084df2ce66ea3cc38ca4be7a6b009fe 172.19.0.18:6379
slots: (0 slots) master
replicates 001c39d6516064496ea257dab40e9089632e3226
[OK] All nodes agree about slots configuration.
>>> Check for open slots…
>>> Check slots coverage…
[OK] All 16384 slots covered.

使用redis-cli连接redis集群，注意有–c

代码清单5-6 连接redis集群

# redis-cli -p 30001 –c
127.0.0.1:30001> info
下面显示集群的相关信息
# Server
redis_version:3.0.7
redis_git_sha1:00000000
redis_git_dirty:0
 (省略一部分……)
# CPU
used_cpu_sys:2.21
used_cpu_user:1.63
used_cpu_sys_children:0.00
used_cpu_user_children:0.00
 
# Cluster
cluster_enabled:1<br>
# Keyspace
127.0.0.1:30001><br><br>