本文中,我们首先将Rancher部署到EC2实例上,并且添加新的主机,之后用Rancher的Catalog启动了RocketChat应用,紧接着对运行中的容器的网络接口和其他属性的进行了分析。
同时,我们简要介绍了Rancher的Overlay网络和运行在Network Agent中的辅助服务进程,并通过上面实践中收集的信息构建了Rancher集群中网络通信的概览图。
与此同时,还特别介绍了使用IPSec实现主机间的安全通信。
Rancher 是一个容器管理的完整解决方案,并且即将成为一个完整的容器管理平台。我们对在自己平台上如何处理容器间的网络进行了审慎的思考,并打算用一个简单的例子和大家分享一下Rancher中的网络。Rancher既可以被部署在单机,也能被扩展到数千个节点,在这篇文章中我们只用少量的主机和容器进行讨论。
配置并启动一个容器化的应用
首先我们要配置我们的基础设施,本文使用的是AWS。我们先在EC2上用下面的命令安装Docker并且启动Rancher部署Master节点:
Rancher的server在52.40.47.157:8080上被创建好了(需要注意的是:文中涉及的IP地址指向的AWS实例已经在发文的时候被销毁了,文中所列IP仅作示例使用)。通过EC2的console,我们再新增两个主机——H1和H2,用来跑我们的应用程序容器。下图展示了我们主机的逻辑拓扑关系:一个节点用来跑Rancher的Server,另外两个跑Rancher agent:
为了方便描述容器间的网络,我们需要先启动一个容器化的应用服务。用Rancher的Catalog创建应用非常方便,这里我们选择Rocket Chat。Rocket Chat的应用模板有三个容器镜像组成,分别是:mongo、rocketchat和hubot。启动之后Rocket Chat被分配到:52.11.188.233:3000(关于更详细的关于Rancher Catalog的攻略可以阅读这里:http://docs.rancher.com/rancher/latest/en/catalog/)。
探索基础设施
Rocket Chat跑起来后,我们用Rancher UI来对H1和H2的情况一探究竟。点击Infrastructure标签页看看有哪些容器跑在宿主机上:
图中可以看出,rocketchat容器被调度到H1上了,剩下的两个容器:mongo和hubot被调度到H2上。截图中我们还能看到每个节点都运行着一个network agent(注意:只有当有容器被调度到当前宿主机后,network agent才会被创建)。各个容器的IP地址如截图中所示——这些IP对于我们后面讨论很重要。
我们可以下载machine config文件以获得主机更详细的信息:
解压下载下来的machine configs之后,我们可以找到主机的私钥和公钥以及一些其他相关的配置文件。用私钥我们ssh到主机。在每台主机上我们执行ifconfig列出主机IP和网络接口。下面是在H1上的结果(精简后的),可以看到docker0网桥的IP(172.17.0.1)和eth0接口地址(172.31.38.255):
在H2上重复上面的过程,获得相似的结果:docker0的IP是172.17.0.1,物理网卡eth0的地址是172.31.38.133。
接下来,我们深挖每台主机上运行的容器的状态并查看每个网络接口上的IP地址。在H1上我们用sudo docker ps 和 sudo docker exec:
在H2上重复上述过程,我们得到了在H1和H2上运行着的容器的信息:
从上表中我们发现每个容器都有一个网络接口eth0。除此之外,Rancher的network agent容器(上表中的agent-instance)用三个IP地址:一个属于Docker的子网(172.17.X.X),一个属于Rancher的子网(10.42.X.X),以及第三个属于链路本地地址子网(169.254.X.X)。其它的应用服务容器(hubot、mongo、rocketchat)每个容器有两个IP地址,一个属于Docker子网,另一个属于Rancher的子网。
Hops and Traceroutes
让我们继续了解下Rancher中容器间的数据通信。从mongo 容器 ping hubot 容器(这俩是在同一台宿主机上):
网络从mongo容器可达hubot容器,从traceroute的结果也可以确认两者直接只有一跳:
我们再看下从mongo容器到rocketchat容器的traceroute结果(两者在不同的主机上):
上面的结果中可以看出从mongo到rocketchat容器有三跳,并且中间经过了IP地址为10.42.162.246的网络,这个正是在H1上运行着的network agent的地址。
Mongo容器中的ARP Table和IPSec
我们从mongo容器中看下此时的ARP table:
在ARP table中rocketchar容器的IP地址10.42.64.98的MAC地址是02:14:82:ab:9d:5d,这和在H2上运行着的network agent eth0的MAC地址是一样的。
让我们看下IPSec的信息:
从结果中我们可以看出H2和H1之间有一条加密的通信通道52.11.188.233。上述结果的逻辑关系可由下图所示:
Rancher中的Overlay网络
我们通过查看H1和H2上容器的IP地址可以看出,Docker分配的IP地址在不同的主机上并不是唯一的。例如,相同的IP地址172.17.0.5在H1上分配给了rocketchat容器,而在H2上则被分配给了hubot容器,所以单独使用Docker分配的IP不能获得唯一的地址。为了解决这个问题,Rancher给集群中运行着的每一容器分配了一个唯一的IP地址,本文例子中的地址是从从ranher的默认子网10.42.0.0/16分配而来。
IPSec
在Rancher看来,安全性是头等重要的事情!根据Rancher的设计,Rancher的集群的环境既可以公有云也可以是私有云,所以就不能对主机间的通讯信道做任何假设。我们希望从主机流出的数据是安全的,因此我们选择用IPSec去构建主机间的完整网络拓扑。虽然这会带来一些性能上的影响,但是可以确保Rancher的网络默认是安全的。未来的版本里我们可能会提供选项关闭IPsec。
Rancher用strongSwan来配置IPSec。其中strongSwan的组件Charon daemon用来实现IKEv2协议。如果想要看完整的拓扑细节,我们可以用命令swanctl:
Network Agent 服务
如果在Network Agent容器中列举所有在跑的进程,我们可以看到几个关键的服务在运行:rancher-dns,rancher=net等。rancher-net进程是Rancher网络服务的核心,它的作用是用strongSwan 和 charon创建IPSec网络。rancher-net的源代码可以在https://github.com/rancher/rancher-net查看。类似的,rancher-dns服务的职责是解析容器的名字和IP地址,其代码可以在https://github.com/rancher/rancher-dns查看。
通过应用容器内的/etc/resolv.conf文件我们可以看到容器的nameserver指向NetworkAgent的地址169.254.169.250。
总结
本文中,我们首先将Rancher部署到EC2实例上,并且添加新的主机,之后用Rancher的Catalog启动了RocketChat应用,紧接着对运行中的容器的网络接口和其他属性的进行了分析。
同时,我们简要介绍了Rancher的Overlay网络和运行在Network Agent中的辅助服务进程,我们通过上面实践中收集的信息构建了Rancher集群中网络通信的概览图。
与此同时,还特别介绍了使用IPSec实现主机间的安全通信。
接下来……
Rancher中即将到来的几点对于网络的改进:
采用CNI/libnetwork 接口
目前网路中由于给每个容器引入了第二个IP地址,对于一些只能使用网卡第一个IP地址的应用带来了一些问题。我们打算改用CNI/libnetwork的方案,这样可以保证容器只有的默认网络接口只有一个IP地址。于此同时,用户也可以方便的使用社区中很多其他的网络技术。
VXLAN支持
对于Rancher原生网络,我们打算除了IPSec外添加对VXLAN的支持。
多网络
在接下来的发行版中,我们打算为每一个Rancher支持的环境提供多个相互之间隔离的网络。
期待新版本所提供相互隔离的网络。