用Apache Mesos打造分布式资源调度系统

Netflix使用Apache Mesos运行了一系列批处理、流式处理，以及服务类型的工作负载。两年多来，我们创建了层出不穷的用例，例如实时异常检测、批处理作业的训练和模型构建、机器学习编排，以及基于Node.js的微服务。最近发布的Apache Mesos 1.0意味着这项技术已经成熟，相比我们首次使用该服务时已经有了巨大的改进。

我们最初使用Apache Mesos的动力主要在于该技术能够将来自同一个EC2实例的资源更为细化地分配给不同规模的任务。如果不使用Mesos或其他类似的资源管理器，将无法为数量日益增加的实例进行更细化的分配，导致无法获得令人满意的利用率，或只能自行开发类似于Mesos的技术，至少也要开发出其中的部分功能。

越来越多的流式处理和批处理作业开始使用容器，这也推动了基于Mesos的资源调度技术的使用。最近开发者已经可以从基于Docker的容器通过Mesos集群获得一系列服务类型的工作负载。本文将概括介绍Netflix工程团队使用Apache Mesos打造的一些项目。我们将介绍该技术所满足的不同用例，以及每个用例是如何高效使用这种技术的。有关每个项目的进一步细节请参阅下文给出的博文链接。

使用Apache Mesos打造云端原生调度机制

为了从不同EC2实例为任务分配资源，我们需要一种能对可用资源进行调度，并能在分布式EC2实例上启动和监控任务的资源管理器。Apache Mesos可将要使用集群的“框架”的资源分配，与框架任务的资源调度区分处理。当Mesos确定要将多少资源分配给框架后，将由框架的调度器决定在什么时候将哪些资源分配给哪个任务。这样的调度器是一种相当简单的API，因此也能更专注于调度逻辑，并对分布式系统中不可避免出现的故障做出回应。借此用户可以针对不同用例编写不同调度器，不像Mesos那样为所有用例使用一个统一的调度器。下图来自Mesos文档，展示了“框架1”收到“代理1”的指令启动两个任务的过程。

一段时间来，Mesos社区已经出现了多种针对不同用例的调度器，并为用户提供了相应的API。

Netflix在AWS EC2弹性云中运行了多个微服务。在原生云环境中运维Mesos集群要求我们必须确保除了与数据中心内部运维类似的任务外，调度器还能同时处理另外两方面内容：运行任务的代理寿命更短暂，以及Mesos代理集群具备根据需求变化自动伸缩的能力。另外我们所处理的用例需要实现一种比First fit类型的分配更先进的资源调度机制。例如按照CPU、内存，以及网络带宽的用量将多个任务装箱（Bin packing）到不同代理，借此实现资源碎片最小化。装箱还可以帮助我们释放尽可能多的代理，在不影响运行中任务的前提下终止空闲代理，让代理集群的扩张速度放缓。

为找出现有调度器在此类能力方面的缺失，去年我们开发了一种名为Fenzo的调度库。Fenzo可以根据需求自动缩放代理集群，并根据由健康标准（Fitness criteria）和约束组成的多种调度目标为任务分配资源。这些健康标准和约束可通过插件进行扩展，并具备少量内建的通用实现，例如为了实现高可用跨越EC2可用区对作业进行任务装箱和分散。JVM上运行的任何Mesos框架都可使用Fenzo Java库。

Netflix对Mesos的运用

目前我们通过Apache Mesos集群运行了三个项目。

Mantis

Mantis是一种以原生云服务方式运行的反应式流处理平台，主要侧重于运维数据流的处理。Mantis包含多种不同用例，例如实时仪表盘、预警、异常检测、衡量指标生成，以及流数据的即席交互式探索。我们使用Mantis主要是为了简化团队成员访问实时事件和以此为基础构建的计费应用程序的过程。目前Mantis的事件流处理能力已高达每秒800万条事件，可不间断运行数百个流处理作业。我们有一个此类作业主要侧重于视频内容的处理，可以针对内容提供细化的洞察，例如巴西地区iPad上播放纸牌屋第四季第一集时遇到了问题。这一功能需要不间断追踪数百万不同的数据排列组合方式。

Mantis平台包含一个主（Master）集群和一个代理（Agent）集群。用户可以将流处理应用程序以作业的形式提交，并在代理集群内一个或多个工作进程（Worker）上运行。主集群会使用Apache Mesos中包含的Fenzo调度库优化作业工作进程的资源分配。这种分配操作的目标之一在于将需要持续不间断运行的流处理作业与只需要短时间运行的交互式作业分布到不同代理上，这样当短时间运行的作业运行完毕后，即可收缩代理集群的规模。下图展示了Mantis的体系结构。来自不同作业的工作进程可以通过基于Cgroups的资源隔离机制在同一个代理上运行。

Titus

Titus是一种Docker容器作业管理和执行平台。最初Titus主要用于实现包含算法训练（类似于视频推荐、A/B测试单元体分析等任务）的批处理作业，以及需要每小时运行一次的即席报表和分析作业。最近为了提供一致的本地开发体验以及实现更细化的资源管理，Titus开始为服务类型的作业（Netflix微服务）提供支持。Titus首个服务类型的用途是使用服务器端的NodeJS进行API的重构。

上述Titus体系结构示意图展示了使用Fenzo从Mesos代理分配资源的主节点。Titus可与Netflix微服务和AWS生态系统实现紧密集成，包括与服务发现、基于软件的负载平衡、监控，以及我们的CI/CD管线、Spinnaker等技术进行集成。在Mesos中编写自定义执行器的能力使得我们能够轻松地对容器运行时进行优化，使其与生态系统的其他部分更为匹配。

Meson

Meson是一种通用的工作流编排和调度框架，主要可用于管理机器学习管线。

Meson主要适用于对CPU、内存，以及磁盘空间等资源有着不同要求的作业所组成的异构环境。它可以支持通过一个共享集群运行Spark作业和其他批处理作业。在基于Cgroups的隔离机制帮助下，代理上的不同任务将使用相互隔离的资源运行。Meson的调度器会根据图表（Graph）评估任务的就绪情况，并通过Mesos提供的资源启动已经就绪的任务。失败处理措施包括重新启动失败的任务，以及自动终止被确定为已经出错的任务。

上述示意图展示了Meson的体系结构。Meson团队目前正在着手使用Fenzo调度库增强其调度能力。

Apache Mesos的继续完善

在我们持续完善Mantis、Titus和Meson项目的过程中，Apache Mesos提供了稳定、可靠、可伸缩的资源管理平台。我们通过开源的Fenzo以及在MesosCon大会上分享创意等方式参与到了Mesos的社区贡献中。您可以在即将举办的MesosCon Europe 2016大会上与我们交流，或查看我们之前参与2014、2015年，以及今年上半年活动的总结（学到的经验和Meson）。

对于这些项目，我们的未来计划包括增加SLA（服务级别协议，例如为服务和批处理形式的作业提供不同的容量担保），对代理和容器的安全加固，改善运维效率和能见度，以及对更广泛用例的支持。为了取得更长足的进展，目前我们正在围绕Mesos、Fenzo以及我们的框架开展一些非常激动人心的项目。