TF Live 直播回放丨Frank Wu:当OpenStack遇到Tungsten Fabric



  • 10岁的OpenStack,已经是开源IaaS世界里的“成年人”,自从遇到开源SDN小伙伴Tungsten Fabric,两人便成为闯荡混合多云世界的好搭档。
     
    5月26日,在TF中文社区线上直播活动【 TF Live 】中,Mirantis中国区技术工程师Frank Wu与大家进行了在线交流,并以Mirantis MCP云平台为例,演示了OpenStack与Tungsten Fabric的集成过程。
    
    本期活动,由TF中文社区、OpenStackChina与SDNLAB合作举办。
    

    【pdf文档下载】
    https://tungstenfabric.org.cn/assets/uploads/files/tf-live3-mcp-openstack-tungsten-fabric.pdf

    【直播视频回放】
    https://v.qq.com/x/page/b0973v4ctgz.html

    【高清视频下载】

    https://pan.baidu.com/s/1_f6rZDf9utY1DJaqCm94bA
    提取码:p17v

    Frank在2018年加入Mirantis,曾负责Mirantis中国区大客户云环境的实施和技术支持,专注于虚拟化和容器化云平台,对于OpenStack和Tungsten Fabric都很早接触。在5月26日的直播活动中,Frank分享了对这两个技术的实践经验。

    OpenStack与Tungsten Fabric如何对接

    Tungsten Fabric的核心技术是基于BGP MPLS VPN技术,通过BGP协议分发路由,包括二层转发表的路由信息,同时交换VPN的信息,来实现链路隔离。通过SDN控制器和虚拟路由器,Tungsten Fabric可实现控制平面和转发平面的分离。

    除了OpenStack,Tungsten Fabric还支持Kubernetes和VMware vCenter等多种编排器,也能实现多个集群的网络互联。

    Tungsten Fabric支持提供虚拟网络的二层和三层隔离,以及负载均衡、服务链等功能,还支持使用Netconf来对一些物理设备进行管理。

    那么,OpenStack和TF对接的数据流是怎样的呢?

    首先,在OpenStack和Tungsten Fabric中,项目和用户都是一一对应的。

    通过OpenStack的控制节点,配置流程去使用插件,将收到的OpenStack请求转换成对应的Tungsten Fabric的请求,发送给TF的API,这个插件作为核心插件,平时在流程的配置文件里面。

    随后,vRouter通过XMPP协议接收TF控制节点下发的路由表。计算节点拿到所有虚拟机相关的信息后,分配资源,为虚拟机创建接口,将接口连接到对应虚拟网络的VRF中,这时再启动虚拟机。虚拟机通过vRouter代理的DHCP获取IP地址。

    接下来,当虚拟机创建成功后,怎么进行数据通信?

    我们来看OpenStack与Tungsten Fabric对接的数据转发流程。在拓扑图上,只有计算节点有租户虚拟机,才会在VRF创建routing instance,包括实例1a和2a。
    e14f6510-cec3-47e5-85da-ca0917d613c4-image.png

    流程如下:

    • VM 1a发送arp请求并由路由实例1a进行响应;

    • VM 1a发送ip报文到路由实例1a,查询ip信息转发表后获得了虚拟机2a的路由;

    • 对VM 1a发过来的数据包进行MPLS和GRE封装;

    • 数据包从计算节点1通过GRE Tunnel发送到计算节点2上;

    • 数据包在计算节点2上被解封装,查询MPLS转发表之后发送到路由实例2a;

    • 路由实例2a查询ip转发表之后找到VM 2a对应的地址与虚拟端口,并最终将数据包发送给VM 2a。

    如何在MCP平台部署

    作为OpenStack社区代码贡献前五之一,Mirantis提供运行OpenStack和Kubernetes所需的所有软件、服务、培训和支持,并开发了MCP平台作为功能丰富的自动化部署工具。

    33baa49c-635f-4dc1-9d58-00d59d2e4b10-image.png
    MCP平台架构概览

    接下来看MCP的架构。首先在云平台中,通过整合一些工具来实现整个云环境升级和运维的自动化,并且基础设施内的任何更改,如添加新节点或更改服务的监听端口,都是通过修改reclass的配置文件来完成的,实现了一种基础设施即代码的理念。

    MCP同时支持选择OVS或者Tunsten Fabric来作为OpenStack的网络组件,OVS比较简单,而且不需要额外的物理网关设备,但是功能上相对于Tunsten Fabric要少一些,而Tunsten Fabric不仅有服务链,网络数据分析等功能,还是能支持多集群的SDN。

    平台上还有一台OSS系统,包括日志,监控,告警等功能,都是基于成熟的开源软件来实现的。

    MCP上的SDN数据流量方面,Tungsten Fabric通过建立在data网络之上的overlay网络,来处理在MCP集群中的东西向和南北向流量。

    Tungsten Fabric控制器与vRouter之间的控制平面通信使用XMPP协议。当一台虚拟机在计算节点上被创建时,TF控制器会给对应的vRouter下发该虚拟机所在虚拟网络的转发表。

    Tungsten Fabric控制器与网关之间的控制通信使用iBGP协议,将带有ASN和target的虚拟网络的路由发布到网关路由器上。相当于建立了虚拟网络和网关路由器vrf的映射关系,并且通过ibgp协议来维护这种关系,实时的更新,下发路由表。

    在MCP集群中,一个最小的OpenStack + Tungsten Fabric生产环境的部署,需要至少3台物理机作为KVM节点来实现服务的高可用,运行虚拟控制平面所有的虚拟机,以及2-3台物理机作为OpenStack计算节点。

    • cfg节点,作为salt-master管理集群中所有的节点;

    • ctl节点,OpenStack Controller节点,运行OpenStack各组件相关的API;

    • ntw节点,作为TF控制器,其上运行了包括Tungsten Fabric的API和配置数据库等服务以及中间件;

    • nal节点,其上运行了两个容器,基于Tungsten Fabric计量和分析包的服务,如分析API、警报生成器和数据收集器,以及中间件;

    • cmp节点,OpenStack计算节点,其上运行了OpenStack的nova-compute和Tungsten Fabric的vRouter。

    在demo演示环节,Frank详细介绍了基础环境和部署流程:

    • 手动部署KVM节点,在上面把镜像源的cfg节点运行起来;

    • 进行操作系统安装后,物理节点自动加入master的管控;

    • 去salt master节点上修改reclass配置,在reclass里面,每个组件都有一个对应目录,进入各组件的目录中按照需求和实际的环境去修改reclass配置;

    • 在OpenStack目录定义OpenStack安装哪些组件,在tf目录中定义tf配置网关路由器等信息;

    • 然后登录到DriveTrain的Jenkins上,通过指定的pipeline以及对应的传入参数,完成各个组件的部署;

    • 在参数行填入名称,部署对应组件,pipeline可以重复执行;

    • 登录到OpenStack Controller节点,获取虚拟网络信息, 那么会发现这里有三个网络,这三个网络都是Tungsen Fabric里面默认创建的网络,这表明neutron现在能够拿到Tungsen Fabric中的网络信息,也就以为这neutron与Tungsen Fabric已经完成了实际的对接;

    • 在neutron plugin配置文件中,定义了IP地址和端口;

    • 登录Tungsten Fabric的控制器节点,上面运行了一个容器,通过doctrail allcontrail-status命令可以看到在这台容器上运行的所有的Tungsten Fabric服务,包括五个部分:Control,Config,Config Database,Web UI,Support Services;

    • 在Tungsten Fabric的管理面查看TF控制节点的peer列表,控制节点与两台vRouter完成了XMPP的连接,那么一旦有新的路由更新,TF控制节点会自动下发到对应的路由条目到vRouter, 并且计算节点上有会有相应的VRF被创建;

    • 在数据平面(vRouter)上,流量过滤由网络策略和安全组派生的acl控制。

    • 当vRouter转发模块获得第一个包时,它创建一个数据流并将包发送到vRouter agent。当vRouter agent获取数据包时,它首先应用安全组的ACL和网络策略的ACL。

    • 通过ACL的数据包才会查找VRF以获得下一跳的地址。否则,数据包将会被丢弃。

    部署流程完成后,Frank针对这个环境中的OpenStack和Tungsten Fabric的基本网络功能,以及“负载均衡即服务”功能进行了演示。

    OpenStack最初的负载均衡功能是跟neutron结合到一起,后来从neutron剥离出来,以达到更好的功能。

    在OpenStack和Tungsten Fabric对接后,负载均衡由Tungsten Fabric接管,在服务链里看到HAproxy-loadbalance-template模板,配置左侧和右侧接口,左侧VIP和监听器,右侧后端服务节点,后端需要配置两块网卡,增加了复杂性。在2.0版本上,支持同一侧配置,在同一个子网内。

    当我们使用Neutron LBaaS命令去创建虚拟IP和池的时候,Tungsten Fabric通过插件监听到相关的请求,进而去创建一个服务实例。然后调度器将随机选择一台计算节点,并在上面实例化一个Linux网络命名空间,并在命名空间中配置HA代理。然后再选择另外一台计算节点,进行相同的操作,作为备用HA代理实例。而且由svc-monitor服务去调度vRouter事实的更新本地对应的HAproxy配置文件。

    往期回顾

    TF Live丨KK/建勋:多云、SDN,还有网工进化论
    TF Live 直播回放丨杨雨:Tungsten Fabric如何增强Kubernetes的网络性能


Log in to reply