Core Plugin/Agent 负责管理核心实体：net, subnet 和 port。而对于更高级的网络服务，则由 Service Plugin/Agent 管理。

Service Plugin 及其 Agent 提供更丰富的扩展功能，包括路由，load balance，firewall等，如图所示：

DHCP

dhcp agent 通过 dnsmasq 为 instance 提供 dhcp 服务。

Routing

l3 agent 可以为 project（租户）创建 router，提供 Neutron subnet 之间的路由服务。路由功能默认通过 IPtables 实现。

Firewall

L3 agent 可以在 router 上配置防火墙策略，提供网络安全防护。另一个与安全相关的功能是 Security Group，也是通过 IPtables 实现。 Firewall 与 Security Group 的区别在于：

1. Firewall 安全策略位于 router，保护的是某个 project 的所有 network。
2. Security Group 安全策略位于 instance，保护的是单个 instance。

Load Balance

Neutron 默认通过 HAProxy 为 project 中的多个 instance 提供 load balance 服务。

分层模型

Core API

对外提供管理 network, subnet 和 port 的 RESTful API。

Extension API

对外提供管理 router, load balance, firewall 等资源 的 RESTful API。

Commnon Service

认证和校验 API 请求。

Neutron Core

Neutron server 的核心处理程序，通过调用相应的 Plugin 处理请求。

Core Plugin API

定义了 Core Plgin 的抽象功能集合，Neutron Core 通过该 API 调用相应的 Core Plgin。

Extension Plugin API

定义了 Service Plgin 的抽象功能集合，Neutron Core 通过该 API 调用相应的 Service Plgin。

Core Plugin

实现了 Core Plugin API，在数据库中维护 network, subnet 和 port 的状态，并负责调用相应的 agent 在 network provider 上执行相关操作，比如创建 network。

Service Plugin

实现了 Extension Plugin API，在数据库中维护 router, load balance, security group 等资源的状态，并负责调用相应的 agent 在 network provider 上执行相关操作，比如创建 router。

归纳起来，Neutron Server 包括两部分：

1. 提供 API 服务。
2. 运行 Plugin。

即 Neutron Server = API + Plugins

多种 network provider

先讨论一个简单的场景：在 Neutorn 中使用 linux bridge 这一种 network provider。

根据 Neutron Server 的分层模型，我们需要实现两个东西：linux bridge core plugin 和 linux bridge agent。

linux bridge core plugin

1. 与 neutron server 一起运行。
2. 实现了 core plugin API。
3. 负责维护数据库信息。
4. 通知 linux bridge agent 实现具体的网络功能。

linux bridge agent

1. 在计算节点和网络节点（或控制节点）上运行。
2. 接收来自 plugin 的请求。
3. 通过配置本节点上的 linux bridge 实现 neutron 网络功能。

同样的道理，如果要支持 Open vSwitch，只需要实现 Open vSwitch plugin 和 Open vSwitch agent。

Neutron 可以通过开发不同的 plugin 和 agent 支持不同的网络技术。随着支持的 network provider 数量的增加，有两个突出的问题：

1. 只能在 OpenStack 中使用一种 core plugin，多种 network provider 无法共存。
2. 不同 plugin 之间存在大量重复代码，开发新的 plugin 工作量大。

ML2 plugin

ML2 功能

ML2 作为新一代的 core plugin，提供了一个框架，允许在 OpenStack 网络中同时使用多种 Layer 2 网络技术，不同的节点可以使用不同的网络实现机制。

如上图所示，采用 ML2 plugin 后，可以在不同节点上分别部署 linux bridge agent, open vswitch agent, hyper-v agent 或其他第三方 agent。

ML2 不但支持异构部署方案，同时能够与现有的 agent 无缝集成：以前用的 agent 不需要变，只需要将 Neutron server 上的传统 core plugin 替换为 ML2。

有了 ML2，要支持新的 network provider 就变得简单多了：无需从头开发 core plugin，只需要开发相应的 mechanism driver，大大减少了要编写和维护的代码。

ML2 架构

ML2 对二层网络进行抽象和建模，引入了 type driver 和 mechansim driver。这两类 driver 解耦了 Neutron 所支持的网络类型（type）与访问这些网络类型的机制（mechanism），其结果就是使得 ML2 具有非常好的弹性，易于扩展，能够灵活支持多种 type 和 mechanism。

Type Driver

type driver 负责维护网络类型的状态，执行验证，创建网络等。 ML2 支持的网络类型包括 Local, Flat, Vlan, VxLan 和 GRE。

Mechansim Driver

mechanism driver 负责获取由 type driver 维护的网络状态，并确保在相应的网络设备（物理或虚拟）上正确实现这些状态。

type 和 mechanisim 都太抽象，现在我们举一个具体的例子： type driver 为 vlan，mechansim driver 为 linux bridge，我们要完成的操作是创建 network vlan100，那么：

1. vlan type driver 会确保将 vlan100 的信息保存到 Neutron 数据库中，包括 network 的名称，vlan ID 等。
2. linux bridge mechanism driver 会确保各节点上的 linux brige agent 在物理网卡上创建 ID 为 100 的 vlan 设备 和 brige 设备，并将两者进行桥接。

mechanism driver 有三种类型：

• Agent-based：包括 linux bridge, open vswitch 等。
• Controller-based：包括 OpenDaylight, VMWare NSX 等。
• 基于物理交换机：包括 Cisco Nexus, Arista, Mellanox 等。 比如前面那个例子如果换成 Cisco 的 mechanism driver，则会在 Cisco 物理交换机的指定 trunk 端口上添加 vlan100。

linux bridge 和 open vswitch 的 ML2 mechanism driver 作用是配置各节点上的虚拟交换机。L2 population driver 作用是优化和限制 overlay 网络中的广播流量。 vxlan 和 gre 都属于 overlay 网络。

Neutron 功能

网络命令 brctl show

二层交换 Switching

• Neutron 支持多种虚拟交换机，包括 Linux 原生的 Linux Bridge 和 Open vSwitch
• 除了可以创建传统的 VLan 网络，还可以创建基于隧道技术的 Overlay 网络，比如 VxLan 和 GRE（目前 Linux Bridge 只支持 VxLan）
• Open vSwitch 是一个开源的虚拟交换机

三层路由 Routing

实例可以配置不同网段的 IP，Neutron 的 router（虚拟路由器）实现跨网段通信。router 通过 IP forwarding、iptables 等技术来实现路由和 NAT。

负载均衡 Load Balancing

OpenStack 在 Grizzly 版本第一次引入了 Load-Balancing-as-a-Service（LBaaS），提供了将负载分发到多个实例的能力。LBaaS 支持多种负载均衡产品和方案，不同的实现以 Plugin 的形式集成到 Neutron，目前默认的 Plugin 是 HAProxy。

防火墙 Firewalling

Neutron 通过以下两种方式来保障实例和网络的安全性：

• Security Group

  通过 iptables 限制进出实例的网络包

• Firewall-as-a-Service

  FWaas，限制进出虚拟路由器的网络包，也是通过 iptables 实现

Neutron 网络基本概念

Neutron 管理的网络资源包括 network、subnet 和 port。

network

network 是一个隔离的二层广播域。Neutron 支持多种类型的 network，包括 local、flat、VLan、VxLan 和 GRE。

• local

  local 网络与其他网络和节点隔离。local 网络中的 instance 只能与位于同一节点上同一网络的 instance 通信，local 网络主要用于单机测试。

• flat

  flat 网络是无 VLan tagging 的网络。flat 网络中的 instance 能与位于同一网络的 instance 通信，并且可以跨多个节点。

• VLan

  VLan 网络是具有 802.1q tagging 的网络。VLan 是一个二层的广播域，同一 VLan 中的 instance 可以通信，不同 VLan 只能通过 router 通信。VLan 网络可跨节点，是应用最广泛的网络类型。

• VxLan

  VxLan 是基于隧道技术的 overlay 网络。VxLan 网络通过唯一的 segmentation ID（也叫 VNI）与其他 VxLan 网络区分。VxLan 中数据包会通过 VNI 封装成 UDP 包进行传输。因为二层的包通过封装在三层传输，能够克服 VLan 和物理网络基础设施的限制。

• GRE

  GRE 是与 VxLan 类似的一种 overlay 网络。主要区别在于使用 IP 包而非 UDP 进行封装。

network 必须属于某一个 Project，Project 中可以创建多个 network。

subnet

subnet 是一个 IPv4 或者 IPv6 地址段。instance 的 IP 从 subnet 中分配。每个 subnet 需要定义 IP 地址的范围和掩码。

network 与 subnet 是 1对多 关系。

port

port 可以看做虚拟交换机上的一个端口。port 上定义了 MAC 地址和 IP 地址，当 instance 的虚拟网卡 VIF（Virtual Interface） 绑定到 port 时，port 会将 MAC 和 IP 分配给 VIF。

一个实例可以有多个网卡也即多个端口。

Neutron 架构

Neutron Server

对外提供 OpenStack 网络 API，接收请求，并调用 Plugin 处理请求。

Plugin

处理 Neutron Server 发来的请求，维护 OpenStack 逻辑网络状态， 并调用 Agent 处理请求。

Agent

处理 Plugin 的请求，负责在 network provider 上真正实现各种网络功能。

network provider

提供网络服务的虚拟或物理网络设备，例如 Linux Bridge，Open vSwitch 或者其他支持 Neutron 的物理交换机。

Queue

Neutron Server，Plugin 和 Agent 之间通过 Messaging Queue 通信和调用。

Database

存放 OpenStack 的网络状态信息，包括 Network, Subnet, Port, Router 等。

以创建一个 VLAN100 的 network 为例，假设 network provider 是 linux bridge， 流程如下：

1. Neutron Server 接收到创建 network 的请求，通过 Message Queue（RabbitMQ）通知已注册的 Linux Bridge Plugin。
2. Plugin 将要创建的 network 的信息（例如名称、VLAN ID等）保存到数据库 database 中，并通过 Message Queue 通知运行在各节点上的 Agent。
3. Agent 收到消息后会在节点上的物理网卡（比如 eth2）上创建 VLAN 设备（比如 eth2.100），并创建 bridge （比如 brqXXX） 桥接 VLAN 设备。

1. plugin 解决的是 What 的问题，即网络要配置成什么样子？而至于如何配置 How 的工作则交由 agent 完成。
2. plugin，agent 和 network provider 是配套使用的，比如上例中 network provider 是 linux bridge，那么就得使用 linux bridge 的 plungin 和 agent；如果 network provider 换成了 OVS 或者物理交换机，plugin 和 agent 也得替换。
3. plugin 的一个主要的职责是在数据库中维护 Neutron 网络的状态信息，这就造成一个问题：所有 network provider 的 plugin 都要编写一套非常类似的数据库访问代码。为了解决这个问题，Neutron 在 Havana 版本实现了一个 ML2（Modular Layer 2）plugin，对 plugin 的功能进行抽象和封装。有了 ML2 plugin，各种 network provider 无需开发自己的 plugin，只需要针对 ML2 开发相应的 driver 就可以了，工作量和难度都大大减少。
4. plugin 按照功能分为两类： core plugin 和 service plugin。
   • core plugin 维护 Neutron 的 netowrk, subnet 和 port 相关资源的信息，与 core plugin 对应的 agent 包括 linux bridge, OVS 等
   • service plugin 提供 routing, firewall, load balance 等服务，也有相应的 agent。

山西临汾

设备清单：

• 刀片服务器：10 台，其中 1 台控制节点，7 台计算节点，1 台存储节点，1 台备用
• 交换机：三种 5 台，其中分为 A1，A2，C1，C2 和 IB 交换机

IP 地址分为三类：

• 管理 IP
• 虚拟机访问外网 IP
• 存储 IP

备注：管理 IP 连接的是 A1 交换机，虚拟机是 A2 交换机，存储 IP 是 IB 交换机。另，只有存储连接了融合交换机 C1、C2，其他刀片未连接。存储节点连接后端的存储阵列，将虚拟机的数据存入阵列。

7 台计算节点上，每一台都装了 Ceph，用来存储虚拟机的系统盘，而虚拟机的数据盘则通过存储节点由存储阵列提供，存储节点上的 cinder 通过 iscsi 连接存储阵列。

大邑

这个拓扑相对简单，只有 1 个控制节点，1 个存储节点，2 个计算节点，1 台交换机，计算节点上也是 Ceph 存放虚拟机系统盘，这上面的虚拟机主要是 windows 系统，通过 windows 直连 iscsi 存储，没有通过 cinder。

matplotlib 模块

matplotlib 是一个数据可视化函数库 ，matplotlib 的子模块 pyplot 提供了 2D 图表制作的基本函数 ，官方网站上有许多例子可供参考：

https://matplotlib.org/gallery.html