编译安装VPP及运行

本文基于VMware虚拟机环境，详细请参考本文源站地址。

操作系统：CentOS7.6 Linux version 3.10.0-957.27.2.el7.x86_64

适用VPP版本：19.08-20.05，本文示例版本19.08

操作用户权限：root

系统驱动如果支持MSI-X，就无法使用驱动uio_pci_generic，必须使用vfio-pci。
在没有IOMMU的系统上，vfio驱动也能被用到内核4.15.0-33-generic kernel (Ubuntu 18.04)非iommu模式下。
下载地址：
gerrit：https://gerrit.fd.io/r/admin/repos/vpp
GitHub：https://github.com/FDio/vpp

#例如下载某分支
git clone -b stable/2001 https://github.com/FDio/vpp.git

1 2	#例如下载某分支 git clone -b stable/2001 https://github.com/FDio/vpp.git

1. VPP构建安装

1.1 下载VPP及编译

首先附上官方文档

如果读者采用git克隆master版本，最好切换到稳定发布版本再进行编译，如下图，然后git checkout XXX。
vpp版本

也可以直接克隆稳定分支，采用SSH协议 git clone -b stable/1908 "ssh://XXX@gerrit.fd.io:29418/vpp"，XXX表示用户登录账号。

根据版本运行如下命令。因为不同版本编译方式会有细微改变，可以通过vpp源码目录中运行make查看命令帮助。例如18.07版本集成dpdk，需要执行make dpdk-install-dev来安装运行DPDK来辅助VPP。

# if vpp<08.10
make install-dep
make bootstrap
make build        # or `make build-release`

# vpp 08.10+ (cmake)
make install-dep
make install-ext-deps
make build        # or `make build-release`

#make pkg-rpm    用于构建vpp的rpm安装包

# if vpp<08.10

make install-dep

make bootstrap

make build # or `make build-release`

# vpp 08.10+ (cmake)

make install-dep

make install-ext-deps

make build # or `make build-release`

#make pkg-rpm 用于构建vpp的rpm安装包

本文采用19.08版本VPP编译，目前编译操作方式也适用于版本20.05，最后一步make build编译好DEBUG版本后，可以在/root/vpp/build-root下面看到生成目录install-vpp_debug-native/vpp以及build-vpp_debug-native/vpp目录，其中第一个目录为运行安装文件目录，所有编译好的运行及配置等文件已准备好；第二个目录为编译时运行目录，里面很多编译过程中采用的文件。

1.2 问题排查

问题1 如果make install-dep步骤遇到--skip-broken问题，是依赖包版本冲突问题，需要删除对应版本冲突包，yum remove XXX,再进行make install-dep即可。
问题2 编译工具缺失，出现如下问题

CMake Error at CMakeLists.txt:4 (PROJECT):
  No CMAKE_CXX_COMPILER could be found.
make[3]: *** [/root/vpp-20.01/build/external/rpm/tmp/.quicly.build.ok] Error 1
make[3]: Leaving directory `/root/vpp-20.01/build/external'
错误：/var/tmp/rpm-tmp.J9OIpD (%install) 退出状态不好

CMake Error at CMakeLists.txt:4 (PROJECT):

No CMAKE_CXX_COMPILER could be found.

make[3]: *** [/root/vpp-20.01/build/external/rpm/tmp/.quicly.build.ok] Error 1

make[3]: Leaving directory `/root/vpp-20.01/build/external'

错误：/var/tmp/rpm-tmp.J9OIpD (%install) 退出状态不好

解决方法 安装gcc-c++模块，执行yum install gcc-c++

2. 配置运行vpp

2.1 关闭待接管网卡接口

关闭计划用dpdk接管的网卡接口，并查询其pci端口号，可以通过lspci |grep Ethernet查看。此时需要确认本机物理网卡或虚拟网卡为DPDK支持类型，查询网址https://core.dpdk.org/supported/

ifconfig ens34 down

1	ifconfig ens34 down

2.2 安装NIC网卡驱动模块

为了正常工作，不同物理介质关联层接口（PMD）可能需要不同驱动程序。取决正在使用的PMD，同时加载对应的内核驱动并绑定网络端口。这里网卡可加载模块驱动类型包含uio_pci_generic、igb_uio、vfio-pci等。

注意：

作为uio_pci_generic替代方案，DPDK包含igb_uio模块。对于一些不支持传统中断的设备，例如虚拟化功能（VF）设备，可能需要使用igb_uio來代替uio_pci_generic。
如果启用UEFI安全引导，则Linux可能会禁止在系统上使用UIO。因此，由DPDK使用的设备应绑定到vfio-pci内核模块，而不是使用igb_uio或uio_pci_generic。 VFIO内核模块自Linux内核3.6.0版以来已包含在内核中，通常是默认存在的，请查阅您的发行版文档以确保是这样的。此外，要使用VFIO，内核和BIOS必须支持并配置为使用IO虚拟化（如Intel®VT-d）

因为虚拟机的系统内核为3.10，内置vfio，所以直接加载vfio-pci。读者可根据实际情况选用uio_pci_generic/igb_uio/vfio-pci等。(如果igb_uio，需要单独编译dpdk获取igb_uio.ko,并采用命令insmod igb_uio.ko进行安装)

#0.启动对应驱动模块,此处选用vfio
modprobe vfio
modprobe vfio-pci
#modprobe igb-uio
#modprobe uio_pci_generic

#1.如果采用vfio，必须启动非安全NO IOMMU模式(仅在系统没有IOMMU时) ,启动该选项VPP可自动接管网卡显示在vppctl中
echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

#0.启动对应驱动模块,此处选用vfio

modprobe vfio

modprobe vfio-pci

#modprobe igb-uio

#modprobe uio_pci_generic

#1.如果采用vfio，必须启动非安全NO IOMMU模式(仅在系统没有IOMMU时) ,启动该选项VPP可自动接管网卡显示在vppctl中

echo Y | sudo tee /sys/module/vfio/parameters/enable_unsafe_noiommu_mode

2.3 设置大页存储（可选步骤，可后期配置）

# 分配巨页1024*2M=2G
echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
# 后面方法也可行sysctl -w vm.nr_hugepages=2048
# 查看大页分配数目
cat /proc/meminfo| grep Huge
mkdir /mnt/huge
mount -t hugetlbfs nodev /mnt/huge

# 分配巨页1024*2M=2G

echo 2048 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 后面方法也可行sysctl -w vm.nr_hugepages=2048

# 查看大页分配数目

cat /proc/meminfo| grep Huge

mkdir /mnt/huge

mount -t hugetlbfs nodev /mnt/huge

2.4 接口绑定驱动(建议执行步骤，可不选)

本步骤主要用于检验物理网口是否DPDK驱动是否接管网卡成功，首次使用时一定要执行,具体绑定及几种驱动理解也可参考作者另一篇文章DPDK编译及使用，也可参考VPP官方相关文档。
创建网卡接口时可选用指定接口来创建。通过驱动vfio-pci绑定网卡pci端口，-b表示--bind的意思；0000:0b:00.0是当前物理机或虚拟机采用的网卡pci端口号。

#0.查询网卡物理地址
lspci |grep Ethernet
#或采用如下命令
sudo lshw -class network -businfo
#回显返回02:05.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01)，其中02.05.0为物理地址。

#1.绑定接口到vfio-pci
cd /root/vpp/extras/vpp_config/scripts/
./dpdk-devbind.py --bind vfio-pci 0000:02:05.0    //将物理网卡绑定驱动
#也可执行./dpdk-devbind.py --bind vfio-pci ens34
./dpdk-devbind.py --status               //查看网卡使用驱动状态

#0.查询网卡物理地址

lspci |grep Ethernet

#或采用如下命令

sudo lshw -class network -businfo

#回显返回02:05.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 01)，其中02.05.0为物理地址。

#1.绑定接口到vfio-pci

cd /root/vpp/extras/vpp_config/scripts/

./dpdk-devbind.py --bind vfio-pci 0000:02:05.0 //将物理网卡绑定驱动

#也可执行./dpdk-devbind.py --bind vfio-pci ens34

./dpdk-devbind.py --status //查看网卡使用驱动状态

如果绑定网卡出现问题，通过dmesg|grep -i vfio-pci检查错误信息。实验中总是绑定网卡失败错误码-22，表示无效参数。最后证明是驱动不支持网卡类型，或者是DPDK不支持. 排错时首先需要根据情况确认IOMMU状态。

# 修改系统内核启动参数，重启系统，查看是否开启IOMMU
$ dmesg | grep -e DMAR -e IOMMU
[ 0.000000] DMAR: IOMMU enabled

# 查看是否开启intel-vt-x/vt-d
$ cat /proc/cpuinfo | grep vmx

# 修改系统内核启动参数，重启系统，查看是否开启IOMMU

$ dmesg | grep -e DMAR -e IOMMU

[ 0.000000] DMAR: IOMMU enabled

# 查看是否开启intel-vt-x/vt-d

$ cat /proc/cpuinfo | grep vmx

这里重点是，一定要启动intel-vt或AMD-V！！！-22错误一般都是它没有开启。解决方法如下依次列出，读者可以根据情况尝试。

开机后按F12进入BIOS界面打开VT-x和VT-d；
若虚拟机，点击设置，处理器，并开启VT-x等；若无法打开，需要提高内存分配；有些需要在虚拟机选项上配置，右键单击虚拟机（关机状态）-》设置-》处理器-》虚拟化引擎标签栏中，选中启动虚拟化。
在Linix内核根据情况启动选项设置intel_iommu=on；
在参考许多教程之后,他们会要求你改变grub文件 /boot/grub/grub.conf,但在Centos7中路径为/etc/default/grub或/etc/sysconfig/grub。在内核中激活Intel VT-d。通过将intel_iommu = on参数附加到grub.conf文件中内核行的内核行来激活内核中的Intel VT-d。通过vi /etc/default/grub编辑器修改，修改GRUB_CMDLINE_LINUX=的参数最后增加一条intel_iommu=on.

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash iommu=pt intel_iommu=on"//添加配置信息iommu=pt intel_iommu=on"

1

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash iommu=pt intel_iommu=on"//添加配置信息iommu=pt intel_iommu=on"

然后使用dracut重新生成grub配置：

yum install grub2 sudo grub2-mkconfig -o /boot/grub2/grub.cfg sudo reboot

1
2
3

yum install grub2
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
sudo reboot

2.5 配置vpp(建议执行步骤，可不选)

如果采用rpm包安装，默认配置文件位置为/etc/vpp/startup.conf。如果采用编译安装方式安装，配置文件位置为/root/vpp/build-root/install-vpp_debug-native/vpp/etc/vpp/startup.conf。

#添加用户组
groupadd -f -r vpp
cd /root/vpp/build-root/install-vpp_debug-native/vpp     //该路径为生成vpp的安装路径
vim ./etc/vpp/startup.conf                               #添加如下内容
    dpdk {
        uio-driver auto             #设置网卡驱动类型，vpp会根据情况自动判断并接管网卡
        dev 0000:02:05.0 {name G0}  #根据命令查看lspci |grep Ethernetpci接口修改
        dev 0000:02:06.0 {name G1}
        socket-mem 1024
    }

#添加用户组

groupadd -f -r vpp

cd /root/vpp/build-root/install-vpp_debug-native/vpp //该路径为生成vpp的安装路径

vim ./etc/vpp/startup.conf #添加如下内容

dpdk {

uio-driver auto #设置网卡驱动类型，vpp会根据情况自动判断并接管网卡

dev 0000:02:05.0 {name G0} #根据命令查看lspci |grep Ethernetpci接口修改

dev 0000:02:06.0 {name G1}

socket-mem 1024

}

读者可以先不采用步骤3,初次使用VPP或DPDK一定请执行第4步，第5步可以视情况修改对应配置，例如网口端口名称,cli入口，cpu，存储等。

2.6 启动vpp

如果采用rpm安装包安装VPP，可以通过修改/etc/vpp/startup.conf之后，然后systemctl start vpp启动服务。如果想要VPP自动加载并接管网卡，需要先down掉网卡，然后采用命令systemctl restart vpp重启VPP后，稍等数秒采用命令vppctl登录。
如果采用编译源码安装方式，可以执行如下命令

#groupadd -f -r vpp
cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vpp -c ./etc/vpp/startup.conf &
#按住ctrl+C退出该服务
./bin/vppctl

#groupadd -f -r vpp

cd /root/vpp/build-root/install-vpp_debug-native/vpp

./bin/vpp -c ./etc/vpp/startup.conf &

#按住ctrl+C退出该服务

./bin/vppctl

2.7 创建网卡接口及IP地址

通过vppctl控制台登录服务进行管理

cd /root/vpp/build-root/install-vpp_debug-native/vpp
./bin/vppctl

1 2	cd /root/vpp/build-root/install-vpp_debug-native/vpp ./bin/vppctl

登录vppctl控制台后，如下图所示，表示登录进入控制台。大多情况下vpp可识别端口并动态创建好，仅需up启动即可。如果没有创建好，通过手动绑定，或重启vpp服务来获取绑定网卡。

vppctl

通过命令查询pci接口，并进行端口创建。

showpci

我们可以通过命令行接口(CLI)动态创建网络接口，而不用配置文件绑定。如执行上述4、5步骤配置pci接口，则下面代码可以忽略。

#个别驱动通过该命令执行
create interface avf 0000:02:06.0
set int state G1 up

#个别驱动通过该命令执行

create interface avf 0000:02:06.0

set int state G1 up

显示端口并配置ip

show int        #显示所有网络接口
set int state G0 up   #启动网络接口
set int ip address G0 192.168.2.2/24    #网络接口设置IP
show int address    #显示所有网络接口地址
show hardware       #显示所有网络接口物理状态
show ip arp         #显示arp信息
show ip fib         #显示fib表相关路由信息

show int #显示所有网络接口

set int state G0 up #启动网络接口

set int ip address G0 192.168.2.2/24 #网络接口设置IP

show int address #显示所有网络接口地址

show hardware #显示所有网络接口物理状态

show ip arp #显示arp信息

show ip fib #显示fib表相关路由信息

赞赏

微信赞赏支付宝赞赏