CentOS命令行版下创建KVM虚拟机（VM）并添加SR-IOV的虚拟网卡（VF）
前言一、KVM1、KVM及相关技术（qemu、libvirt）2、创建KVM虚拟机二、SR-IOV1、SR-IOV的概念2、使用SR-IOV创建VF三、将VF分配给创建好的VM总结参考链接最近看到一篇文章，内容是关于SR-IOV中VF的创建与将VF添加到VM中。比本文详细很多，供大家参考 /sctb/p/13848201.html
前言
我目前的需求是在服务器中创建几个虚拟机，并使其进行RDMA通信。由于使用的是centos服务器，而且还是命令行版的，比较麻烦。所以打算使用KVM来创建虚拟机。进行RDMA通信需要网卡的支持，因为服务器上的物理网卡是Mellanox 的 connectX6，所以打算使用SR-IOV来在connectX6创建几个VF供虚拟机使用。若各位有更好的方法，还望不吝赐教！
一、KVM
1、KVM及相关技术（qemu、libvirt）
KVM 全称是基于内核的虚拟机（Kernel-based Virtual Machine）是一个开源软件，基于内核的虚拟化技术，实际是嵌入系统的一个虚拟化模块，通过优化内核来使用虚拟技术，该内核模块使得 Linux 变成了一个Hypervisor，虚拟机使用 Linux 自身的调度器进行管理。
kvm负责cpu虚拟化和内存虚拟化，实现了cpu和内存的虚拟化，但kvm不能模拟其他设备
qemu是模拟IO设备（网卡，磁盘），kvm加上qemu之后就能实现真正意义上服务器虚拟化。
libvirt则是调用kvm虚拟化技术的接口进行管理
具体参考这里
2、创建KVM虚拟机
virsh是基于libvirt的一个命令行工具。可用于配置、管理虚拟机。具体使用方法请virsh --help或这里
virt-install用于创建新的KVM虚拟机。格式如下（正确的指令）
virt-install --name rhel7anaconda-guest -r 1024 --location=/home/jherrman/Downloads/rhel-workstation-7.4-x86_64-dvd.iso --disk size=8 --nographics --extra-args="console=tty0 console=ttyS0,115200n8"
将上面的路径改为自己主机中iso镜像的存储位置即可。镜像下载。这里的参数 --extra-args=“console=tty0 console=ttyS0,115200n8” 在命令行linux模式下非常重要。
我之前使用的安装指令（有问题的指令），一直没有成功
virt-install --name centos --ram 1024 --vcpus=1 --disk path=/var/vm/disk/centos7.raw --network network:default --os-variant=rhel7 -l http://tel./centos/7/os/x86_64/ --extra-args='console=tty0 console=ttyS0,115200n8'
可能是使用了–disk path=/var/vm/disk/centos7.raw，导致一直连接不上虚拟机。若有相同情况的朋友，一定要使用第一条安装指令！！
二、SR-IOV
1、SR-IOV的概念
SR-IOV（Single-Root I/O Virtualization）技术是一种基于物理硬件的虚拟化解决方案，可提高物理I/O设备的性能的可扩展性。SR-IOV技术允许在虚拟机之间高效共享PCIe设备，由于SR-IOV技术是基于硬件实现的，可以使虚拟机获得与宿主机媲美的I/O性能。
我的理解是：SR-IOV可以将物理硬件资源虚拟化一部分出来，虚拟出来的这部分资源可以当做完整的硬件资源使用，但是功能肯定没有物理硬件资源那么齐全。
SR-IOV定义了两种功能类型：
物理功能（PF）：PF是全功能的PCIE，可以像其他任何PCIE设备一样进行发现、管理、和处理。PF拥有完全配置和控制PCIE设备资源的能力。
虚拟功能（VF）：VF是一种轻量级的PCIE功能，VF可以与PF以及与同一PF相关联的其他VF共享一个或多个物理资源。VF仅允许拥有用于其自身行为的配置资源。
2、使用SR-IOV创建VF
可以参照官网文档
创建方法：
选择将要进行SR-IOV操作的物理网卡。我这里的物理网卡名称为p4p2
确保SR-IOV功能在系统中是启用的。可以参照官网文档
查看网卡所支持分配的VF数量。将设备改为自己机器上的网卡
cat /sys/ class/net/p4p2/device/sriov_totalvfs
开启SR-IOV功能
echo 2 > /sys/ class/net/p4p2/device/sriov_numvfs
此时VF已经创建完成。可以使用IP工具给创建好的VF配置MAC地址
ip link set p4p2 vf 0 mac e4:11:22:33:44:50ip link set p4p2 vf 1 mac e4:11:22:33:44:51
查看ip link show p4p2
此时VF已经创建完成
三、将VF分配给创建好的VM
查看已创建的VF的pci号，我用的是pci_0000_42_01_2这个VF。
在任意路径下创建XML文件，我是用的路径是 /etc/libvirt/qemu/networks/ ，因为这里是虚拟机网络配置文件的地方。命名为yxj-interface.xml
其内容
<interface type='hostdev' managed='yes'><source><address type='pci' domain='0x0000' bus='0x42' slot='0x01' function='0x2'/></source></interface>
保存后，加载该xml文件
virsh net-define /tmp/passthrough.xml
最后使用命令，将VF添加到VM上
virsh attach-device MyGuest /etc/libvirt/qemu/networks/yxj-interface.xml --live --config
这样一个虚拟的SR-IOV网卡就被添加到KVM的虚拟机上了
最后的网络配置可根据个人需求进行处理。
总结
第一步通过virsh-install命令创建VM
第二步生成SR-IOV的VF
第三步将VF绑定到VM
这里只介绍了最基本的处理方式，根据个人的不同需求可以适当的进行调整。比如我最后还需要将VF连接到OVS网桥上，这里还需要在将PF上默认的模式从Legacy改为SwitchDev。
参考链接
/documentation/en-us/red_hat_enterprise_linux/7/html/virtualization_getting_started_guide
/documentation/en-us/red_hat_enterprise_linux/7/html-single/virtualization_deployment_and_administration_guide
