Nutanix卷-建议和最佳实践

  • 2020年10月20日
  • 1回复
  • 3831观点
ashwin.ramaswamy.
秩
UserLevel 3.
徽章 +2

  • 使用数据服务IP方法进行外部主机连接到VGS。

  • 为向后兼容性，您可以升级现有环境，并继续使用MPIO进行负载平衡和路径弹性。

  • 为了安全，至少使用单向CHAP。

  • 留下广告已启用。（启用是默认设置。）

  • 为应用程序使用多个磁盘而不是单个大磁盘。考虑为每个Nutanix节点使用至少一个磁盘，以便将工作负载分布到集群中的所有节点。每个Nutanix节点多个磁盘也可以提高应用程序的性能。

  • 对于性能密集型环境，我们建议使用每个CVM的四个和八个磁盘，用于给定工作负载。

  • 为主机中的iSCSI通信使用专用的网络接口。

  • 将主机放在与iSCSI数据服务IP相同的子网上使用Nutanix卷。

  • 为iSCSI流量使用单个子网（广播域）。避免在客户端启动器和CVM目标之间路由。

  • 接收端缩放（RSS）允许系统使用多个CPU进行网络活动。启用了RSS，多个CPU核心处理网络流量，防止单个CPU内核成为瓶颈。在主机中启用RSS可以有利于重型ISCSI工作负载。对于在ESXi环境中运行的VM，RSS需要VMXNET3 VNIC。对于Hyper-V环境，使VMQ能够充分利用虚拟RSS。

  • 默认情况下，Nutanix CVM的所有网络接口都使用标准的以太网MTU(最大传输单元)1500字节。标准的1500字节MTU提供了卓越的性能和稳定性。Nutanix不支持将CVM网络接口的MTU设置为较高值。当用户虚拟机上的应用需要使用AHV、ESXi或Hyper-V主机和用户虚拟机的物理网口时，可以在主机和用户虚拟机的物理网口上启用巨型帧(MTU为9000字节)。如果选择在管理程序主机上使用巨型帧，请确保在所需的网络中端到端启用它们，并考虑受更改影响的物理和虚拟网络基础设施。

  • 对于Linux环境，请确保SCSI设备超时为60秒。看红帽的文件查看检查和修改此设置的示例。

  • 对于Linux环境，使用持久性文件系统或设备命名标识符，以确保在系统重新启动时正确地将存储设备正确参考存储设备。看到红帽的文档持久的命名属性更多细节。

  • 对于Windows环境，将TCPackFrequency值设置为1的NIC连接到卷iSCSI目标，以便立即确认每个数据包。看Microsoft支持的文档更多细节。

  • 使用iSCSI数据服务IP时：

    • 使用默认iSCSI超时和定时器设置的测试已显示路径故障转移需要15到20秒。这些结果在Windows默认磁盘超时内很好，即60秒。通常，Nutanix建议使用默认的iSCSI客户端定时器设置，其中包含MPIO - 如下所述。

    • 在需要NIC冗余的物理服务器环境中，您可以使用NIC组合（也称为绑定）或MPIO。

    • 使用MPIO进行NIC冗余时，请使用诸如循环的主动主动负载余额策略。

    • 使用MPIO时，将Windows iSCSI LinkDowntime设置设置为60秒。

客户调整建议

并非所有环境都需要调整，但还有额外的iSCSI设置可以在某些环境中使用性能。

  • 对于I/O大小为1mb或更大的大块顺序工作负载，将iSCSI MaxTransferLength从256kb增加到1mb是有益的。

  • 对于具有大存储队列深度要求的工作负载，增加启动器和设备iSCSI客户端队列深度可能是有益的。

默认的Nutanix iSCSI target值如下:

  • iscsi_max_recv_data_segment_length.

    • 单个PDU数据段中允许的最大字节数。

    • 默认值:1048576

  • Iscsi_desired_first_burst_length

    • 在单个SCSI命令中，iSCSI启动器可以发送给目标器的未经请求的数据的最大字节数。

    • 默认值:16777216

  • Iscsi_desired_max_burst_length

    • 如果协商，MaxBurstLength的所需值。

    • 默认值:16777216

  • iscsi_session_queue_size.

    • 启动器可以在给定的iSCSI会话上具有最大未完成请求。

    • 默认值：512

父主题：建议书

Linux客户端调优示例

在客户端上在/etc/iscsi/iscsid.conf文件中配置以下iSCSI设置，然后重新启动iSCSID进程。

node.session.timeo.replacement_timeout = 120.

node.conn [0] .timeo.noop_out_interval = 5

node.conn [0] .timeo.noop_out_timeout = 10

node.session.cmds_max = 2048.

node.session。queue_depth = 1024

node.session.iscsi.ImmediateData = Yes

node.session.iscsi.FirstBurstLength = 1048576

node.session.iscsi.maxburstlength = 16776192.

node.conn [0] .iscsi.maxrecvdatasementLength = 1048576

discovery.sendtargets.iscsi.maxRecvdatasementLength = 1048576.

想要查询更多的信息：

Nutanix卷

阿拉玛威
  • \t

    Use the Data Services IP method for external host connectivity to VGs.<\/span><\/p>\t<\/li>\t

  • \t

    For backward compatibility, you can upgrade existing environments non disruptively and continue to use MPIO for load balancing and path resiliency.<\/span><\/p>\t<\/li>\t

  • \t

    For security, use at least one-way CHAP.<\/span><\/p>\t<\/li>\t

  • \t

    Leave ADS enabled. (Enabled is the default setting.)<\/span><\/p>\t<\/li>\t

  • \t

    Use multiple disks rather than a single large disk for an application. Consider using a minimum of one disk per Nutanix node to distribute the workload across all nodes in a cluster. Multiple disks per Nutanix node may also improve an application\u2019s performance.<\/span><\/p>\t<\/li>\t

  • \t

    For performance-intensive environments, we recommend using between four and eight disks per CVM for a given workload.<\/span><\/p>\t<\/li>\t

  • \t

    Use dedicated network interfaces for iSCSI traffic in your hosts.<\/span><\/p>\t<\/li>\t

  • \t

    Place hosts that use Nutanix Volumes on the same subnet as the iSCSI data services IP.<\/span><\/p>\t<\/li>\t

  • \t

    Use a single subnet (broadcast domain) for iSCSI traffic. Avoid routing between the client initiators and CVM targets.<\/span><\/p>\t<\/li>\t

  • \t

    Receive-side scaling (RSS) allows the system to use multiple CPUs for network activity. With RSS enabled, multiple CPU cores process network traffic, preventing a single CPU core from becoming a bottleneck. Enabling RSS within hosts can be beneficial for heavy iSCSI workloads. For VMs running in ESXi environments, RSS requires VMXNET3 VNICs. For Hyper-V environments, enable VMQ to take full advantage of Virtual RSS.<\/span><\/p>\t<\/li>\t

  • \t

    The Nutanix CVM uses the standard Ethernet MTU (maximum transmission unit) of 1,500 bytes for all the network interfaces by default. The standard 1,500-byte MTU delivers excellent performance and stability. Nutanix does not support configuring the MTU on a CVM's network interfaces to higher values. You can enable jumbo frames (MTU of 9,000 bytes) on the physical network interfaces of AHV, ESXi, or Hyper-V hosts and user VMs if the applications on your user VMs require them. If you choose to use jumbo frames on hypervisor hosts, be sure to enable them end to end in the desired network and consider both the physical and virtual network infrastructure impacted by the change.<\/span><\/p>\t<\/li>\t

  • \t

    For Linux environments, ensure that the SCSI device timeout is 60 seconds. See <\/span>Red Hat\u2019s documentation<\/span><\/a> for an example of checking and modifying this setting.<\/span><\/p>\t<\/li>\t

  • \t

    For Linux environments, use persistent file system or device naming identifiers to ensure that applications reference storage devices correctly across system reboots. See Red Hat\u2019s documentation on <\/span>persistent naming attributes<\/span><\/a> for more details.<\/span><\/p>\t<\/li>\t

  • \t

    For Windows environments, set the TcpAckFrequency value to 1 for the NIC connecting to the Volumes iSCSI targets, so that every packet is acknowledged immediately. See <\/span>Microsoft Support\u2019s documentation<\/span><\/a> for more details.<\/span><\/p>\t<\/li>\t

  • \t

    When using the iSCSI Data Services IP:<\/span><\/p>\t

    • 1回复

    N.

    如果配置ISCSI数据服务IP使用不同的子网与AHV和CVM是否可以工作?

    If configure ISCSI Data Service IP\u00a0By using a different subnet with AHV & CVM can it work?<\/p>","quoteUsername":"Noukueyang","translations":{"Common":{"like":"Like","unlike":"Unlike"},"Forum":{"Quote":"Quote","Share":"Share"}}}">

    回复


    Baidu