Nutanix卷 - 建议和最佳实践

  • 2020年10月20日
  • 1回复
  • 5108视图
Ashwin.Ramaswamy
秩
UserLevel 3
徽章 +2

  • 使用DATA Services IP方法将外部主机连接到VGS。

  • 为了向后兼容，您可以非破坏性地升级现有环境，并继续使用MPIO来进行负载平衡和路径弹性。

  • 为了安全起见，至少使用单向第一章。

  • 启用广告。（启用是默认设置。）

  • 在应用程序中使用多个磁盘而不是单个大磁盘。考虑使用每个Nutanix节点的最少一个磁盘来分配群集中所有节点的工作负载。每个Nutanix节点的多个磁盘也可以改善应用程序的性能。

  • 对于性能密集型环境，我们建议每个CVM使用四个和八个磁盘进行给定的工作量。

  • 使用主机中的ISCSI流量使用专用的网络接口。

  • 将使用nutanix卷与ISCSI数据服务IP在同一子网上使用Nutanix卷的位置。

  • 对于ISCSI流量，请使用单个子网（广播域）。避免在客户端启动器和CVM目标之间进行路由。

  • 接收方缩放（RSS）允许系统使用多个CPU进行网络活动。启用了RSS，多个CPU核心处理网络流量，从而阻止了单个CPU核心成为瓶颈。在主机内启用RSS可以有益于繁重的ISCSI工作负载。对于在ESXI环境中运行的VM，RSS需要VMXNET3 VNIC。对于Hyper-V环境，使VMQ能够充分利用虚拟RSS。

  • Nutanix CVM使用默认情况下所有网络接口的标准以太网MTU（最大传输单元）为1,500字节。标准1,500字节MTU提供出色的性能和稳定性。Nutanix不支持将MTU在CVM的网络接口上配置为更高的值。您可以在AHV，ESXI或Hyper-V主机和Hyper-V主机和用户VM的物理网络接口上启用巨型帧（MTU为9,000个字节），如果您的用户VMS上的应用程序需要它们。如果您选择在Hyprovisor主机上使用巨型帧，请确保使它们在所需的网络中结束，并考虑受更改影响的物理和虚拟网络基础架构。

  • 对于Linux环境，请确保SCSI设备超时为60秒。看红帽的文件有关检查和修改此设置的示例。

  • 对于Linux环境，请使用持久的文件系统或设备命名标识符确保应用程序在系统重新启动时正确参考存储设备。请参阅Red Hat的文档持续的命名属性更多细节。

  • 对于Windows环境，将TCPACKFREQUENCY值设置为1连接到卷ISCSI目标的NIC，以便立即确认每个数据包。看Microsoft支持文档更多细节。

  • 使用ISCSI数据服务IP时：

    • 使用默认的ISCSI超时和计时器设置的测试显示路径故障转移需要15到20秒。这些结果很好，在Windows默认磁盘超时（60秒）内。通常，Nutanix建议使用默认的ISCSI客户端计时器设置，除了您使用MPIO时，如下所述。

    • 在需要NIC冗余的物理服务器环境中，您可以使用NIC组合（也称为键合）或MPIO。

    • 使用MPIO进行NIC冗余时，请使用主动载荷平衡策略，例如Round Robin。

    • 使用MPIO时，将Windows ISCSI链接时间设置设置为60秒。

客户调整建议

并非所有环境都需要调整，但是还有其他ISCSI设置可以使某些环境中的性能受益。

  • 对于I/O尺寸为1 MB或更大的大块顺序工作负载，将ISCSI MaxTransferLength从256 KB增加到1 MB是有益的。

  • 对于具有较大存储队列深度要求的工作负载，增加启动器和设备ISCSI客户端队列深度可能是有益的。

默认的nutanix iSCSI目标值如下：

  • ISCSI_MAX_RECV_DATA_SEGMENT_LENGTH

    • 单个PDU数据段中允许的最大字节数。

    • 默认值：1048576

  • iscsi_desired_first_burst_length

    • ISCSI启动器可能会发送到单个SCSI命令的目标中的最大数量。

    • 默认值：16777216

  • iscsi_desired_max_burst_length

    • 如果协商，MaxBurstlength的期望值。

    • 默认值：16777216

  • iscsi_session_queue_size

    • 发起者可以在给定的ISCSI会话上可以提出的最大未偿还请求。

    • 默认值：512

父主题：建议

Linux客户端调整示例

在/etc/iscsi/iscsid.conf文件中的访客OS上配置以下ISCSI设置，然后重新启动ISCSID进程。

node.session.timeo.replacement_timeout = 120

node.conn [0] .timeo.noop_out_interval = 5

node.conn [0] .timeo.noop_out_timeout = 10

Node.Session.CMDS_MAX = 2048

node.session.queue_depth = 1024

node.session.iscsi.immediateata = yes

node.session.iscsi.firstburstlength = 1048576

node.session.iscsi.maxburstlength = 16776192

node.conn [0] .iscsi.maxRecvDataseGermentLength = 1048576

discovery.sendtargets.iscsi.maxrecvdatasegermentlength = 1048576

想要查询更多的信息：

Nutanix卷

Aramaswamy
  • \t

    Use the Data Services IP method for external host connectivity to VGs.<\/span><\/p>\t<\/li>\t

  • \t

    For backward compatibility, you can upgrade existing environments non disruptively and continue to use MPIO for load balancing and path resiliency.<\/span><\/p>\t<\/li>\t

  • \t

    For security, use at least one-way CHAP.<\/span><\/p>\t<\/li>\t

  • \t

    Leave ADS enabled. (Enabled is the default setting.)<\/span><\/p>\t<\/li>\t

  • \t

    Use multiple disks rather than a single large disk for an application. Consider using a minimum of one disk per Nutanix node to distribute the workload across all nodes in a cluster. Multiple disks per Nutanix node may also improve an application\u2019s performance.<\/span><\/p>\t<\/li>\t

  • \t

    For performance-intensive environments, we recommend using between four and eight disks per CVM for a given workload.<\/span><\/p>\t<\/li>\t

  • \t

    Use dedicated network interfaces for iSCSI traffic in your hosts.<\/span><\/p>\t<\/li>\t

  • \t

    Place hosts that use Nutanix Volumes on the same subnet as the iSCSI data services IP.<\/span><\/p>\t<\/li>\t

  • \t

    Use a single subnet (broadcast domain) for iSCSI traffic. Avoid routing between the client initiators and CVM targets.<\/span><\/p>\t<\/li>\t

  • \t

    Receive-side scaling (RSS) allows the system to use multiple CPUs for network activity. With RSS enabled, multiple CPU cores process network traffic, preventing a single CPU core from becoming a bottleneck. Enabling RSS within hosts can be beneficial for heavy iSCSI workloads. For VMs running in ESXi environments, RSS requires VMXNET3 VNICs. For Hyper-V environments, enable VMQ to take full advantage of Virtual RSS.<\/span><\/p>\t<\/li>\t

  • \t

    The Nutanix CVM uses the standard Ethernet MTU (maximum transmission unit) of 1,500 bytes for all the network interfaces by default. The standard 1,500-byte MTU delivers excellent performance and stability. Nutanix does not support configuring the MTU on a CVM's network interfaces to higher values. You can enable jumbo frames (MTU of 9,000 bytes) on the physical network interfaces of AHV, ESXi, or Hyper-V hosts and user VMs if the applications on your user VMs require them. If you choose to use jumbo frames on hypervisor hosts, be sure to enable them end to end in the desired network and consider both the physical and virtual network infrastructure impacted by the change.<\/span><\/p>\t<\/li>\t

  • \t

    For Linux environments, ensure that the SCSI device timeout is 60 seconds. See <\/span>Red Hat\u2019s documentation<\/span><\/a> for an example of checking and modifying this setting.<\/span><\/p>\t<\/li>\t

  • \t

    For Linux environments, use persistent file system or device naming identifiers to ensure that applications reference storage devices correctly across system reboots. See Red Hat\u2019s documentation on <\/span>persistent naming attributes<\/span><\/a> for more details.<\/span><\/p>\t<\/li>\t

  • \t

    For Windows environments, set the TcpAckFrequency value to 1 for the NIC connecting to the Volumes iSCSI targets, so that every packet is acknowledged immediately. See <\/span>Microsoft Support\u2019s documentation<\/span><\/a> for more details.<\/span><\/p>\t<\/li>\t

  • \t

    When using the iSCSI Data Services IP:<\/span><\/p>\t

    • 该主题已关闭以供评论

    1回复

    n

    如果配置ISCSI数据服务IP通过使用AHV＆CVM的其他子网使用，它可以正常工作吗？

    If configure ISCSI Data Service IP\u00a0By using a different subnet with AHV & CVM can it work?<\/p>","quoteUsername":"Noukueyang","translations":{"Common":{"like":"Like","unlike":"Unlike"},"Forum":{"Quote":"Quote","Share":"Share"}}}">
    Learn more about our cookies.<\/a>","cookiepolicy.button":"Accept cookies","cookiepolicy.button.deny":"Deny all","cookiepolicy.link":"Cookie settings","cookiepolicy.modal.title":"Cookie settings","cookiepolicy.modal.content":"We use 3 different kinds of cookies. You can choose which cookies you want to accept. We need basic cookies to make this site work, therefore these are the minimum you can select. Learn more about our cookies.<\/a>","cookiepolicy.modal.level1":"Basic
    Functional","cookiepolicy.modal.level2":"Normal
    Functional + analytics","cookiepolicy.modal.level3":"Complete
    Functional + analytics + social media + embedded videos"}}}">
    Baidu