你好伴侣，
我们有2x NX3350和Arista开关，可处理大约100 Vm。
工作负载是：
具有重型磁盘工作负载的20倍VM，主要用于报告和分析。R/W比约为50/50。当他们使用RAID10和Tiny Flash Tier居住在SAN存储中时，他们创造了20K IOPS工作量，而平均延迟始终低于5 ms。
10倍VM用于应用程序虚拟化
70x VM用于桌面虚拟化。
现在，当我们迁移到Nutanix时，我们只有4K群集IOPS和20毫秒的延迟，这似乎对我们来说并不好。
试图解决问题，我们启用了内联压缩，并将CVM内存提高到20GB。我们还试图更改层顺序写入优先级。不幸的是，这无济于事。
NCC，集群状态和Prism Health声称一切都可以。在我们迁移环境之前，我们已经运行了诊断VM，结果大约是100K IOPS供阅读。
这是集群的当前配置：NOS版本：4.0.1.1
1个存储池
7个具有启用内联压缩的容器
另外，请参见一个节点上的2009/延迟页面输出，例如：
读：
NFS_Adapter：
阶段AVG潜伏期（US）OP计数延迟％OP计数该组件总数的总数
NFS_ADAPTER COMPONENT42348273618100100100100
RangelocksAcquired027361800100100
InodelockQuired527383000100100
sendToAdmctl427377200100100
Stargate_admctl423032737729999100100
admctldone227377200100100
完成827382800100100
写信：
NFS_Adapter：
阶段AVG潜伏期（US）OP计数延迟％OP计数该组件总数的总数
NFS_ADAPTER组件21420150682100100100100
RangelocksAcquired015068200100100
InodelockQuired1615283800101101
sendToAdmctl16148526009898
Stargate_admctl2150614852698989898
admctldone2148526009898
饰面18215283100101101
有什么想法吗？
br
更新
我们今天在生产工作量期间运行了诊断VM。这是输出：
等待热缓存齐平...........完成。
运行测试“顺序写带宽” ...
开始fio_seq_write：2014年10月1日11:52:11
1475 Mbps
end fio_seq_write：星期三10月1日11:53:07 2014
持续时间fio_seq_write：56秒
*************************************************************************************************
等待热缓存冲洗..........................完成了。
运行测试“顺序读带宽” ...
开始fio_seq_read：星期三10月1日11:54:16 2014
5104 Mbps
end fio_seq_read：星期三10月1日11:54:33 2014
持续时间fio_seq_read：17秒
*************************************************************************************************
等待热缓存冲洗.........完成。
运行测试“随机阅读iops” ...
开始fio_rand_read：2014年10月1日11:55:20
123849 IOPS
end fio_rand_read：星期三10月1日11:57:02 2014
持续时间fio_rand_read：102秒
*************************************************************************************************
等待热缓存冲洗.......完成了。
运行测试“随机写IOPS” ...
开始fio_rand_write：2014年10月1日11:57:38
85467 IOPS
end fio_rand_write：2014年10月1日11:59：20
持续时间fio_rand_write：102秒
*************************************************************************************************
测试完成。
更新
我们发现，问题在于管理程序数据存储的布局中。如果我将Nutanix容器安装在测试虚拟机内，则一切都可以正常工作，我们的结果很好。一旦VM通过管理程序旋转数据，延迟和IOPS又会糟糕。这样做的原因是什么？
该主题已关闭以供评论
+2
你好，
您应该在Supermicro和一些非常酷的Unix系统克隆上迁移。
sy
您应该在Supermicro和一些非常酷的Unix系统克隆上迁移。
sy
+8
- Nutanix员工
- 4个答复
-
2014年10月2日
你好
显然，这是一个配置问题。
6x3050节点应为您提供至少120000 /60000随机IOPS（热层）。
请打开支持案例，绝对会帮助您解决问题。
显然，这是一个配置问题。
6x3050节点应为您提供至少120000 /60000随机IOPS（热层）。
请打开支持案例，绝对会帮助您解决问题。
+8
- Nutanix员工
- 4个答复
-
2014年10月2日
实际上，如果我们的诊断VM运行良好，则问题可能与您的访客VM配置有关。
应附上多个VDisk（例如，可以与LVM统一），以从VM中获得更多性能，因为Nutanix OS限制了每个VDISK的OPLOG尺寸（以避免“嘈杂的邻居”问题）
实际上，您可以查看我们的诊断VM内部（密码是标准的一个），是CentOS 6.5。LVM连接和管理多个VDisk。这样，您可以获得更好的性能-15-20kiops每单个VM。
使用VMware Paravirtual适配器进行Linux VM，Standart SCSI / SAS可以正常工作。
应附上多个VDisk（例如，可以与LVM统一），以从VM中获得更多性能，因为Nutanix OS限制了每个VDISK的OPLOG尺寸（以避免“嘈杂的邻居”问题）
实际上，您可以查看我们的诊断VM内部（密码是标准的一个），是CentOS 6.5。LVM连接和管理多个VDisk。这样，您可以获得更好的性能-15-20kiops每单个VM。
使用VMware Paravirtual适配器进行Linux VM，Standart SCSI / SAS可以正常工作。
+3
感谢您的回复，
>应附上多个VDISK（例如，可以与LVM统一），以从VM中获得更多性能，因为Nutanix OS限制了每个VDisk的OPLOG大小（以避免“嘈杂的邻居”问题）
当我将容器安装在其中并运行IO测试时，为什么我的测试VM正常工作？它只有一个vdisk，当我运行时，即顺序写测试时，结果〜270MBS吞吐量？
而且，大约半年前，我们测试了相同的1X NX-3350型。我在每个节点上运行4 VM：
1带有随机读取负载，1带随机写入负载，1带顺序写入负载和1带有顺序读取负载的负载。总的来说，我在3个节点上有12个VM。而且我没有每个VM限制感觉任何OPLOG，因为在20多个小时的测试中，我们获得了50k读取IOPS和30K Write IOPS等。唯一的区别是NOS的版本，为3.5。
>应附上多个VDISK（例如，可以与LVM统一），以从VM中获得更多性能，因为Nutanix OS限制了每个VDisk的OPLOG大小（以避免“嘈杂的邻居”问题）
当我将容器安装在其中并运行IO测试时，为什么我的测试VM正常工作？它只有一个vdisk，当我运行时，即顺序写测试时，结果〜270MBS吞吐量？
而且，大约半年前，我们测试了相同的1X NX-3350型。我在每个节点上运行4 VM：
1带有随机读取负载，1带随机写入负载，1带顺序写入负载和1带有顺序读取负载的负载。总的来说，我在3个节点上有12个VM。而且我没有每个VM限制感觉任何OPLOG，因为在20多个小时的测试中，我们获得了50k读取IOPS和30K Write IOPS等。唯一的区别是NOS的版本，为3.5。
+8
- Nutanix员工
- 4个答复
-
2014年10月2日
“我们有50k读的iops和30k写iops的时间”
我不确定是否有可能:)
如果没有多个磁盘，您永远无法在单个VM上获得50K IOP。
同样，这是设计的正常 /预期行为（由多个指南涵盖，例如Nutanix最佳实践中的SQL）
可能，您的测试不正确（使用RAM缓存等）。
同样，如果您对NFS安装的Contaner没有任何问题（+我们的Diagnostics VM运行良好 /表现出完美的表现），则意味着来宾VM配置有问题。
您也可能会有一些拍打 /网络问题。
解决此问题的唯一快速方法是打开支持案例。显而易见的是，情况不正常。
我不确定是否有可能:)
如果没有多个磁盘，您永远无法在单个VM上获得50K IOP。
同样，这是设计的正常 /预期行为（由多个指南涵盖，例如Nutanix最佳实践中的SQL）
可能，您的测试不正确（使用RAM缓存等）。
同样，如果您对NFS安装的Contaner没有任何问题（+我们的Diagnostics VM运行良好 /表现出完美的表现），则意味着来宾VM配置有问题。
您也可能会有一些拍打 /网络问题。
解决此问题的唯一快速方法是打开支持案例。显而易见的是，情况不正常。
+3
感谢您的帮助，
>您永远无法在没有多个磁盘的情况下获得50K IOPS。
>同样，这是设计的正常 /预期行为（由多个指南涵盖，例如Nutanix最佳实践中的SQL）
不是在单个VM上，但是我们为每个节点的每种工作负载都有4 VM。总的来说，我们得到了12 VM。我们有大约40k的IOPS。这些VM是简单的Ubuntu VM，具有没有高级配置的FIO。
>解决此问题的唯一快速方法是打开支持案例。显而易见的是，情况不正常。
谢谢您的建议。我已经为这个问题打开了案例
我不是说我们与NFS容器有麻烦。同样，正如我告诉Beforem时，当我们将NFS容器安装在VM中时，我们获得了完美的结果。我们只有在从管理程序数据存储中读取/写作时才会面临性能问题。
>您永远无法在没有多个磁盘的情况下获得50K IOPS。
>同样，这是设计的正常 /预期行为（由多个指南涵盖，例如Nutanix最佳实践中的SQL）
不是在单个VM上，但是我们为每个节点的每种工作负载都有4 VM。总的来说，我们得到了12 VM。我们有大约40k的IOPS。这些VM是简单的Ubuntu VM，具有没有高级配置的FIO。
>解决此问题的唯一快速方法是打开支持案例。显而易见的是，情况不正常。
谢谢您的建议。我已经为这个问题打开了案例
我不是说我们与NFS容器有麻烦。同样，正如我告诉Beforem时，当我们将NFS容器安装在VM中时，我们获得了完美的结果。我们只有在从管理程序数据存储中读取/写作时才会面临性能问题。
+3
>实际上，您可以查看我们的诊断VM内部（密码是标准的密码），是CentOS 6.5。>有多个由LVM连接和管理的VDisk。这样，您可以获得更好的性能-15-20kiops每单个VM。
我们已经通过VMware工作站部署了诊断VM，并且在VM设置和VM内部仅具有一个VDISK。拜托，您能否再解释一下诊断VM中的多个驱动器？
因为今天我们对8 VDisk创建的跨度卷进行了此类测试。不幸的是，我们只有1.4k IOPS可以随机阅读。顺便说一句，我们将所有重型VM移出了Nutanix，因此现在仅处理VDI和Thin App VM。
我们已经通过VMware工作站部署了诊断VM，并且在VM设置和VM内部仅具有一个VDISK。拜托，您能否再解释一下诊断VM中的多个驱动器？
因为今天我们对8 VDisk创建的跨度卷进行了此类测试。不幸的是，我们只有1.4k IOPS可以随机阅读。顺便说一句，我们将所有重型VM移出了Nutanix，因此现在仅处理VDI和Thin App VM。
Userlevel 1
+4
- Nutanix员工
- 4个答复
-
2014年10月8日
您可以共享使用的FIO脚本/参数吗？我想看看我是否可以复制。
据我了解，您有一个在ESX管理程序中运行的Ubuntu Guest VM。与直接安装NFS相比，ESX上此VM内部的FIO的性能要差得多。
据我了解，您有一个在ESX管理程序中运行的Ubuntu Guest VM。与直接安装NFS相比，ESX上此VM内部的FIO的性能要差得多。
+3
- Nutanix员工
- 1回复
-
2014年10月8日
Tenke
我支持Nutanix，并且我知道我的团队正在与您合作，收集您的集群上的性能数据，我们在收到此期间的工程师会站立地进行分析。到目前为止的诊断尚未指出产品中的任何问题，但是我们需要数据才能进一步潜入以更接近根本原因。
感谢您的支持，并成为Nutanix客户。
我支持Nutanix，并且我知道我的团队正在与您合作，收集您的集群上的性能数据，我们在收到此期间的工程师会站立地进行分析。到目前为止的诊断尚未指出产品中的任何问题，但是我们需要数据才能进一步潜入以更接近根本原因。
感谢您的支持，并成为Nutanix客户。
+3
使用哪个版本的ESXI？
ESXI 5.1 U2
谢谢您的帮助。我会尽快回复。
ESXI 5.1 U2
谢谢您的帮助。我会尽快回复。
Learn more about our cookies.<\/a>","cookiepolicy.button":"Accept cookies","cookiepolicy.button.deny":"Deny all","cookiepolicy.link":"Cookie settings","cookiepolicy.modal.title":"Cookie settings","cookiepolicy.modal.content":"We use 3 different kinds of cookies. You can choose which cookies you want to accept. We need basic cookies to make this site work, therefore these are the minimum you can select. Learn more about our cookies.<\/a>","cookiepolicy.modal.level1":"Basic
Functional","cookiepolicy.modal.level2":"Normal
Functional + analytics","cookiepolicy.modal.level3":"Complete
Functional + analytics + social media + embedded videos"}}}">
Functional","cookiepolicy.modal.level2":"Normal
Functional + analytics","cookiepolicy.modal.level3":"Complete
Functional + analytics + social media + embedded videos"}}}">