在Nutanix vm中的Cloudera

  • 2017年3月13日
  • 2回答
  • 878的浏览量

徽章 + 1
嗨!有人在Nutanix环境中运行Cloudera吗?不仅仅是Hadoop,特别是企业Cloudera Hadoop实现。我们正在将我们的生产Cloudera集群迁移到Nutanix虚拟机的过程中,有许多与磁盘延迟相关的问题。我知道Nutanix Hadoop参考文档,但是我们的配置不太适合,因为它是从物理设备上开始的,并且现有的生产配置在此时更改将具有挑战性。例如,我们还没有运行YARN,仍然在MapReduce V1上运行,尽管我们正在开发环境中朝着这个方向前进。

我们有一个专门用于HDFS目录的存储容器,在VMWare中从它中提取出虚拟磁盘,但我们看到vdisk的平均延迟为* 300ms,峰值为几秒。我们的I/O写得很重;Nutanix建议我们禁用EC-X,我们照做了,但没有帮助。我们在那个容器上运行RF2,没有重复数据删除,内联压缩。vdisk是分区的,分区上有ext4文件系统,挂载的是“noatime”。

如果有人成功地在Nutanix上启动了一个Cloudera环境,你发现了什么问题(并解决了)?我完全有可能愚蠢地配置了某个东西,但我怎么也想不出它可能是什么。谢谢!

2回答

Userlevel 4
徽章 + 19
您将绑定多少vdisks到虚拟机?不是Cloudera,但我刚刚完成了SAS-Grid POC,我们看到了从4到8的改进。
徽章 + 1
我们在每个VM上有4个2TB的vDisks。我不确定我能不能得到8,容器里没有足够的空间;我可能得去掉一些,再加回去。你知道为什么这个改变解决了你的问题吗?谢谢! ! !

回复


Baidu