在Nutanix vm中的Cloudera

4年前
2017年3月13日
2回答
878的浏览量

+ 1

matthearncsc
冒险家
3回复

嗨!有人在Nutanix环境中运行Cloudera吗?不仅仅是Hadoop，特别是企业Cloudera Hadoop实现。我们正在将我们的生产Cloudera集群迁移到Nutanix虚拟机的过程中，有许多与磁盘延迟相关的问题。我知道Nutanix Hadoop参考文档，但是我们的配置不太适合，因为它是从物理设备上开始的，并且现有的生产配置在此时更改将具有挑战性。例如，我们还没有运行YARN，仍然在MapReduce V1上运行，尽管我们正在开发环境中朝着这个方向前进。

我们有一个专门用于HDFS目录的存储容器，在VMWare中从它中提取出虚拟磁盘，但我们看到vdisk的平均延迟为* 300ms，峰值为几秒。我们的I/O写得很重;Nutanix建议我们禁用EC-X，我们照做了，但没有帮助。我们在那个容器上运行RF2，没有重复数据删除，内联压缩。vdisk是分区的，分区上有ext4文件系统，挂载的是“noatime”。

如果有人成功地在Nutanix上启动了一个Cloudera环境，你发现了什么问题(并解决了)?我完全有可能愚蠢地配置了某个东西，但我怎么也想不出它可能是什么。谢谢!

\n
\nWe have a storage container devoted to our HDFS directories, with virtual disks carved out of it in VMWare, but we're seeing vdisk latencies *averaging* 300ms with frequent spikes to several seconds. Our I\/O is very write heavy; Nutanix advised us to disable EC-X, so we did, but no help. We're running RF2 on that container, no deduplication, inline compression. vdisks are partitioned, with ext4 filesystems on the partitions, mounted \"noatime.\"
\n
\nIf anyone's successfully spun-up a Cloudera environment on Nutanix, what gotchas have you found (and solved)? It's entirely possible I've configured something foolishly, but I can't for the life of me figure out what it might be. Thanks!","quoteUsername":"matthearncsc","translations":{"Common":{"like":"Like","unlike":"Unlike"},"Forum":{"Quote":"Quote","Share":"Share"}}}">