Nutanix VM中的Cloudera
+1
大家好!有人在Nutanix环境中经营Cloudera吗?不仅是Hadoop,而且是企业Cloudera Hadoop实施。我们正在将生产Cloudera群集迁移到Nutanix VM,并存在与磁盘延迟有关的许多问题。我知道Nutanix Hadoop参考文档,但是我们的配置并不完全合适,因为它始于物理设备,并且现有的生产配置在这一点上更改将是具有挑战性的。例如,我们还没有运行纱线,但仍在MapReduce V1上,尽管我们正在开发环境中移动该方向。
我们有一个专门用于HDFS目录的存储容器,在VMware中用它雕刻出虚拟磁盘,但是我们看到Vdisk Letcies *平均 * 300ms * 300ms,经常峰值到几秒钟。我们的I/O写得很重;Nutanix建议我们禁用EC-X,所以我们做到了,但没有帮助。我们正在该容器上运行RF2,没有重复数据删除,内联压缩。VDisk被分区,分区上有Ext4文件系统,安装在“ Noatime”上。
如果有人成功地在nutanix上散布了克卢德拉环境,那么您发现了什么陷阱(解决)?我很有可能愚蠢地配置了一些东西,但是我无法弄清楚它可能是什么。谢谢!
我们有一个专门用于HDFS目录的存储容器,在VMware中用它雕刻出虚拟磁盘,但是我们看到Vdisk Letcies *平均 * 300ms * 300ms,经常峰值到几秒钟。我们的I/O写得很重;Nutanix建议我们禁用EC-X,所以我们做到了,但没有帮助。我们正在该容器上运行RF2,没有重复数据删除,内联压缩。VDisk被分区,分区上有Ext4文件系统,安装在“ Noatime”上。
如果有人成功地在nutanix上散布了克卢德拉环境,那么您发现了什么陷阱(解决)?我很有可能愚蠢地配置了一些东西,但是我无法弄清楚它可能是什么。谢谢!
该主题已关闭以供评论
+1
每个VM上都有4个2TB VDISK。我不确定我可以去8,容器中没有足够的空间。我可能必须删除一些并将其添加回去。您是否有任何猜测,为什么会改变您的问题?谢谢!!!
Learn more about our cookies.<\/a>","cookiepolicy.button":"Accept cookies","cookiepolicy.button.deny":"Deny all","cookiepolicy.link":"Cookie settings","cookiepolicy.modal.title":"Cookie settings","cookiepolicy.modal.content":"We use 3 different kinds of cookies. You can choose which cookies you want to accept. We need basic cookies to make this site work, therefore these are the minimum you can select. Learn more about our cookies.<\/a>","cookiepolicy.modal.level1":"Basic
Functional","cookiepolicy.modal.level2":"Normal
Functional + analytics","cookiepolicy.modal.level3":"Complete
Functional + analytics + social media + embedded videos"}}}">
Functional","cookiepolicy.modal.level2":"Normal
Functional + analytics","cookiepolicy.modal.level3":"Complete
Functional + analytics + social media + embedded videos"}}}">