问题

Karbon 2.3 DVP部署问题（集中式Prism VPN Site2site）

1个月前
10月14日2021年10月14日
4回复
56意见

igorstankovic
冒险家
5回复

你好呀，

我们目前正在部署(和测试)Karbon作为K8编曲平台，用于我们所有Nutanix平台(全球)。我在棱镜中心的安装尝试失败。

顺便提一下，我们正在使用Prism Control的VPN Site2Site，我可以通过远程Nutanix部署到达远程K8 VLAN。reach测试使用属于K8 VLAN测试节点的小型VM，通过私有CIDR(双向测试)完成，但使用相同的加密VPN通道。

这是我从karbon_core得到的。(PCVM):

2021 - 10 - 13 - t21:17:12.687z ssh。[DEBUG] [k8s_cluster=RGS-PA-K8-STAGING]在10.20.25.130:22执行:docker plugin inspect nutanix
2021-10-13T21：17：12.825z ssh.go：166：[警告] [K8S_CLUSTER = RGS-PA-K8-Staraging]运行CMD失败：无法运行命令：在主机（10.20.25.130:22）cmd（Docker插件inspect nutanix）错误：“流程退出状态1”，输出：“错误：没有这样的插件：nutanix \ n [] \ n”
2021 - 10 - 13 t21:17:12.825z sshutils。go:44: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING] Unable to run commands [docker plugin inspect nutanix] on 10.20.25.130: "Failed to configure with SSH: Failed to run command: on host(10.20.25.130:22) cmd(docker plugin inspect nutanix) ERROR: \"Process exited with status 1\"
2021-10-13T21：17：12.825Z安装无法使用ssh配置：无法运行命令：在主机（10.20.25.130:22）cmd（docker plugin inspect nutanix）错误：“使用状态1退出的过程”
2021 - 10 - 13 t21:17:12.825z安装。go:67: [INFO] [k8s_cluster=RGS-PA-K8-STAGING]安装ntnx dvp on host: 10.20.25.130
2021 - 10 - 13 t21:17:12.825z安装。go:150: [DEBUG] [k8s_cluster=RGS-PA-K8- staging]命令:mkdir -p /etc/docker-plugin-certs && /home/nutanix/docker_plugin/create_plugin_from_tar.sh '/home/nutanix/docker_plugin/dvp.tar.gz' 'nutanix' '10.20.1.10' '10.20.1.50' '' '' 'RGS-PA-K8'
2021-10-13T21：17：12.993z SSH.GO：138：[调试] [K8S_CLUSTER = RGS-PA-K8-Stanging]复制/ etc / docker-plugin-certs / key至10.20.25.130:22
2021-10-13T21：17：13：13.157z ssh.go：138：[调试] [K8S_CLUSTER = RGS-PA-K8-Stanging]复制/ etc / docker-plugin-certs / cert到10.20.25.130:22
2021-10-13T21：17：13：13.262z ssh.go：138：[debug] [k8s_cluster = rgs-pa-k8-staging]复制/etc/docker-plugin-certs/ca.pem到10.20.25.130:22
2021-10-13T21：17：13.367z ssh.go：138：[debug] [k8s_cluster = rgs-pa-k8暂停]将/var/nutanix/host_upgrade/preupgrade-docker-plugin-certs.sh复制到10.20。25.130：22
I1013 14：21：57.379644 1 forwarder.go：328]转发到MetricDataSampleList CFS：[timestamp_usecs：16341597亿entity_type_name： “acs_stats_table” metric_list： “pc_cluster_uuid” metric_list： “k8s_cluster_uuid” metric_list： “last_val_karbon_version” metric_list： “last_val_cluster_name” metric_list：”last_val_cluster_prefix “metric_list： ”last_val_k8s_version“ metric_list： ”last_val_os_flavor“ metric_list： ”last_val_etcd_cluster_uuid“ metric_list： ”last_val_etcd_members_count“ metric_list： ”last_val_per_etcd_cpu“ metric_list： ”last_val_per_etcd_mem“ metric_list： ”last_val_master_deploy_type“ metric_list： ”last_val_masters_count“ metric_list： ”last_val_per_master_cpu“ metric_list：”last_val_per_master_mem “metric_list： ”last_val_workers_count“ metric_list： ”last_val_per_worker_cpu“ metric_list： ”last_val_per_worker_mem“ metric_list： ”last_val_logging_state“ metric_list： ”last_val_logging_version“ metric_list： ”last_val_fluentbit_version“ metric_list： ”last_val_elasticsearch_version“ metric_list：” last_val_eLasticsearh_Image“Metric_List：”Last_Val_kibana_version“Metric_List：”Last_Val_kibana_Image“Metric_List：”last_val_proxy_used“num_dimensions：2]
I1013 14:21:57.385927 1货代。收到PutMetricDataArg的响应:
2021 - 10 - 13 t21:22:08.925z sshutils。[ERROR] [k8s_cluster=RGS-PA-K8- staging] Unable to run commands [mkdir -p /etc/docker-plugin-certs && /home/nutanix/docker_plugin/create_plugin_from_tar.sh '/home/nutanix/docker_plugin/dvp.tar.gz' 'nutanix' '10.20.1.10' '10.20.1.50' '' '' 'RGS-PA-K8'] on 10.20.25.15: "Operation timed out"
2021-10-13T21：22：08.925Z安装
2021 - 10 - 13 t21:22:08.925z etcd_scale。go:40: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING] Failed to install the ntnx dvp on etcd node: 10.20.25.15 with err: Failed to deploy the ntnx dvp: Operation timed out
2021 - 10 - 13 t21:22:08.925z node_pool_create。go:337: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING] Failure in init vm callback: failed to deploy the ntnx dvp: Operation timed out .
2021-10-13T21：22：08.925Z node_pool_create.go：251：[debug] [k8s_cluster = rgs-pa-k8-staging]清理失败VM“RGS-PA-K8-Staging-D2D032-ETCD-2”它的实体

发生故障发生的情况有点不清楚。如果DVP插件不存在，则下一个命令序列是安装的一部分，但它不清楚安装失败。

需要说明的是，我尝试使用来自测试VM的DVP插件，我可以将存储容器挂载为一个卷OK。安装失败时该节点属于同一个K8 VLAN。

谢谢你的任何反馈！

伊戈尔

4回复

UserLevel 4.

josenutanix
Nutanix员工
54个回复
1个月前
2021年10月15日

嗨,伊戈尔,

您是否在PC和远程K8S网络之间拥有任何防火墙规则，即它不从计算机连接到测试VM以安装DVP？

此外，如果可能的话，我建议在一个本地VLAN中运行一个测试，以确保部署是成功的，然后将重点放在PC和远程站点之间的连接上。

一世

igorstankovic
作者
冒险家
5回复
1个月前
2021年10月16日

你好何塞!非常感谢你的帮助。

我在这里找到了罪魁祸首。本质上，我们正在运行集中的Prism控制，它与site2site FW的VPN隧道连接到其他Nutanix平台，因此管理是集中的。

然而，我必须在加密的2s通道的接口之间完全免除NAT的私有CIDR，特别是在Nutanix接口之间的路由。返回的网络数据包没有源IP地址，所以出现了故障，现在已经修复。

奇怪的是，您是否计划在Karbon即可随时支持Kubernetes 2.1+？

所以，卡汶部署几乎进入了最后，现在我对卡里戈有不同的问题，所以再次失败：

2021 - 10 - 16 t11:51:32.407z印花棉布。go:552: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING]验证calico插件失败
2021 - 10 - 16 t11:51:32.407z k8s_deploy。go:1478: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING] Failed to deploy calico/flannel: Failed to deploy calico: Failed to verify calico: [Operation timed out: expected 5 nodes to running calico-node daemon pod in kube-system namespace.]当前运行:2，操作超时:期望kube-system命名空间中有一个calico-kube-controllers部署的可用副本。目前运行：0]
2021 - 10 - 16 t11:51:32.407z k8s_deploy。go:155: [ERROR] [k8s_cluster=RGS-PA-K8-STAGING] failed to deploy cluster addons: failed to deploy K8s cluster addons: failed to deploy calico: failed to verify calico: [Operation timed out: expected 5 nodes to running calico-node daemon pod in kube-system namespace.]当前运行:2，操作超时:期望kube-system命名空间中有一个calico-kube-controllers部署的可用副本。目前运行：0]
2021-10-16T11：51：32.432z k8s_lib_deploy_task.go：112：[错误] [k8s_cluster = rgs-pa-k8-staging]无法部署K8s群集：无法部署群集插件：无法部署K8S群集插件：失败要部署Calico：无法验证Calico：[操作超时：期待5个节点在Kube-System命名空间中运行Calico-Node守护程序POD。当前运行:2，操作超时:期望kube-system命名空间中有一个calico-kube-controllers部署的可用副本。目前运行：0]
2021-10-16T11：51：32.432z k8s_lib_deploy_task.go：78：[info] [k8s_cluster = rgs-pa-k8-staging]令牌修复者收到stoprefresh
2021 - 10 - 16 t11:51:32.444z deploy_k8s_task。: 364(错误):[k8s_cluster = RGS-PA-K8-STAGING]集群RGS-PA-K8-STAGING: k8集群部署失败:失败集群部署插件:未能k8集群部署插件:未能部署棉布:未能验证棉布:[操作超时:预计5节点运行calico-node守护进程pod kube-system名称空间中。当前运行:2，操作超时:期望kube-system命名空间中有一个calico-kube-controllers部署的可用副本。目前运行：0]