我正在CentOS 7上安装一个三节点kubernetes集群，但CoreDNS无法连接到API服务器，并且不断重启。
我所遵循的参考HowTo文档是here。
到目前为止，我做了些什么？

• 已禁用SELinux，
• 禁用firewalld、
• 已启用br_netfilter、bridge-nf-call-iptables、
• 在三个节点上安装了kubernetes，设置master的pod网络与flannel默认网络（10.244.0.0/16）、
• 安装了其他两个节点，并加入了master。
• 展开法兰绒，
• 已将Docker的BIP配置为使用flannel默认的每节点子网和网络。

当前状态

• kubelet正常工作，群集报告节点已就绪。
• 集群可以调度和迁移单元，因此CoreDNS会在节点上生成。
• Flannel网络已连接。容器中没有日志，我可以从一个节点到另一个节点ping 10.244.0.0/24网络。
• Kubernetes可以部署和运行任意的pod（尝试过shell demo，并且可以通过kubectl访问其shell，即使容器在不同的节点上。
• 但是，由于DNS无法正常工作，因此无法解析任何IP地址。

有什么问题？

• CoreDNS pod报告它们无法连接到API服务器，错误为：

Failed to list *v1.Namespace: Get https://10.96.0.1:443/api/v1/namespaces?limit=500&resourceVersion=0: dial tcp 10.96.0.1:443: connect: no route to host

字符串

• 在路由表中看不到10.96.0.0路由：

default via 172.16.0.1 dev eth0 proto static metric 100 
  10.1.0.0/24 dev eth1 proto kernel scope link src 10.1.0.202 metric 101 
  10.244.0.0/24 via 10.244.0.0 dev flannel.1 onlink 
  10.244.1.0/24 dev docker0 proto kernel scope link src 10.244.1.1 
  10.244.1.0/24 dev cni0 proto kernel scope link src 10.244.1.1 
  10.244.2.0/24 via 10.244.2.0 dev flannel.1 onlink 
  172.16.0.0/16 dev eth0 proto kernel scope link src 172.16.0.202 metric 100

型

其他信息

• 集群初始化是使用命令kubeadm init --apiserver-advertise-address=172.16.0.201 --pod-network-cidr=10.244.0.0/16完成的。
• 我已经拆除了群集并使用1.12.0重建，但问题仍然存在。
• Kubernetes文档中的解决方法不起作用。
• 1.11-3和1.12-0 CentOS7软件包存在相同的问题。

到目前为止的进展

• 已将Kubernetes降级为1.11.3-0。
• 使用kubeadm init --apiserver-advertise-address=172.16.0.201 --pod-network-cidr=10.244.0.0/16重新初始化Kubernetes，因为服务器有另一个无法通过其他主机访问的外部IP，并且Kubernetes倾向于选择该IP作为API服务器IP。--pod-network-cidr由flannel强制执行。
• 初始化 * 后产生的iptables -L输出，没有联接节点 *

Chain INPUT (policy ACCEPT)
  target     prot opt source               destination         
  KUBE-EXTERNAL-SERVICES  all  --  anywhere             anywhere             ctstate NEW /* kubernetes externally-visible service portals */
  KUBE-FIREWALL  all  --  anywhere             anywhere            

  Chain FORWARD (policy ACCEPT)
  target     prot opt source               destination         
  KUBE-FORWARD  all  --  anywhere             anywhere             /* kubernetes forwarding rules */
  DOCKER-USER  all  --  anywhere             anywhere            

  Chain OUTPUT (policy ACCEPT)
  target     prot opt source               destination         
  KUBE-SERVICES  all  --  anywhere             anywhere             ctstate NEW /* kubernetes service portals */
  KUBE-FIREWALL  all  --  anywhere             anywhere            

  Chain DOCKER-USER (1 references)
  target     prot opt source               destination         
  RETURN     all  --  anywhere             anywhere            

  Chain KUBE-EXTERNAL-SERVICES (1 references)
  target     prot opt source               destination         

  Chain KUBE-FIREWALL (2 references)
  target     prot opt source               destination         
  DROP       all  --  anywhere             anywhere             /* kubernetes firewall for dropping marked packets */ mark match 0x8000/0x8000

  Chain KUBE-FORWARD (1 references)
  target     prot opt source               destination         
  ACCEPT     all  --  anywhere             anywhere             /* kubernetes forwarding rules */ mark match 0x4000/0x4000

  Chain KUBE-SERVICES (1 references)
  target     prot opt source               destination         
  REJECT     udp  --  anywhere             10.96.0.10           /* kube-system/kube-dns:dns has no endpoints */ udp dpt:domain reject-with icmp-port-unreachable
  REJECT     tcp  --  anywhere             10.96.0.10           /* kube-system/kube-dns:dns-tcp has no endpoints */ tcp dpt:domain reject-with icmp-port-unreachable

型

• API服务器似乎已按其应有的方式部署

$ kubectl get svc kubernetes -o=yaml
  apiVersion: v1
  kind: Service
  metadata:
    creationTimestamp: 2018-10-25T06:58:46Z
    labels:
      component: apiserver
      provider: kubernetes
    name: kubernetes
    namespace: default
    resourceVersion: "6"
    selfLink: /api/v1/namespaces/default/services/kubernetes
    uid: 6b3e4099-d823-11e8-8264-a6f3f1f622f3
  spec:
    clusterIP: 10.96.0.1
    ports:
    - name: https
      port: 443
      protocol: TCP
      targetPort: 6443
    sessionAffinity: None
    type: ClusterIP
  status:
    loadBalancer: {}

型

• 然后，我将法兰绒网络吊舱与

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

型

• 一旦我应用了flannel网络，CoreDNS pod就启动并开始给予相同的错误：

Failed to list *v1.Endpoints: Get https://10.96.0.1:443/api/v1/endpoints?limit=500\u0026resourceVersion=0: dial tcp 10.96.0.1:443: connect: no route to host

型

• 我发现flanneld使用了错误的网络接口，并在部署前在kube-flannel.yml文件中更改了它。但是结果仍然是一样的。