OCP 4.3集群安装

0731128

一、简介

Openshift从4.0时代从OKD(Openshift Kubernetes Distribution)更名为OCP（openshift container platform)

二、安装操作

1、安装架构

图片[1]-OCP 4.3集群安装-不念博客
安装架构
VM Name硬件配置OSIP地址服务
ocp43-tools4C8G100G系统盘CentOS 7.7192.168.1.80PXE、DHCP 、DNS、Web Server、TFTP、NFSv4、Load Balance
ocp43-bootstrap4C8G100G系统盘暂不安装OS
后续会使用辅助节点上的PXE安装上Readhat CoreOS		192.168.1.55临时K8S集群，用来安装OCP、安装完后可以弃用
ocp43-master18C16G100G系统盘暂不安装OS
后续会使用PXE安装上Readhat CoreOS		192.168.1.81OCP集群Master节点
ocp43-worker18C16G100G系统盘暂不安装OS
后续会使用PXE安装上Readhat CoreOS		192.168.1.91OCP集群Worker节点

2、需预先提供的事项

2.1、在ESXI中创建以上配置的虚拟机

  • 可使用govc命令快速创建
  • ocp43-bootstrap、ocp43-master1、ocp43-worker1虚拟机创建后先关机
  • ocp43-bootstrap、ocp43-master1、ocp43-worker1虚拟机的网卡Mac地址，获取方式可使用govc命令：
govc device.info -vm ocp4-worker1 |grep "MAC Address:"

2.2、辅助节点安装PXE/DHCP/DNS/LB

可使用红帽大神开源的Ansible部署脚本，github地址：https://github.com/RedHatOfficial/ocp4-helpernode

2.3、拉取镜像的pull secret

echo | openssl s_client -connect api-int.ocp43.curiouser.com:6443 | openssl x509 -noout -text

3、辅助节点准备

3.1、基础环境准备

  • 开启SELinux
  • 固定IP地址
  • 生成SSH密钥
  • 设置代理
  • 设置主机名
  • 开启ssh-agent
  • 安装ansible、git等基础软件
sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' /etc/selinux/config

echo 'export HTTP_PROXY="http://192.168.1.7:8001"' >> ~/.zshrc
echo 'export HTTPS_PROXY="http://192.168.1.7:8001"' >> ~/.zshrc
echo 'export NO_PROXY="mirrors.ustc.edu.cn,api.ocp43.curiouser.com"' >> ~/.zshrc
source ~/.zshrc

hostnamectl set-hostname --static tools.ocp43.curiouser.com

echo "PREFIX=24\nIPADDR=192.168.1.80\nGATEWAY=192.168.1.1" >> /etc/sysconfig/network-scripts/ifcfg-ens32
sed -i 's/dhcp/static/g' /etc/sysconfig/network-scripts/ifcfg-ens32

yum -y install ansible git

ssh-keygen -t rsa -b 4096 -N "" -f ~/.ssh/id_rsa
eval "$(ssh-agent -s)"
ssh-add ~/.ssh/id_rsa

由于主机名修改需要重启才能生效，所以该节点需要重启（虽然也可以不重启修改主机名、但是修改的地方较多、以防万一留下隐患、保险起见重启吧）

3.2、下载Ansible脚本

git clone https://github.com/RedHatOfficial/ocp4-helpernode

3.3、创建配置文件

bash -c 'cat > ~/ocp4-helpernode/vars.yaml << EOF
---
# 集群节点虚拟机磁盘要挂载的系统盘符
disk: sda
helper:
    # 辅助节点HostName
  name: "helper"
    # 辅助节点的IP地址
  ipaddr: "192.168.1.80"
dns:
    # 集群节点FQDN的域名
  domain: "curiouser.com"
  # OCP集群的标识ID,最后集群内节点的主机名FQDN会设置为“maste1.ocp43.curiouser.com”
  clusterid: "ocp43"
  # 辅助节点DNS的上游DNS服务器
  forwarder1: "8.8.8.8"
  forwarder2: "8.8.4.4"
dhcp:
    # 网关地址
  router: "192.168.1.1"
  # 广播域
  bcast: "192.168.1.255"
  # IP地址掩码
  netmask: "255.255.255.0"
  # DHCP预分配的起始IP地址
  poolstart: "192.168.1.50"
  # DHCP预分配的结束IP地址
  poolend: "192.168.1.100"
  ipid: "192.168.1.0"
  netmaskid: "255.255.255.0"
bootstrap:
  name: "bootstrap"
  # bootstrap节点准备要设置的IP地址
  ipaddr: "192.168.1.55"
  # bootstrap节点虚拟机的网卡MAC地址
  macaddr: "00:0c:29:b5:a0:8e"
masters:
  - name: "master1"
      # master1节点准备要设置的IP地址
    ipaddr: "192.168.1.81"
    # master1节点虚拟机的网卡MAC地址
    macaddr: "00:0c:29:2c:96:41"
workers:
  - name: "worker1"
      # worker1节点准备要设置的IP地址
    ipaddr: "192.168.1.91"
    # worker1节点虚拟机的网卡MAC地址
    macaddr: "00:0c:29:56:2e:af"
EOF'

3.4、预下载安装OCP/RedHat CoreOS的二进制文件

辅助节点上的PXE服务需要给集群其他节点提供安装OCP和基础OS的二进制文件。在Ansilbe脚本执行时会去联网下载、我们可以收到先下载下来放到指定的文件夹下，加速Ansible执行速度。这些文件的下载地址可以在Ansible脚本文件中查看。

cat ~/ocp4-helpernode/vars/main.yml
---
ocp_bios: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-metal.x86_64.raw.gz"

ocp_initramfs: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-installer-initramfs.x86_64.img"

ocp_install_kernel: "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.3/4.3.8/rhcos-4.3.8-x86_64-installer-kernel-x86_64"

ocp_client: "https://mirror.openshift.com/pub/openshift-v4/clients/ocp/4.3.8/openshift-client-linux-4.3.8.tar.gz"

ocp_installer: "https://mirror.openshift.com/pub/openshift-v4/clients/ocp/4.3.8/openshift-install-linux-4.3.8.tar.gz"

手动下载完后、需要将它们重名并放到指定路径下

cp openshift-client-linux-4.3.8.tar.gz /usr/local/src/openshift-client-linux.tar.gz
cp openshift-install-linux-4.3.8.tar.gz /usr/local/src/openshift-install-linux.tar.gz
mkdir -p /var/www/html/install/ /var/lib/tftpboot/rhcos/ /var/lib/tftpboot/rhcos/
cp rhcos-4.3.8-x86_64-metal.raw.gz /var/www/html/install/bios.raw.gz
cp rhcos-4.3.8-x86_64-installer-initramfs.img /var/lib/tftpboot/rhcos/initramfs.img
cp rhcos-4.3.8-x86_64-installer-kernel /var/lib/tftpboot/rhcos/kernel

# 因为后续会使用到openshift安装工具openshift-instsall，所以在辅助节点也解压一份命令到可执行路径下
tar -zxvf ~/openshift-install-linux-4.3.8.tar.gz -C /usr/local/bin/
rm -rf /usr/local/bin/README.md

3.5、执行Ansible脚本

cd ~/ocp4-helpernode
ansible-playbook -e @vars.yaml tasks/main.yml

3.6、检查辅助节点上安装的服务状况

/usr/local/bin/helpernodecheck
        {dns-masters|dns-workers|dns-etcd|dns-other|install-info|haproxy|services|nfs-info}

4、创建安装OCP配置文件

4.1、创建配置文件的定义信息文件

mkdir ~/ocp43
bash -c 'cat > ~/ocp43/install-config.yaml << EOF
apiVersion: v1
# 要与～/ocp4-helpernode/vars.yaml的dns.domain保持一致
baseDomain: curiouser.com
compute:
- hyperthreading: Enabled
  name: worker
  replicas: 0
controlPlane:
  hyperthreading: Enabled
  name: master
  replicas: 1
metadata:
    # 要与～/ocp4-helpernode/vars.yaml的clusterid保持一致
  name: ocp43
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  networkType: OpenShiftSDN
  serviceNetwork:
  - 172.30.0.0/16
platform:
  none: {}
fips: false
pullSecret: '2.3章节在红帽官网生成的pull secret'
sshKey: 'ssh密钥的公钥'
EOF'

4.2、使用openshift-install工具命令生成配置文件

./openshift-install create manifests --dir=ocp43

4.3、使用openshift-install工具命令生成PXE安装CoreOS的ignition文件

./openshift-install create ignition-configs --dir=ocp43

# 上述命令会在～/ocp43路径下生成以下文件
auth
bootstrap.ign
master.ign
metadata.json
worker.ign

将ign文件拷贝到/var/www/html/ignition目录下，并修改权限

cd ocp43
cp bootstrap.ign master.ign worker.ign /var/www/html/ignition
chmod 775 /var/www/html/ignition/*
cd ..

5、将集群节点虚拟机开机

要是辅助节点上所有的服务准备就绪了、此时将ocp43-bootstrap、ocp43-master1、ocp43-worker1节点虚拟机开机。它们就会发现局域网内辅助节点上的DHCP、TFTP、PXE服务，自动从网卡启动，然后在PXE服务的引导下拉取OS镜像文件安装操作系统。

6、执行等待安装完成命令

openshift-install --dir=ocp43 wait-for bootstrap-complete --log-level=info

7、注意事项！等待、等待、等待

  • 在安装过程中，由于Bootstrap、Master、Worker节点默认时区是UTC时区，而pull secret的有效期是一天，申请完后立即安装的话。安装过程中安装组件式时报证书无效，需要等到8小时，让系统时间等到pull secret有效期。
  • 可通过 echo | openssl s_client -connect api-int.ocp43.curiouser.com:6443 | openssl x509 -noout -text 查看pull secret相关证书的有效期
  • 疑问待后续解决的：集群节点为什么会出现时区设置不一致的？为什么手动设置时区后，系统层面生效但POD没有及时生效？是不是需要改动tool节点上某个服务的配置？

8、验证

tar -zxvf ~/openshift-client-linux-4.3.8.tar.gz -C /usr/local/bin/
export KUBECONFIG=~/ocp43/auth/kubeconfig
oc get node

# ./openshift-install --dir=ocp43  wait-for install-complete
INFO Waiting up to 30m0s for the cluster at https://api.ocp43.curiouser.com:6443 to initialize...
INFO Waiting up to 10m0s for the openshift-console route to be created...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/root/ocp43/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.ocp43.curiouser.com
INFO Login to the console with user: kubeadmin, password: *****

9、集群外访问

相关自带服务Web界面

  • 本地hosts中配置访问的服务域名与tools节点IP地址的映射
192.168.1.80 api.ocp43.curiouser.com
192.168.1.80 oauth-openshift.apps.ocp43.curiouser.com
# OCP的WebConsole
192.168.1.80 console-openshift-console.apps.ocp43.curiouser.com
# OCP的用户认证服务地址
192.168.1.80 oauth-openshift.apps.ocp43.curiouser.com
# OCP的HTTP WEB服务地址
192.168.1.80 downloads-openshift-console.apps.ocp43.curiouser.com
# OCP的Prometheus
192.168.1.80 alertmanager-main-openshift-monitoring.apps.ocp43.curiouser.com
192.168.1.80 grafana-openshift-monitoring.apps.ocp43.curiouser.com
192.168.1.80 prometheus-k8s-openshift-monitoring.apps.ocp43.curiouser.com
192.168.1.80 thanos-querier-openshift-monitoring.apps.ocp43.curiouser.com

oc/kubectl命令远程访问操作集群

© 版权声明
本站文章由不念博客整理,转载请注明文章来源
THE END
技术笔记
# 安装# openshift# ocp
喜欢就支持一下吧
点赞128赞赏 分享
不念的头像-不念博客
Java异常处理：java.lang.ClassNotFoundException原因及解决方法-不念博客
Java异常处理：java.lang.ClassNotFoundException原因及解决方法
Java异常处理：java.lang.ClassNotFoundException原因及解决方法
9个月前 2.2W+
“该文件没有与之关联的程序来执行该操作”原因以及解决方案-不念博客
“该文件没有与之关联的程序来执行该操作”原因以及解决方案
“该文件没有与之关联的程序来执行该操作”原因以及解决方...
10个月前 1.2W+
“无法定位程序输入点于动态链接库”的错误原因及解决方法-不念博客
“无法定位程序输入点于动态链接库”的错误原因及解决方法
“无法定位程序输入点于动态链接库”的错误原因及解决方法
10个月前 1W+
如何Ping IP的特定端口：详细步骤与技巧-不念博客
如何Ping IP的特定端口：详细步骤与技巧
如何Ping IP的特定端口：详细步骤与技巧
11个月前 1W+
Cron表达式：如何设置每5分钟执行一次的任务？-不念博客
Cron表达式：如何设置每5分钟执行一次的任务？
Cron表达式：如何设置每5分钟执行一次的任务？
10个月前 9406
html颜色代码大全(常见的HTML颜色代码)-不念博客
html颜色代码大全(常见的HTML颜色代码)
html颜色代码大全(常见的HTML颜色代码)
11个月前 7965
相关推荐
评论 抢沙发
头像
欢迎光临不念博客，留下您的想法和建议，祝您有愉快的一天~
提交
头像

昵称

取消
昵称

请填写用户信息：

  • 昵称(必填)
  • 邮箱(必填)

    暂无评论内容

喜马拉雅音频如何保存到本地？（具体操作步骤）-不念博客

1喜马拉雅音频如何保存到本地？（具体操作步骤）

不念的头像-不念博客21小时前
409
夸克网盘的文件怎么下载到本地？（快速下载方法分享）-不念博客

2夸克网盘的文件怎么下载到本地？（快速下载方法分享）

不念的头像-不念博客21小时前
321
outlook定时发送怎么设置？（保姆级详细教程）-不念博客

3outlook定时发送怎么设置？（保姆级详细教程）

不念的头像-不念博客21小时前
209
b站视频怎么下载（保证成功下载的方法分享）-不念博客

4b站视频怎么下载（保证成功下载的方法分享）

不念的头像-不念博客21小时前
222
动视账号封禁怎么申诉？（动视账号申诉教程）-不念博客

5动视账号封禁怎么申诉？（动视账号申诉教程）

不念的头像-不念博客21小时前
219
云计算数据中心是什么？(云计算数据中心有哪些优势)-不念博客

1云计算数据中心是什么？(云计算数据中心有哪些优势)

不念的头像-不念博客1年前
333
java在线编译器有哪些(流行的 Java 在线编译器)-不念博客

2java在线编译器有哪些(流行的 Java 在线编译器)

不念的头像-不念博客11个月前
1370
STL之map有序哈希表使用方法-不念博客

3STL之map有序哈希表使用方法

不念的头像-不念博客4个月前
448
Linux lvs命令：用于返回有关逻辑卷的信息-不念博客

4Linux lvs命令：用于返回有关逻辑卷的信息

不念的头像-不念博客2年前
558
在Linux中如何将cURL输出保存到文件？-不念博客

5在Linux中如何将cURL输出保存到文件？

不念的头像-不念博客7个月前
548
标签云
鼠标默认值默认黑树黑帽麻辣烫麒麟鸟哥魔力魔兽高防高速高级ACL高精度高端高斯高性能高带宽高密度高密高可靠性高可用性骨干验证码验证驱逐驱动程序驱动器驱动马赛克马斯克香港站香港首部饿汉饥荒餐具飞行飞秋风河风格颜色代码题目题库颗粒频谱频率