文档章节

如何在AWS中国区使用kops

侯法超
 侯法超
发布于 03/15 20:34
字数 1923
阅读 222
收藏 0

原文链接:http://blog.geekidentity.com/k8s/kops/aws-china-cn/

如何在AWS中国区使用kops

入门

​ Kops过去只支持Google Cloud DNS和Amazon Route53配置kubernetes集群。 但是从1.6.2添加了gossip,因此可以在没有这些DNS提供商的情况下配置群集。 感谢gossip,从1.7开始正式支持在AWS中国地区没有Route53的情况下提供功能齐全的kubernetes群集。 目前只有cn-north-1(北京区)可用,但新的地区即将推出

以下大多数配置集群的过程与在AWS中使用kops的指南相同。 所以下面主要描述在中国区使用的不同点,相似的部分将被省略。

Install kops

Install kubectl

Setup your environment

AWS

当执行 aws configure 时,请记住将默认区域名称设置为正确的名称,例如,cn-north-1。

AWS Access Key ID [None]:
AWS Secret Access Key [None]:
Default region name [None]:
Default output format [None]:

并正确导出它。

export AWS_REGION=$(aws configure get region)

配置 DNS

正如一开始提到的那样,通过让群集名以.k8s.loca l结尾,可以很容易地创建一个基于gossip的群集。 我们将在下面采用这个技巧。 其余部分可以安全地跳过。

Testing your DNS setup

由于gossip,这部分也可以安全地跳过。

群集状态存储

由于我们正在AWS中国地区部署集群,因此我们需要在AWS中国地区创建一个专用S3存储桶。

aws s3api create-bucket --bucket prefix-example-com-state-store --create-bucket-configuration LocationConstraint=$AWS_REGION

创建你的第一个集群

确保你有一个可以正常访问互联网的VPC

首先,我们必须解决与中国以外的互联网的缓慢和不稳定的连接,否则以下流程将无法工作。 一种方法是建立一个NAT实例,通过一些可靠的连接路由流量。 细节将不在这里讨论。

准备 kops ami

我们必须建立自己的AMI,因为AWS中国地区没有官方的kops ami。 有两种方法可以实现。

ImageBuilder

首先,在一个私有子网中启动一个快速稳定访问互联网的实例。

因为实例在私有子网中启动,所以我们需要确保它可以通过VPN或bastion使用私有IP进行连接。

SUBNET_ID=<subnet id> # 私有子网ID
SECURITY_GROUP_ID=<security group id>
KEY_NAME=<key pair name on aws>

AMI_ID=$(aws ec2 describe-images --filters Name=name,Values=debian-jessie-amd64-hvm-2016-02-20-ebs --query 'Images[*].ImageId' --output text)
INSTANCE_ID=$(aws ec2 run-instances --image-id $AMI_ID --instance-type m3.medium --key-name $KEY_NAME --security-group-ids $SECURITY_GROUP_ID --subnet-id $SUBNET_ID --no-associate-public-ip-address --query 'Instances[*].InstanceId' --output text)
aws ec2 create-tags --resources ${INSTANCE_ID} --tags Key=k8s.io/role/imagebuilder,Value=1

现在按照kube-deploy中的ImageBuilder文档构建镜像。

go get k8s.io/kube-deploy/imagebuilder
cd ${GOPATH}/src/k8s.io/kube-deploy/imagebuilder

sed -i '' "s|publicIP := aws.StringValue(instance.PublicIpAddress)|publicIP := aws.StringValue(instance.PrivateIpAddress)|" pkg/imagebuilder/aws.go
make

# If the keypair specified is not `$HOME/.ssh/id_rsa`, `aws.yaml` need to be modified to add the full path to the private key.
echo 'SSHPrivateKey: "/absolute/path/to/the/private/key"' >> aws.yaml

${GOPATH}/bin/imagebuilder --config aws.yaml --v=8 --publish=false --replicate=false --up=false --down=false

注意

imagebuilder可能会抱怨镜像在构建和执行失败后找不到。 但是从异常日志中,我们可以发现AMI已经被实际注册了。 尽管bootstrap-vz声称有这个问题,但这似乎新创建的AMI暂时处理不可用状态导致的。 kubernetes/kube-deploy#293

等一分钟左右,AMI应该可以使用了。

从另一个地区复制AMI

这个评论在从其他区域复制kops镜像,例如:ap-southeast-1

获取AMI ID

无论使用何种方式,我们最终得到AMI,例如,k8s-1.7-debian-jessie-amd64-hvm-ebs-2017-09-09。

准备本地环境

设置几个环境变量。

export NAME=example.k8s.local
export KOPS_STATE_STORE=s3://prefix-example-com-state-store

创建集群配置

我们需要注意哪些可用区域可供我们使用。 AWS中国(北京)地区只有两个可用区域。 它会有同样的问题,像其他地区少于三个AZ,在两个AZ上没有真正的HA支持。 但可以添加更多主节点来提高一个AZ的可靠性。

aws ec2 describe-availability-zones

下面是 create cluster 命令,它将在现有的VPC中创建一个完整的内部群集。 以下命令将生成群集配置,但不会开始构建它(不会启动服务器)。 确保在创建群集之前生成了SSH密钥对。

VPC_ID=<vpc id>
VPC_NETWORK_CIDR=<vpc network cidr> # e.g. 172.30.0.0/16
AMI=<owner id/ami name> # e.g. 123456890/k8s-1.7-debian-jessie-amd64-hvm-ebs-2017-09-09

kops create cluster \
    --zones ${AWS_REGION}a \
    --vpc ${VPC_ID} \
    --network-cidr ${VPC_NETWORK_CIDR} \
    --image ${AMI} \
    --associate-public-ip=false \
    --api-loadbalancer-type internal \
    --topology private \
    --networking weave \
    ${NAME}

自定义群集配置

现在我们有一个集群配置文件,我们通过编辑描述来调整子网配置以重用共享子网

kops edit cluster $NAME

然后更改相应的子网以指定该子网id并除去cidr,例如

spec:
  subnets:
  - id: subnet-12345678
    name: cn-north-1a
    type: Private
    zone: cn-north-1a
  - id: subnet-87654321
    name: utility-cn-north-1a
    type: Utility
    zone: cn-north-1a

我们在这里可以采用的另一个调整是添加一个docker配置,将镜像更改为中国的官方注册表镜像。 这将增加从docker hub中拉取镜像的稳定性和下载速度。

spec:
  docker:
    logDriver: ""
    registryMirrors:
    - https://registry.docker-cn.com

请注意,这面镜子请注意,这面可能**不适合某些情况。 只要它与docker API兼容,它就可以被任何其他注册表镜像替换。不适合某些情况。 只要它与docker API兼容,它就可以被任何其他注册表镜像替换。

Build the Cluster

Use the Cluster

Delete the Cluster

What's next?

添加更多主结点

一个 AZ

为了达到这个目的,我们可以添加更多参数给kops create cluster

  --master-zones ${AWS_REGION}a --master-count 3 \
  --zones ${AWS_REGION}a --node-count 2 \

两个 AZ

  --master-zones ${AWS_REGION}a,${AWS_REGION}b --master-count 3 \
  --zones ${AWS_REGION}a,${AWS_REGION}b --node-count 2 \

请注意,当其中一个AZ宕机时,这仍有50%的可能性导致集群不可用。

离线模式

这是一个天真的,未完成的尝试,以最小化互联网需求的方式配置群集,因为即使使用某种代理或VPN,它仍然不是那么快,而且总是比从S3下载要贵得多。

## Setup vars

KUBERNETES_VERSION=$(curl -fsSL --retry 5 "https://dl.k8s.io/release/stable.txt")
KOPS_VERSION=$(curl -fsSL --retry 5 "https://api.github.com/repos/kubernetes/kops/releases/latest" | grep 'tag_name' | cut -d\" -f4)
ASSET_BUCKET="some-asset-bucket"
ASSET_PREFIX=""

# Please note that this filename of cni asset may change with kubernetes version
CNI_FILENAME=cni-0799f5732f2a11b329d9e3d51b9c8f2e3759f2ff.tar.gz


export KOPS_BASE_URL=https://s3.cn-north-1.amazonaws.com.cn/$ASSET_BUCKET/kops/$KOPS_VERSION/
export CNI_VERSION_URL=https://s3.cn-north-1.amazonaws.com.cn/$ASSET_BUCKET/kubernetes/network-plugins/$CNI_FILENAME

## Download assets

KUBERNETES_ASSETS=(
  network-plugins/$CNI_FILENAME
  release/$KUBERNETES_VERSION/bin/linux/amd64/kube-apiserver.tar
  release/$KUBERNETES_VERSION/bin/linux/amd64/kube-controller-manager.tar
  release/$KUBERNETES_VERSION/bin/linux/amd64/kube-proxy.tar
  release/$KUBERNETES_VERSION/bin/linux/amd64/kube-scheduler.tar
  release/$KUBERNETES_VERSION/bin/linux/amd64/kubectl
  release/$KUBERNETES_VERSION/bin/linux/amd64/kubelet
)
for asset in "${KUBERNETES_ASSETS[@]}"; do
  dir="kubernetes/$(dirname "$asset")"
  mkdir -p "$dir"
  url="https://storage.googleapis.com/kubernetes-release/$asset"
  wget -P "$dir" "$url"
  [ "${asset##*.}" != "gz" ] && wget -P "$dir" "$url.sha1"
  [ "${asset##*.}" == "tar" ] && wget -P "$dir" "${url%.tar}.docker_tag"
done

KOPS_ASSETS=(
  "images/protokube.tar.gz"
  "linux/amd64/nodeup"
  "linux/amd64/utils.tar.gz"
)
for asset in "${KOPS_ASSETS[@]}"; do
  kops_path="kops/$KOPS_VERSION/$asset"
  dir="$(dirname "$kops_path")"
  mkdir -p "$dir"
  url="https://kubeupv2.s3.amazonaws.com/kops/$KOPS_VERSION/$asset"
  wget -P "$dir" "$url"
  wget -P "$dir" "$url.sha1"
done

## Upload assets

## Get default S3 multipart_threshold

AWS_S3_DEFAULT_MULTIPART_THRESHOLD=$(aws configure get default.s3.multipart_threshold)

if [ ! -n "$AWS_S3_DEFAULT_MULTIPART_THRESHOLD" ]; then
  AWS_S3_DEFAULT_MULTIPART_THRESHOLD=8MB
fi

## Set multipart_threshold to 1024MB to prevent Etag not returns MD5 when upload multipart

aws configure set default.s3.multipart_threshold 1024MB

aws s3api create-bucket --bucket $ASSET_BUCKET --create-bucket-configuration LocationConstraint=$AWS_REGION
for dir in "kubernetes" "kops"; do
  aws s3 sync --acl public-read "$dir" "s3://$ASSET_BUCKET/$ASSET_PREFIX$dir"
done

aws configure set default.s3.multipart_threshold $AWS_S3_DEFAULT_MULTIPART_THRESHOLD

创建群集时,将这些参数添加到命令行。

  --kubernetes-version https://s3.cn-north-1.amazonaws.com.cn/$ASSET_BUCKET/kubernetes/release/$KUBERNETES_VERSION

现在,通过kops和kubernetes设置集群所需的大部分资源将从指定的S3存储桶下载,但pause-amd64,dns相关等images除外。由于托管在gcr.io上,因此Docker Hub镜像里没有这些images。如果不能科学上网,会有一些问题。

Assets API

它没有经过测试,因为当作者在AWS中国区域尝试提供集群时,这种方法只是PR。这是实现离线模式的官方方式,应该优于以前的天真尝试。

© 著作权归作者所有

共有 人打赏支持
侯法超
粉丝 152
博文 57
码字总数 105341
作品 0
大兴
程序员
私信 提问
kops HTTP转发代理支持

HTTP Forward Proxy Support 可以从http转发代理(“corporate proxy”)后面启动Kubernetes群集。 为此,需要为群集配置egressProxy。 假定代理已经存在。如果您想在AWS上使用私有拓扑网络,...

侯法超
03/14
0
0
零停机迁移到Kubernetes的过程

我们在Manifold[1]始终致力于所做的一切都能得到充分利用。出于这个原因,我们不断地考量做过的一些事情,看看它是否仍然满足我们的标准。就在前阵子,我们决定深入研究一下我们的基础设施设...

Docker
05/18
0
0
亚马逊 AWS 明年入华,多合作伙伴策略提供服务

中国区将是AWS在亚太区的第四个区域,也将是AWS在全球的第10个区域。 亚马逊公司旗下的云平台服务 Amazon Web Services 今日宣布将于明年年初在中国区开始“有限预览”。 这意味着部分中国客...

oschina
2013/12/19
2.9K
22
AWS EC2 上安装 Kubernetes 的示例

学习下 Kubernetes - 生产级别的容器编排系统 官网:https://kubernetes.io/zh/ Kubernetes 是用于自动部署,扩展和管理容器化应用程序的开源系统。 Kubernetes 特性: 自动包装。根据资源需...

专职跑龙套
11/14
0
0
十年引领 亚马逊AWS如何保持技术优势?

  【IT168 云计算】近日,2016亚马逊AWS技术北京峰会召开。作为AWS年度最重要的技术峰会,今年北京峰会吸引到了超过10000+人次注册。如此高的受关注程度,彰显了AWS作为全球云服务领头羊的...

it168网站
2016/09/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
10
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
17
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
11
0
java框架学习日志-6(bean作用域和自动装配)

本章补充bean的作用域和自动装配 bean作用域 之前提到可以用scope来设置单例模式 <bean id="type" class="cn.dota2.tpye.Type" scope="singleton"></bean> 除此之外还有几种用法 singleton:......

白话
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部