文档章节

Kubernetes建立数据中心级apt镜像站点

openthings
 openthings
发布于 2018/09/09 16:55
字数 1460
阅读 95
收藏 3

对于企业级开发团队,搭建软件包的镜像站点(以及Docker Images Registry镜像站点)是减少网络带宽占用、加速软件开发过程的必备措施。

1、基本用法

对与Ubuntu(以及其他基于deb的系统)来说,一般有几种方法:

上面的这几种方法都是使用apt-mirror来完成,需要配置镜像参数,指定需要的版本。

2、高级用法

如果需要完整的Ubuntu Archive镜像,可以编写一个脚本(参考:创建Ubuntu安装包服务镜像的脚本),使用rsync全部镜像Ubuntu archive仓库,速度更快,但会占用较大的磁盘空间(>1TB),初始同步需要较多的时间。然后,再创建一个Nginx实例提供服务。

第一步,创建CronJob

为了便于管理,我将同步脚本创建为一个容器,然后挂载到Kubernetes中的定时任务中执行。

A、同步脚本

  • 内容如下:
#/bin/dash

fatal() {
  echo "$1"
  exit 1
}

warn() {
  echo "$1"
}

# Find a source mirror near you which supports rsync on
# https://launchpad.net/ubuntu/+archivemirrors
# rsync://<iso-country-code>.rsync.archive.ubuntu.com/ubuntu should always work
#RSYNCSOURCE=rsync://archive.ubuntu.mirror.isp.com/ubuntu
# 实验发现rsync不通了,用下面这个:
RSYNCSOURCE=archive.ubuntu.com::ubuntu

# Define where you want the mirror-data to be on your mirror
#BASEDIR=/var/www/ubuntuarchive/ 
# 改成自己的目录:
#BASEDIR=/media/smw/Appdata/ipfs-export/mirrors/ubuntu
BASEDIR=/home/mirror-ubuntu

echo "From:" $RSYNCSOURCE
echo "To:" $BASEDIR

if [ ! -d ${BASEDIR} ]; then
  warn "${BASEDIR} does not exist yet, trying to create it..."
  mkdir -p ${BASEDIR} || fatal "Creation of ${BASEDIR} failed."
fi

rsync --recursive --times --links --safe-links --hard-links \
  --stats \
  --exclude "Packages*" --exclude "Sources*" \
  --exclude "Release*" --exclude "InRelease" \
  ${RSYNCSOURCE} ${BASEDIR} || fatal "First stage of sync failed."

rsync --recursive --times --links --safe-links --hard-links \
  --stats --delete --delete-after \
  ${RSYNCSOURCE} ${BASEDIR} || fatal "Second stage of sync failed."

date -u > ${BASEDIR}/project/trace/$(hostname -f)

B、容器创建Dockerfile

  • 内容如下:
#This Docker Mirror Ubuntu Archive to a persistent volume of kubernetes.
#Created by openthings,2018-09-04. NO WARRANTS. 
#Please visit https://github.com/openthings/kubernetes-tools/mirror-ubuntu.
FROM ubuntu:16.04

RUN apt update && \
    apt upgrade -y
RUN apt install -y rsync 

COPY mirror-ubuntu.sh /home

C、定时任务CronJob

  • 内容如下:
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: mirror-ubuntu-cronjob
  namespace: ipfs2
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: OnFailure
          containers:
          - name: mirror-ubuntu
            image: openthings/mirror-ubuntu
            args:
            - /bin/sh
            - /home/mirror-ubuntu.sh
            imagePullPolicy: "IfNotPresent"
            volumeMounts:
              - name: mirror-volume
                mountPath: /home/mirror-ubuntu
                subPath: mirror-ubuntu
          volumes:
            - name: mirror-volume
              persistentVolumeClaim:
                claimName: ipfs-storage-ipfs2-ipfs-0

将上面的内容保存为文件,然后运行Docker build进行容器构建和Kubectl apply安装,即可看到Kubernetes集群中job和pod被创建出来,然后Ubuntu Archive的数据开始同步。

  • 注意,这里的ipfs-storage-ipfs2-ipfs-0是我为了下一步的工作,与IPFS服务共用的存储卷,你可以改成使用自己的PVC存储卷声明。

第二步,创建Nginx服务

创建一个Nginx服务站点,将其主目录指向上面同步的同一个存储目录,然后开启目录浏览功能。

Kubernetes中的配置文件,内容如下:

apiVersion: v1
kind: ServiceAccount
metadata:
  name: apt-mirror
  namespace: ipfs2
---
kind: Service
apiVersion: v1
metadata:
  name: mirror-ubuntu-service
  namespace: ipfs2
  labels:
    app: mirror-ubuntu-service
spec:
  ports:
    - name: mirror-service
      port: 80
  type: LoadBalancer
  selector:
    app: mirror-ubuntu-service
---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: mirror-ubuntu-service
  namespace: ipfs2
spec:
  selector:
    matchLabels:
      app: mirror-ubuntu-service
  replicas: 1
  strategy:
    type: Recreate 
  template:
    metadata:
      labels:
        app: mirror-ubuntu-service
    spec:
      serviceAccount: apt-mirror
      containers:
        - name: mirror-ubuntu-service
          image: nginx
          ports:
            - name: mirror-service
              containerPort: 80
          securityContext:
            capabilities:
              add:
                - DAC_READ_SEARCH
                - SYS_RESOURCE
          env:
            - name: RESYNC_PERIOD
              value: 2h
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: mirror-volume
              mountPath: /usr/share/nginx/html
              subPath: mirror-ubuntu
            - name: mirror-volume
              mountPath: /etc/nginx/conf.d/
              subPath: mirror-ubuntu/service-config
      volumes:
        - name: mirror-volume
          persistentVolumeClaim:
            claimName: ipfs-storage-ipfs2-ipfs-0

我在其中创建了一个账户、一个Service和一个Nginx的Deployment。安装后,就可以通过浏览器来访问镜像站点了。

  • 其中,映射了两个卷,一个为数据卷、一个为Nginx的配置文件,都对应到主存储PVC的子目录中。
  • Nginx为官网的镜像(没有任何定制修改),启动时从配置子目录读取参数,启用目录浏览功能。
  • 服务使用了LoadBalancer,本地集群可以安装MetalLB来实现,云上使用厂商提供的负载均衡器。

第一次同步的时间比较长(下载将近1TB,一般要7天左右)。以后只是更新,就快多了。

因为使用了Kubernertes,需要的话可以对Nginx服务站点进行伸缩,遇到故障时系统可以自动重启或节点漂移,可以满足大规模数据中心级的软件安装和更新的需要。为了更高的可靠性,Kubernetes集群本身应该配置Master高可用机制,存储系统应该有备份和多拷贝。

3、极速方法

正如上面所述,这种镜像机制可以对内部网的软件安装和更新过程大幅度加速,但是目前传输速度还是不够快,而且依赖于上级的镜像站点的可靠性。如果与BT和IPFS之类的p2p传输机制结合,将会进一步带来速度和可靠性的大幅度提升。

目前的状态,还存在一些障碍有待攻克,但是随着IPFS等的改进和FileCoin的推出和完善,这一方案最终是完全可行的,留待后述。

 

© 著作权归作者所有

openthings
粉丝 326
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
使用Kubernetes建立apt镜像服务

在安装Ubuntu和Debian操作系统时,通过在局域网建立一个镜像站点,可以大幅度加速apt软件包安装过程,同时减少主服务器的负担。 这里分享基于Kubernetes来建立apt镜像服务的方法。 使用的apt...

openthings
2018/09/05
75
0
Kubernetes的离线部署(Ubuntu)方法试验

为了在内网上使用Kubernetes,有时候因为网络原因,需要离线进行部署。 裸机安装 我这里使用Ubuntu进行试验,需要解决几个问题: Ubuntu的离线安装。下载,安装时选择不联网可以正常完成,没...

openthings
2018/09/05
410
1
使用IPFS搭建Ubuntu apt 镜像站点

使用IPFS搭建Ubuntu apt 镜像站点 Ubuntu apt安装和更新软件包太慢,考虑使用IPFS建立一个镜像站点。使用IPFS建立软件仓库源可以将版本永久保存,防止软件包灭失和版本错误。而且可以在任何地...

openthings
2018/02/28
356
0
使用容器技术搭建apt镜像站

使用容器技术搭建apt镜像站(apt-mirror-http-server) 使用Docker构建自己的 APT(Advanced Packaging Tools) 镜像站HTTP服务器。 源码:https://github.com/openthings/apt-mirror-http-ser...

openthings
2018/03/01
69
0
Linux Deepin 12.12.1 发布

一、概述 Linux Deepin 12.12.1是Linux Deepin 12.12的修正版和功能增强版,本版本重点解决了12.12发布以来社区反馈的问题。该版本的发布,使得Linux Deepin 12.12更加健壮。您可以通过本发布...

火耳
2013/08/07
5.2K
53

没有更多内容

加载失败,请刷新页面

加载更多

JMM内存模型(一)&volatile关键字的可见性

在说这个之前,我想先说一下计算机的内存模型: CPU在执行的时候,肯定要有数据,而数据在内存中放着呢,这里的内存就是计算机的物理内存,刚开始还好,但是随着技术的发展,CPU处理的速度越...

走向人生巅峰的大路
26分钟前
67
0
你对AJAX认知有多少(2)?

接着昨日内容,我们几天继续探讨ajax的相关知识点 提到ajax下面几个问题又是必须要了解的啦~~~ 8、在浏览器端如何得到服务器端响应的XML数据。 通过XMLHttpRequest对象的responseXMl属性 9、 ...

理性思考
35分钟前
4
0
正则表达式基础(一)

1.转义 转义的作用: 当某个字符在表达式中具有特殊含义,例如字符串引号中出现了引号,为了可以使用这些字符本身,而不是使用其在表达式中的特殊含义,则需要通过转义符“\”来构建该字符转...

清自以敬
38分钟前
4
0
idea中@Data标签getset不起作用

背景:换电脑以后在idea中有@data注解都不生效 解决办法:idea装个插件 https://blog.csdn.net/seapeak007/article/details/72911529...

栾小糖
43分钟前
5
0
Apache Kudu 不能删除不存在的数据

使用Apache Kudu客户端,对KafkaConnect Sink 进行扩展。 使用的Apache Kudu 的Java 客户端。突然有天发现作业无法提交,一直报错。 后来才发现这是Kudu自身的一种校验机制。为了忽略这种校验...

吐槽的达达仔
54分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部