文档章节

AWS s3cmd 的基本操作

一千零一夜个为什么
 一千零一夜个为什么
发布于 2016/10/28 00:13
字数 838
阅读 61
收藏 0

过滤一下今天的流程

确定了去把另外一台服务器上的日志加到当前的服务器,当时想的是那货直接把服务器的账号和密码直接给个我,我来搞定,结果发现还是我太单纯了。。。

1、人家直接给我一个公钥,经过查找资料得出的结论有以下的几种
    a、直接在本机生成公钥和私钥,然后把自己客户端的公钥传到服务器上的id_rsa.pub中,这里需要注意的是一个服务器可能运行多个主机来无密码登陆,所以注意不要把服务器上的那个文件直接给替换了,看下里面有内容的话最好是直接添加到后面即可;

    b、直接给了个私钥。。。不知道怎么处理,经过询问,据说使用一下的方式直接可以生成pub文件,然后根据这两个文件登陆就行:
    如果给过来的是一个.pem文件,利用私钥直接生成一个公钥:
        key.pem
        ssh-keygen -e -f key.pem >> key.pem.pub

    c、直接给个私钥过来,今天最终的处理方式就是给了私钥,然后根据私钥的登陆公式直接的登陆,偶尔能成功,但是没有搞清楚登陆不成功的原因,登陆成功的公式如下:
       ssh -i /Users/project/LoginKey/xyl_wuyabin/key_22.22.222.122_22.pem centos@22.22.222.122

临时性的处理了服务器登陆的问题,接下来就是要把当前服务器上的日志对应的扔到S3上去,在当前的服务上需要装上s3工具,然后写个脚本,定时的复制到s3服务器即可:

1、在当前的服务器直接的安装s3cmd, 最想见的就是wget直接下载到本地,然后根据绝对地址的方式使用命令,常用到的命令就是查看、上传和下载
    s3cmd ls -l /  #注意这里有坑  有的版本不支持这种的写法
    s3cmd put a.avi  s3://xxx/xxx/xxx/a.avi  #注意这里,有文件直接上传,之前想先创建一个桶然后扔进去,结果失败了,最终的处理方式是不用建立桶,直接扔的时候回自己建桶
    s3cmd get s3://xxx/xxx/xxx/a.avi 直接get到本地

2、开始写脚本了,mac上的脚本和Linux上的部分不一样,这里是个坑,知道就行,测试的时候最好是用vagant上的linux服务器去测是,不然会累死的,参考写的基本如下:
#!/bin/sh
####################
#put log to s3
#Author Lcm
#date 2016-10-27
###################
dateYMD=`date  -d   yesterday   +%Y-%m-%d`
dateYM=`date   -d   yesterday   +%Y-%m`
dateMD=`date   -d   yesterday   +%m-%d`

OLD_LOG_PATH='/home/centos/tools/apache-tomcat-8080/igp_logs/reg1/'$dateYM'/reg1-'$dateMD'*.log'
NEW_LOG_PATH='/home/centos/tools/s3/s3cmd/s3cmddata/reglog'$dateMD'.log'
TAR_LOG_PATH='/home/centos/tools/s3/s3cmd/s3cmddata/reglog'$dateMD'.gz'
cat $OLD_LOG_PATH > $NEW_LOG_PATH
if [ -f "$NEW_LOG_PATH" ];then
    gzip -c $NEW_LOG_PATH >$TAR_LOG_PATH
    /home/centos/tools/s3/s3cmd/s3cmd put $TAR_LOG_PATH 's3://ngemobi/logs/igp_logs/reg/dt='$dateYMD'/reglog'$dateMD'.gz'
    rm $NEW_LOG_PATH
    rm $TAR_LOG_PATH
fi

这种脚本基本是流水账形式的写法,思路清晰的话直接安装流水账的流程写就行了

3、使用Crontab -e 的形式添加自动执行的脚本
      2 10 12 * * * /bin/sh /Users/project/play/test.sh

结束

 

 

 

© 著作权归作者所有

共有 人打赏支持
一千零一夜个为什么
粉丝 3
博文 42
码字总数 13216
作品 0
朝阳
程序员
ceph对象存储折腾记

前言 一直想弄对象存储,以前弄过一次,不是很理解region是个什么东西,后来时间和工作上的原因没有再折腾,这两天闲了下来,再次折腾了一次。我是参考的ceph的中文翻译文挡进行的部署和测试...

xueyi28
2016/11/24
33
0
AWS亚马逊S3云储存怎么批量上传文件夹?用Python吧!

AWS S3 在浏览器没有拖动文件夹上传的功能,手动维护文件实在是太过辛苦了,用Python API吧! AWS S3 才是当今世界上最大的云存储。虽然 S3 服务的对象多为企业用户,你同样可以使用它搭建个...

阿锋zxf
05/16
0
0
AWS S3日志文件通过服务器上传到elk

通过elk查看s3产生的大量日志 首先理清思路 首先从s3上用s3cmd命令将logs同步下来 再将日志写到文件 再通过elk展示出来 一、安装s3cmd命令 S3cmd工具的安装与简单使用: 参考文档 https://ww...

蓝叶子Sheep
05/16
0
0
S3cmd signurl中文支持问题

S3cmd signurl中文支持问题 在s3cmd源码文件中添加下面两行解决 patch最终效果

秦牧羊
2016/08/25
65
0
linux 服务器安装s3cmd

yum install python-devel python-setuptools -yeasy_install pip 报错:[root@localhost ~]# easy_install pipSearching for pipReading http://pypi.python.org/simple/pip/Couldn't find ......

wjw555
2017/12/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

iOS开发用到的图片尺寸汇总

启动图 型号 竖屏 横屏 iPhone SE 640px × 1136px 1136px × 640px iPhone 6s 750px × 1334px 1334px × 750px iPhone 6s Plus 1242px × 2208px 2208px × 1242px iPhone 7 750px × 1334......

业界小白
19分钟前
0
0
浅谈redis

redis是一个开源,内存式的健值存储数据库,也被称为健值存储的字典服务器。健值类型有字符串,hash(哈希类型),set(集合),list(列表) 和有序集合 特征细节: 内存式:redis将健值存储在主...

拐美人
26分钟前
0
0
无限扩容,按需使用!ZStack推出基于阿里云NAS的文件存储服务

日前,ZStack发布2.6.0版本,正式宣布推出基于阿里云NAS的文件存储服务。得益于业界领先的阿里云分布式存储架构,融合NAS后的ZStack 2.6.0拥有高性能、高可靠、容量无限扩展、一键操作、按需...

ZStack社区版
28分钟前
1
0
崛起于Springboot2.X之Mongodb多数据源处理(35)

多数据源:4个mongodb库! 目录结构图: 1、添加pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId>......

木九天
34分钟前
0
0
如何获取显示器的EDID信息

Q1: 为什么要写这篇文章? A1:在最近的工作中遇到了不少问题,其中很多都是和EDID相关的。可以说,作为一家以“显示”为生的企业,我们时时刻刻在与EDID打交道。EDID这东西很简单,但是如果...

DB_Terrill
35分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部