文档章节

AWS s3cmd 的基本操作

一千零一夜个为什么
 一千零一夜个为什么
发布于 2016/10/28 00:13
字数 838
阅读 79
收藏 0

过滤一下今天的流程

确定了去把另外一台服务器上的日志加到当前的服务器,当时想的是那货直接把服务器的账号和密码直接给个我,我来搞定,结果发现还是我太单纯了。。。

1、人家直接给我一个公钥,经过查找资料得出的结论有以下的几种
    a、直接在本机生成公钥和私钥,然后把自己客户端的公钥传到服务器上的id_rsa.pub中,这里需要注意的是一个服务器可能运行多个主机来无密码登陆,所以注意不要把服务器上的那个文件直接给替换了,看下里面有内容的话最好是直接添加到后面即可;

    b、直接给了个私钥。。。不知道怎么处理,经过询问,据说使用一下的方式直接可以生成pub文件,然后根据这两个文件登陆就行:
    如果给过来的是一个.pem文件,利用私钥直接生成一个公钥:
        key.pem
        ssh-keygen -e -f key.pem >> key.pem.pub

    c、直接给个私钥过来,今天最终的处理方式就是给了私钥,然后根据私钥的登陆公式直接的登陆,偶尔能成功,但是没有搞清楚登陆不成功的原因,登陆成功的公式如下:
       ssh -i /Users/project/LoginKey/xyl_wuyabin/key_22.22.222.122_22.pem centos@22.22.222.122

临时性的处理了服务器登陆的问题,接下来就是要把当前服务器上的日志对应的扔到S3上去,在当前的服务上需要装上s3工具,然后写个脚本,定时的复制到s3服务器即可:

1、在当前的服务器直接的安装s3cmd, 最想见的就是wget直接下载到本地,然后根据绝对地址的方式使用命令,常用到的命令就是查看、上传和下载
    s3cmd ls -l /  #注意这里有坑  有的版本不支持这种的写法
    s3cmd put a.avi  s3://xxx/xxx/xxx/a.avi  #注意这里,有文件直接上传,之前想先创建一个桶然后扔进去,结果失败了,最终的处理方式是不用建立桶,直接扔的时候回自己建桶
    s3cmd get s3://xxx/xxx/xxx/a.avi 直接get到本地

2、开始写脚本了,mac上的脚本和Linux上的部分不一样,这里是个坑,知道就行,测试的时候最好是用vagant上的linux服务器去测是,不然会累死的,参考写的基本如下:
#!/bin/sh
####################
#put log to s3
#Author Lcm
#date 2016-10-27
###################
dateYMD=`date  -d   yesterday   +%Y-%m-%d`
dateYM=`date   -d   yesterday   +%Y-%m`
dateMD=`date   -d   yesterday   +%m-%d`

OLD_LOG_PATH='/home/centos/tools/apache-tomcat-8080/igp_logs/reg1/'$dateYM'/reg1-'$dateMD'*.log'
NEW_LOG_PATH='/home/centos/tools/s3/s3cmd/s3cmddata/reglog'$dateMD'.log'
TAR_LOG_PATH='/home/centos/tools/s3/s3cmd/s3cmddata/reglog'$dateMD'.gz'
cat $OLD_LOG_PATH > $NEW_LOG_PATH
if [ -f "$NEW_LOG_PATH" ];then
    gzip -c $NEW_LOG_PATH >$TAR_LOG_PATH
    /home/centos/tools/s3/s3cmd/s3cmd put $TAR_LOG_PATH 's3://ngemobi/logs/igp_logs/reg/dt='$dateYMD'/reglog'$dateMD'.gz'
    rm $NEW_LOG_PATH
    rm $TAR_LOG_PATH
fi

这种脚本基本是流水账形式的写法,思路清晰的话直接安装流水账的流程写就行了

3、使用Crontab -e 的形式添加自动执行的脚本
      2 10 12 * * * /bin/sh /Users/project/play/test.sh

结束

 

 

 

© 著作权归作者所有

共有 人打赏支持
一千零一夜个为什么
粉丝 3
博文 45
码字总数 14530
作品 0
朝阳
程序员
私信 提问
ceph对象存储折腾记

前言 一直想弄对象存储,以前弄过一次,不是很理解region是个什么东西,后来时间和工作上的原因没有再折腾,这两天闲了下来,再次折腾了一次。我是参考的ceph的中文翻译文挡进行的部署和测试...

xueyi28
2016/11/24
33
0
AWS S3日志文件通过服务器上传到elk

通过elk查看s3产生的大量日志 首先理清思路 首先从s3上用s3cmd命令将logs同步下来 再将日志写到文件 再通过elk展示出来 一、安装s3cmd命令 S3cmd工具的安装与简单使用: 参考文档 https://ww...

蓝叶子Sheep
2018/05/16
0
0
AWS亚马逊S3云储存怎么批量上传文件夹?用Python吧!

AWS S3 在浏览器没有拖动文件夹上传的功能,手动维护文件实在是太过辛苦了,用Python API吧! AWS S3 才是当今世界上最大的云存储。虽然 S3 服务的对象多为企业用户,你同样可以使用它搭建个...

阿锋zxf
2018/05/16
0
0
S3cmd signurl中文支持问题

S3cmd signurl中文支持问题 在s3cmd源码文件中添加下面两行解决 patch最终效果

秦牧羊
2016/08/25
65
0
ubuntu14.04 s3cmd 安装和使用

1、首先是下载,注意不同的版本可能会出现问题: wget https://sourceforge.net/projects/s3tools/files/s3cmd/1.6.1/s3cmd-1.6.1.zip 2、解压到自己需要的目录:unzip s3cmd-1.6.1.zip 3、执...

一千零一夜个为什么
2016/12/15
20
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
2
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
3
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部