文档章节

tar_ssh 配合下载文件(适合于带宽充足传输大量小文件场景)

o
 osc_g8254g7s
发布于 2019/08/19 23:36
字数 225
阅读 11
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

局域网网速快,但是当要传输大量小文件时倘若仍然使用scp,由于每个文件传输完毕都需要独立进行传输完毕的确认,这样就无法充分利用带宽。一方面等待确认时tcp窗口无法填满,另一方面文件传完之前确认也不会开始读下一个文件。

而ssh tar传输方式则恰对应与该场景,将所有文件变成一条流,连续传输,省掉了linux的传输确认过程。

#不带压缩
ssh ${username}@${ip} '(cd ${src_folder_path}&&tar -cf - ${src_folder_name} | cat)' | tar xfv - -C ${dst_path}
#带压缩
ssh ${username}@${ip} '(cd ${src_folder_path}&&tar -cf - ${src_folder_name} | cat | gzip -1)' | gzip -d | tar xfv - -C ${dst_path}

spawn bash -c "ssh ${username}@${ip} '(cd ${src_folder_path};tar -cf - ${src_folder_name} | cat)' | tar xfv - -C ${dst_path}"
expect {
"(yes/no)?" { send "yes\r";exp_continue } 
"*assword:*" { send "${password}\r" }
}

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
大批量散装文件的迁移

有幸我遇到这样一个数据迁移场景: 有很多小文件散落到在不同的文件夹,我需要将这些小文件按照一定的规则找出来,然后将他转移到另外的一个文件系统。如果看到这个可能还会说这个场景不算奇...

xueyi28
2016/05/22
31
0
Rsync数据同步应用指南

1.软件简介 Rsync 是一个本地或远程数据同步工具,基于RSync算法,这个算法是澳大利亚人Andrew Tridgell发明的;可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工...

osc_4vnxxfb5
2018/03/20
3
0
全网数据定时备份方案[cron + rsync]

1.1.1. Rsync(远程同步)介绍 【Rsync等价scp cp rm共3个命令的和】 1.什么是Rsync: Linux下面开源的,很快,功能很多,可以实现全量及增量的本地或者远程数据同步备份的工具。可以实现本地和...

osc_evk522lj
2018/07/10
2
0
rsync学习笔记

1.1 Rsync介绍 1.1.1 什么是Rsync? Rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。 ...

osc_bnzpjhof
2019/03/02
1
0
一,搭建backup服务器之rsync服务介绍

一.搭建备份服务器(rsync) a.服务介绍 远程数据同步工具 开源,快速 ,多功能,可实现全量及增量的本地或远程数据同步的优秀工具 增量:差异备份 全量:全部备份 rsync Remote synchroniza...

osc_nnp3dgfb
2019/02/15
4
0

没有更多内容

加载失败,请刷新页面

加载更多

智能设计 v3.0

hi,大家好~我是shadow,设计师/全栈工程师/算法研究员,目前主要研究方向是人工智能写作和人工智能设计,当然偶尔也会跨界到人工智能艺术及其他各种AI产品。这是一篇汇总了几年的一些思考,...

shadowcz
02/18
0
0
这个 Github 仓库因你而精彩

题图:by Instagram from Instagram 阅读文本大概需要 3 分钟。 我于今年 6 月份创建自己微信读者群。群组人数从一开始零星几人到现在的两百多号人。群里面的小伙伴都非常好学,经常来群里面...

极客猴666
2018/09/10
0
0
腾讯云轻量服务器来了!

SMB 腾讯云中小企业产品中心 腾讯云中小企业产品中心(简称SMB),作为腾讯云体系中唯一专业服务于8000万中小企业的业务线,致力于为中小微企业提供全面完善贴心的数字化解决方案。产品线覆盖...

腾讯云DNSPod
06/11
0
0
“黄”、“赌”、“毒”,互联网技术的开拓者

之前看到一个特别有趣的观点: 判断一项技术是否成熟,可以看看“黄”、“赌”、“毒”这些行业是否开始采用这项技术了。 没有错,这里的“黄”、“赌”、“毒”就是你理解的那个意思。 仔细...

谭庆波
04/07
0
0
智能合约编写之Solidity的编程攻略

第1场|智能合约初探:概念与演变 第2场|智能合约编写之Solidity的基础特性 第3场|智能合约编写之Solidity的高级特性 第4场|智能合约编写之 Solidity的设计模式 系列专题 | 超话区块链之智...

FISCO-BCOS开源社区
03/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部