文档章节

[喵咪海外部署]海外部署访问技术探索

喵了_个咪
 喵了_个咪
发布于 2017/10/14 10:42
字数 2295
阅读 89
收藏 0

[喵咪海外部署]海外部署访问技术探索

当一个公司在开展海外业务的时候,对他的技术就有了挑战,因为海外用户访问会遭遇到各种问题(比如网络丢包,延迟高,国内防火墙等问题),喵咪现所在的公司从去年开展全球化业务至今,在技术上也做了很多探索,在这里和大家一同交流下经验希望可以帮助到大家或正在为全球化苦恼的小伙伴们.

PS:没有终极解决方案,只有最符合公司现状和当前业务类型方案,需要结合目前状态选择符合成本的方案

附上:

喵了个咪的博客:w-blog.cn

1.海外访问的问题是什么

在开展海外业务前期,基本上大部分服务都部署在国内环境(相信这也是大部分公司的选择主要用户是国内用户),但是随着公司的扩大产品的成熟,产品被海外用户开始使用,公司也带着产品参考海外的展会或者给客户演示,这个时候就会发现严重的问题:

  • 海外根本无法正常访问国内业务
  • 响应时间特别慢很难接受(类似于不翻墙打开一个国外的网站的感觉基本10秒左右)
  • 文件下载速度只有20kb/s,下载业务文件要2个小时

大致遇到的就是上述这类问题,通过这类问题就有了今天全球化系列

2.应该如何应对海外访问问题?

之后喵咪也在拼命的学习寻找方案,关于海外访问大致可以分为如下几种方案(方案直接可以互相结合并非一种就能解决所有问题比如主节点在海外在加上网络链路优化):

2.1 海外部署节点

首先想到的方案就是为什么不在海外部署节点,这也是大多公司同事给出的建议,但是其中的代价只有实施的人知道,海外部署节点又分为几种方式:

以阿里云举例,在查看ECS列表的时候如果选择海外比如德国的服务器,网页会跳转到德国的网络上去(aws等云厂商基本都是此类方式) 域名从ecs.console.aliyun.com -> ecs-eu-central-1.console.aliyun.com

因为数据的区别海外节点有分为这么几类,完全独立节点,海外独立数据中心或一套数据同步到海外,这几类方式都能很大程度的优化海外用户访问,但是也存在问题 (在喵咪之前的文章中有一个名为otter的阿里开源软件就是来解决数据同步问题)

完全独立节点

  • 管理成本高,管理人员需要对国内外管理区分甚至国外有多个管理平台进行开发
  • 数据不通导致汇总统计复杂

独立数据中心(例子:各大云厂商)

  • 独立数据中心受限于业务,业务需要有相对的独立性
  • 国内用户使用海外服务或海外用户使用国内服务还是会出现此类问题(如国内使用阿里德国节点明显慢很多)

数据同步到海外

  • 数据通过国外会遇到数据库双写问题复杂度高,涉及数据结构大量修改
  • 同步延迟数据冲突问题,海外创建记录test,国外也创建记录test本地因为都没有test记录创建成功在同步的时候会发现冲突

独立数据中心也好还是数据同步也好都需要公司的技术能力比较健壮,技术成本依赖低的后续方案会更加合适,在业务还不稳定在奔跑中的公司不建议使用

2.2 网络优化海外访问

这类方案在很多云厂商或者cdn厂商中提供的最普遍,比如阿里云的高速通道海外加速,网宿科技的APPA,ucloud的高速通道等,这个方案主要解决的是海外网络波动对用户的影响,用户首先访问到海外的节点延迟很低,让后通过海外的节点通过专线等方式访问到国内,极大程度降低了丢包断链等问题

优点

  • 技术成本低,无需业务作出任何的改变
  • 离得远延迟高的响应速度不块,但是能够保证用户的访问

缺点

  • 无法解决延迟高的问题只能优化,用户依旧会感觉卡顿
  • 选用云厂商的服务往往都特别的贵

(网宿科技的APPA类似于AWS的动态分发与高速通道不同,海外你无需在准备自己的中转节点,它本身会有很多个海外节点帮助你中转)

3.实践

上面两类方案一个技术成本高,一个经济成本高,就没有一个好办法吗,由于公司没有专门的海外技术小组所以使用第一种方式代价太高成本有些难以接受见效周期长,不太适合现阶段,那么第二个成本这么高20MB国外高速通道一个月要3W块也挺难接受的,所以先找到问题的根源,在了解解决方案的思想在进行解决

3.1 海外根本无法正常访问国内业务

无法正常访问国内业务的罪魁祸首就是网络丢包或网络不稳定的问题,通过ping值测试除了中国周边地区外,基本上海外直接ping国内都会出现丢包,巴西丢包率高达39%(难怪无法访问),但是通过测试发现海外节点大部分于新加坡的网络支持良好基本上无丢包现象(到国内丢包39%的巴西都很稳定),而且国内到新加坡也比较稳定,所以考虑使用新加坡来中转国外的请求回到国内来解决请求过程中丢包导致无法使用的问题

并且在通过各项链路优化数据来降低中转节点到国内的延迟,比如OPENVPN建立长链转发,使用KCP协议优化协议,基本上中转节点到国内的http访问消耗等于ping消耗的毫秒数,比正常的缩短了一倍的速度

(高速通道测试下来并没有缩短延迟的作用,国内到新加坡延迟也很低稳定性也很好和国内连上高速通道中转没有太大的区别,并且高速通道价格特别贵选择了通过外网中转)

3.2 响应时间特别慢很难接受(类似于不翻墙打开一个国外的网站的感觉基本10秒左右)

这个问题其实和国内墙有关系,静态文件一般使用全球CDN加速来解决,对于动态资源,就需要中转不然如果网络丢包TCP协议会一直重试http访问超时或缓慢

3.2 文件下载速度只有20kb/s,下载业务文件要2个小时

这个问题主要是海外CDN在回源的时候被国内的墙进行了拦截限速,这个情况下使用中转的方式吧源站中转出来会得到比较理想的效果

最好的效果是当国外第一次访问文件通过中转回源获取之后这个问题就会在国外存储一份,之后的回源都会寻找到海外的这个源站文件来获取

4 总结

确实因为篇幅问题很难描述的特别细致,在后续的博客中会分解文件分发演进,动态资源加速演进来具体的介绍通过相对比较低的成本来优化用户的体验,大家如果也遇到了海外访问的问题或者有比较好的海外访问的解决方案可以随时来和喵咪沟通,多谢大家的支持今天我们就到这里.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 317
博文 150
码字总数 199180
作品 4
杨浦
技术主管
私信 提问
二, 跨语言微服务框架 - Istio环境搭建

当我们知道Istio是一个好东西,能够帮助我们快速实现微服务化中的一些关键节点,那么下一步就需要考虑怎么使用Istio了,Istio现在版本是和Kubernetes强关联在一起的,如果大家还不是太了解K...

喵了_个咪
11/12
0
0
[喵咪开源软件推荐(6)]TCP链路加速技术KcpTun

[喵咪开源软件推荐(6)]TCP链路加速技术KcpTun 今天有给大家带来新的东西KcpTun,KcpTun是利用Kcp技术对Tcp链路传输进行加速,大家熟知的网络协议一般是UDP和TCP,UDP传输快但是没有状态消息不可...

喵了_个咪
2017/11/09
0
0
天下数据总结高频率结算电子商务解决方案

电子商务涉及行业领域范围巨大,不再是早期单一的网络商城运营,结算对于电子商务而言无疑至关重要,也是电子商务平台搭建的关键性功能。如今外贸统算,直销结算等行业也在电子商务中突起,对...

冬眠的包子
2016/04/22
27
0
【TEGer 在全球架构师峰会】 : 腾讯海外计费系统架构演进

原文 作者简介:abllen,2008年加入腾讯,一直专注于腾讯计费平台建设,主导参与了腾讯充值中心、计费开放平台、统一计费米大师等项目,见证了米大师从0到1,业务营收从PC到移动多终端再到全...

大齐老师
01/07
0
0
天下数据海外数据采集行业解决方案

在互联网行业快速发展的今天,数据采集已经被广泛应用于互联网及分布式领域,数据采集领域已经发生了重要的变化。面对互联网海量的信息,企业都迫切希望获取与自身工作相关的有价值信息,如何...

冬眠的包子
2016/04/26
21
0

没有更多内容

加载失败,请刷新页面

加载更多

【Visual Studio 扩展工具】使用 ComponentOne迷你图控件,进行可视化数据趋势分析

概述 迷你图 —— Sparklines是迷你的轻量级图表,有助于快速可视化数据。 它们是由数据可视化传奇人物Edward Tufte发明的,他将其描述为“数据密集,设计简单,字节大小的图形。”虽然迷你图...

葡萄城技术团队
6分钟前
0
0
java中重试的使用工具

spring-retry easy-retry guava-retry spring-retry中应该注意的东西 @EnableRetry Retryable注解 被注解的方法发生异常时会重试 value:指定发生的异常进行重试 include:和value一样,默认...

writeademo
18分钟前
0
0
NEO改进协议提案8(NEP-8)

文章目录 摘要 动机 原理 详述 CALL_I CALL_E CALL_ED CALL_ET CALL_EDT 向后兼容性 实现 摘要 本NEP提议NeoVM计算栈堆栈隔离,以确保动态调用的安全性,并为将来的新功能提供支持。 动机 现...

NEO-FANS
20分钟前
0
0
TiDB DevCon 2019 报名开启:年度最高规格的 TiDB 技术大会

年度最高规格的 TiDB 技术大会 海内外动态及成果的综合呈现 最新核心技术解读 多个成果首次亮相 2019 RoadMap 展望 14 位海内外基础架构领域技术大咖 8 个跨行业多场景的用户实战经验 1 小时...

TiDB
21分钟前
0
0
struts2返回json

返回action中成员变量jsonResult,注意设置get set方法 struts配置文件 <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Co......

安卓工程师王恒
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部