文档章节

技术创业难?看汇合营销如何玩转大数据与机器学习

_夜枫
 _夜枫
发布于 2017/04/13 21:21
字数 1382
阅读 6
收藏 0

11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data 。

 

自开始大数据创新案例探索之后,汇合营销(杭州汇江容海网络有限公司)是笔者走进的第二家公司,在拜访过程中, 通过CEO周鹏与CTO欧阳明对笔者了解到,在这个技术普惠的时代,汇合营销的发展之路铺设与架构。

 

汇合营销大数据规模与挑战

 

对于任何一家创业公司来说,成本与-效率都是一个不得不考虑的问题——周鹏。

 

汇合营销主要提供汇合DSP和汇合DMP两个平台,为电商为主的广告主提供推广服务。此外,在接受商家的精准化需求之后,根据具体的业务场景,为电商广告主提供精准化的营销广告。在整个过程中,周鹏表示,构建一个完善且能够持续服务的大数据平台成为关键,这需要大量的人力与物力;此外,这个平台还需要有足够的“弹性”来满足业务:既要撑得住双11期间的流量峰值,又要能够在平时做好运维成本控制。

 

峰值期间,汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹;同时,还需要根据用户需求在亿级日志表中做秒级查询——欧阳明。

 

纵览汇合营销整个大数据系统,在技术挑战上,欧阳明主要归结于以下三条:

 

  • 大量的数据统计。汇合营销每天收集到的数据,多的时候一天有20多亿访客浏览轨迹,在DMP业务系统中,需要对每个访客的浏览内容进行分析,打上相应标签并进行统计;同时,数据分析师每天也需要产生各种报表,帮助客户进行广告优化。大量的数据存储、统计和大量的业务需求,这使得开发过程中,既要保证高效率,同时也要降低成本。
  • 实时大数据查询。广告商在后台的推广组选择标签时,系统需要在毫秒级的时间内显示标签的用户量并预估展现量信息,由于用户选择的标签一般都会比较多、条件比较复杂,并且每个标签的用户也可能重复,从而无法在用户选择标签前做预计算,必须每次在亿级日志表中查询,而且要保证平均延迟不超过1秒。
  • CTR预估。CTR预估能够决定广告的精准程度和带来的收益,是广告竞价系统中一个比较核心的部分。在汇合营销,我们使用业内优秀的大数据框架和机器学习算法,例如场感知分解机模型(FFM)、逻辑回归算法等,来训练收集到的TB级数据,将训练好的模型应用于CTR预估,提升了广告投放的精准度,从而有效提升广告效果。 

 

因此在考量了技术与资源之后,汇合营销选择了阿里云数加,通过云服务来取得技术与-效率优势,周鹏总结道。

 

汇合营销大数据系统架构

 

开发效率与使用门槛促促成了这个基于云的架构,最大程度减少了运维,即开即用,避免资源浪费——欧阳明。

 

欧阳明表示,数加有完善的大数据解决方案,能够与阿里云其他产品无缝对接。汇合营销使用了数加的大数据套件、ODPS、DataV和分析型数据库,也尝试了机器学习平台。具体参照下方架构图,通过阿里云数加产品确定的边界,整个系统架构非常清晰:

 

14db570b368c3992b01f0346af58c9eb7f2fe89b

 

 

现在汇合营销大部分离线统计需求都在大数据套件中开发,将数据使用做到非常简单,只要能够写SQL,就可以导出自己需要的报表,满足了大部分的业务需求。此外,分析型数据库能够满足在亿级数据中做毫秒级查询,在数据分析方面,是一个非常不错的工具。在使用数加之前,汇合营销曾搭建了Spark和Hadoop,但每次数据报表都需要开发人员来导出,而且在维护、资源使用上都需要很好地平衡,使用和维护成本相对比较高。

 

而数加大大降低了数据使用门槛、提高开发效率,现在汇合营销的数据分析团队(非开发人员)都能够独立完成大部分的数据报表需求。此外,数加的按需计费避免了资源空闲,从年初的对比来看,数加在满足同等业务需求基础上能够减少一半的支出,有效地节约了成本开支,帮助创业型企业快速成长。

本文转载自:https://yq.aliyun.com/articles/70347

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
百万大奖,聚焦工业、医疗、泛娱乐,首个提供实际场景的创业赛邀你来战!

欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 大数据人工智能技术正逐渐应用到各领域,然而再牛的技术也需要应用到实际场景中才能真正实现价值。由苏州市人民政府指导,苏州市发改...

腾讯云开发者社区
2017/12/22
10
0
大数据创业的五点须知

大数据是当今最热门的科技词汇,同时也是最困难的创业项目。CSC对Infochimps的收购表明,那些无法顺利拿到第二轮融资的大数据创业公司 面临着要么关张,要么被人收购的命运,例如Drawn to Sc...

oschina
2013/08/09
5K
10
OSC 大咖说 | 专访舜飞科技创始人、CEO 张小白: 大数据“当家”, 用技术开掘大数据的价值

舜飞的名字估计知道的人不多,这也符合大多数技术创业者低调的风格。5年前3个人50万启动资金,没有融资,完全靠技术盈利,发展到今天130人,年营业额超过2亿的纯技术公司的创业经历,一定有值...

花仲马
2016/05/10
3.5K
9
Open Talk NO.20 创新与创业的良性共存

活动介绍—— 在你的七大姑八大姨也开始玩起抢红包时,也许我们向全民互联网时代又迈进了一步,互联网也一步步渗入我们的生活。 在过去,如果没有智能穿戴,也许你就无法时刻了解自己的健康状...

又拍云
2016/03/03
160
0
Open Talk NO.20 创新与创业的良性共存

活动介绍—— 在你的七大姑八大姨也开始玩起抢红包时,也许我们向全民互联网时代又迈进了一步,互联网也一步步渗入我们的生活。 在过去,如果没有智能穿戴,也许你就无法时刻了解自己的健康状...

又拍云
2016/03/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
6
0
高防CDN的出现是为了解决网站的哪些问题?

高防CDN是为了更好的服务网络而出现的,是通过高防DNS来实现的。高防CDN是通过智能化的系统判断来路,再反馈给用户,可以减轻用户使用过程的复杂程度。通过智能DNS解析,能让网站访问者连接到...

云漫网络Ruan
今天
14
0
OSChina 周一乱弹 —— 熟悉的味道,难道这就是恋爱的感觉

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @xiaoshiyue :好久没分享歌了分享张碧晨的单曲《今后我与自己流浪》 《今后我与自己流浪》- 张碧晨 手机党少年们想听歌,请使劲儿戳(这里)...

小小编辑
今天
2.7K
24
SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
46
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部