文档章节

开发函数计算的正确姿势——tensorflow serving

阿里云云栖社区
 阿里云云栖社区
发布于 05/20 12:16
字数 1683
阅读 145
收藏 1

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考
Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。Fun 的更多文档参考

备注: 本文介绍的技巧需要 Fun 版本大于等于 2.13.0。

依赖工具

本项目是在 MacOS 下开发的,涉及到的工具是平台无关的,对于 Linux 和 Windows 桌面系统应该也同样适用。在开始本例之前请确保如下工具已经正确的安装,更新到最新版本,并进行正确的配置。

Fun 和 Fcli 工具依赖于 docker 来模拟本地环境。

对于 MacOS 用户可以使用 homebrew 进行安装:

brew cask install docker
brew tap vangie/formula
brew install fun
brew install fcli

Windows 和 Linux 用户安装请参考:

  1. https://github.com/aliyun/fun/blob/master/docs/usage/installation.md
  2. https://github.com/aliyun/fcli/releases

安装好后,记得先执行 fun config 初始化一下配置。

注意, 如果你已经安装过了 fun,确保 fun 的版本在 2.13.0 以上。

$ fun --version
2.13.0

背景

AI model serving 是函数计算一个比较典型的应用场景。数据科学家训练好模型以后往往需要找软件工程师把模型变成系统或者服务,通常把这个过程称之为 model serving。函数计算无需运维和弹性伸缩的特性,正好符合数据科学家对高可用分布式系统的诉求。本文将介绍把一个 TensorFlow CharRNN 训练的自动写五言绝句古诗的模型部署到函数计算的例子。由于 python TensorFlow 依赖库和训练的模型的文件有数百兆,即使压缩也远超了函数计算 50M 代码包大小的限制。对于这类超大体积的文件,采用 NAS 文件系统是最佳选择。本文会介绍一种 Fun + NAS 的方法来解决 tensorflow serving 问题。

快速开始

1. 克隆 poetry 项目

git clone https://github.com/vangie/poetry.git

2. 修改 template.yml 文件

修改下面的 VPC 配合和 NAS 配置,这部分配置需要分别去相应的控制台进行创建并把对应的值拷贝出来。

VpcConfig:
  VpcId: 'vpc-uf6r2qatgfbdhgy2rhplo'
  VSwitchIds: [ 'vsw-uf669ekf9zser1hrmgru4' ]
  SecurityGroupId: 'sg-uf6jcqx1ogbr37hkvgxv'
NasConfig:
  UserId: 10003
  GroupId: 10003
  MountPoints:
    - ServerAddr: '3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com:/'
    MountDir: '/mnt/nas'

3. 安装依赖

  1. 执行 fun install 安装依赖。fun.yml 文件里声明了 tensorflow 的依赖和包括了训练模型的脚本命令,所以执行会比较费时。
  2. 执行 fun local invoke poetry,这一步主要是为了生成 .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com 目录。
  3. 执行 cp -R .fun/python .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/lib/ 将第一步安装的 tensorflow 依赖包拷贝到本地的 nas 目录。
  4. 执行 cp -R model .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/ 将第一步训练的模型拷贝到本地的 nas 目录

本地测试

执行 fun local invoke poetry ,正确的返回结果如下

$ fun local invoke poetry                                             
Reading event data from stdin, which can be ended with Enter then Ctrl+D
(you can also pass it from file with -e)
mouting local nas mock dir /Users/vangie/Desktop/poetry/.fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/ into container /mnt/nas

skip pulling image aliyunfc/runtime-python3.6:1.5.2...
FunctionCompute python3 runtime inited.
FC Invoke Start RequestId: 938334c4-5407-4a72-93e1-6d59e52774d8
.......(省略了部分日志)
不见江中客,无言此别归。
江风秋雨落,山色夜山长。
不问江南客,孤舟在故乡。
一年如远别,何处是归人。
一夜无人

RequestId: 938334c4-5407-4a72-93e1-6d59e52774d8          Billed Duration: 14074 ms       Memory Size: 1998 MB    Max Memory Used: 226 MB

5. 上传文件至 NAS

目前 NAS 服务尚未提供直接上传文件的 API 和命令行。NAS 控制台提供的上传方式是先上传到 OSS,再由 OSS 导入 NAS 的功能,该功能需要申请开通。此外还有两种方法:

  1. nas.sh —— 在 FC 里部署一个拷贝函数。这个方法目前有个限制,无法拷贝大于 6M 的文件。
  2. 购买一台最便宜的按周计费的 ECS(大概 9 元钱),借助 ECS 的把文件拷贝进去。

下面我们假设 ecs 已经买好了,然后使用下面的命令拷贝文件到 nas 并解压

# 挂载 nas 网盘
mount -t nfs -o vers=4.0 3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com:/ /mnt/nas

# 压缩本地要上传的目录
cd .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/
tar -czvf nas.tar.gz lib model

# 拷贝到 nas 目录
scp nas.tar.gz root@47.103.83.174:/mnt/nas

# 解压
tar -xvf nas.tar.gz

6. 部署和调用

$ fun deploy             
using region: cn-shanghai
using accountId: ***********4733
using accessKeyId: ***********EUz3
using timeout: 60

Waiting for service poetry to be deployed...
        Waiting for function poetry to be deployed...
                Waiting for packaging function poetry code...
                package function poetry code done
        function poetry deploy success
service poetry deploy success

$ fcli function invoke -s poetry -f poetry
换<unk>金龙瑁旒鸯垓疠萏萏瑁蟀瑁鸪雳萏萏萏蟀雳萏雳瑁雳瑁萏瑁瑁瑁鸪鸪蟀蟀蟀鸪蟀蟀萏萏萏蟀瑁萏蓉熳珑蟀熳萏缈皪惮萏萏皪惮皪琶萏萏珑琵疠缈轳寞雨风香。
春山无处处,秋色向江流。
不是东南望,孤山有一情。
春风不可见,一日向江流。
不见无人去,无时见白头。
相思一相见,相见一中风。
何日一相识,何人有此心。
何年不可识,相忆在江山。
一日一秋水,何来一山风。
相逢有何计,不见故人心。
不得何人去,无年不自同。
一来多此路,何处不堪寻。
此日多无事,无时自不知。
何年无此处,不是不相逢。
一日无如远,春风不自归。
何当有君客,不见旧人情。
此去相思处,不堪何处归。
不知青柳外,不得不堪亲。
不见青花去,无人

至此,已经将古诗创作程序成功部署到函数计算了。

参考阅读

  1. 《21 个项目玩转深度学习——基于TensorFlow 的实践详解》

作者:倚贤

原文链接

本文为云栖社区原创内容,未经允许不得转载。

 

© 著作权归作者所有

阿里云云栖社区
粉丝 369
博文 1322
码字总数 3154980
作品 0
朝阳
私信 提问
如何用TF Serving部署TensorFlow模型

本文为 AI 研习社编译的技术博客,原标题 : How to deploy TensorFlow models to production using TF Serving 作者 | Thalles Silva 翻译 | 胡瑛皓 校对 | Pita 审核 | 约翰逊·李加薪 整理...

AI研习社
03/28
0
0
Tensorflow 2.0的这些新设计,你适应好了吗?

如果说两代Tensorflow有什么根本不同,那应该就是Tensorflow 2.0更注重使用的低门槛,旨在让每个人都能应用机器学习技术。考虑到它可能会成为机器学习框架的又一个重要里程碑,本文会介绍1.x...

技术小能手
2018/11/26
0
0
01-TensorFlow计算模型(一)——计算图

TensorFlow计算模型——计算图 关于TensorFlow TensorFlow是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在...

zero_f460
05/28
0
0
Tensorflow入门——Eager模式像原生Python一样简洁优雅

image source from unsplash.com by Sergio souza 众所周知,Tensorflow入门之所以困难,与其采用的Graph 和 Session 模式有关,这与原生的 Python 代码简单、直观的印象格格不入。同时,由于...

Hongtao洪滔
05/02
0
0
tensorflow入门---第三章

tensorflow程序分为两个阶段: 第一个阶段:定义计算图所有的计算 第二个阶段:执行计算 第一节:计算模型—–计算图 第二节:数据模型—–张量 第三节:运行模型—–会话 第一节:计算图 计...

cttacm
2018/05/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Leetcode PHP题解--D88 696. Count Binary Substrings

D88 696. Count Binary Substrings 题目链接 696. Count Binary Substrings 题目分析 给定一个01字符串,返回仅用连续的0和1串所能组成的二进制字符串个数。 例如,00110011,就包含0011,0...

skys215
今天
2
0
基础工具类

package com.atguigu.util;import java.sql.Connection;import java.sql.SQLException;import java.util.Properties;import javax.sql.DataSource;import com.alibaba.druid......

architect刘源源
今天
47
0
P30 Pro劲敌!DxO官宣新机:排行榜又要变

5月26日晚间,DxOMark官方推特预告,将在5月27日公布一款新机型的DxOMark评分,猜猜是哪款? 网友猜想的机型有:红米K20、谷歌Pixel 3a、索尼Xperia 1、诺基亚9 PureView等。 DxOMark即将公布...

linux-tao
昨天
16
0
Ubuntu18.04.2窗口过小不能自适应(二次转载)

解决Ubuntu在虚拟机窗口不能自适应 2018年09月06日 16:20:08 起不了名儿 阅读数 855 此博文转载:https://blog.csdn.net/nuddlle/article/details/77994080(原地址) 试了很多办法这个好用 ...

tahiti_aa
昨天
2
0
死磕 java同步系列之CountDownLatch源码解析

问题 (1)CountDownLatch是什么? (2)CountDownLatch具有哪些特性? (3)CountDownLatch通常运用在什么场景中? (4)CountDownLatch的初始次数是否可以调整? 简介 CountDownLatch,可以...

彤哥读源码
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部