paddlehub基础介绍

原创
2020/03/26 15:15
阅读数 4K

欢迎使用PaddleHub

PaddleHub飞桨预训练模型管理和迁移学习工具,通过PaddleHub开发者可以使用高质量的预训练模型结合Fine-tune API快速完成迁移学习到应用部署的全流程工作。其提供了飞桨生态下的高质量预训练模型,涵盖了图像分类、目标检测、词法分析、语义模型、情感分析、视频分类、图像生成、图像分割、文本审核、关键点检测等主流模型。更多模型详情请查看官网:https://www.paddlepaddle.org.cn/hub

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

基于预训练模型,PaddleHub支持以下功能:

  • 命令行工具,通过Python API或命令行方便快捷地完成模型的搜索、下载、安装、升级、预测等功能

  • 迁移学习,用户通过Fine-tune API,只需要少量代码即可完成自然语言处理和计算机视觉场景的深度迁移学习。

  • 服务化部署,简单一行命令即可搭建属于自己的模型的API服务。

  • 超参优化,自动搜索最优超参,得到更好的模型效果。

PaddleHub

PaddleHub 特性

命令行工具

借鉴了Anaconda和PIP等软件包管理的理念,开发了PaddleHub命令行工具。可以方便快捷的完成模型的搜索、下载、安装、升级、预测等功能。 更加详细的使用说明可以参考 PaddleHub命令行工具

目前的预训练模型覆盖了图像分类、语义模型、视频分类、图像生成、图像分割、文本审核、关键点检测等业界主流模型,更多PaddleHub已经发布的模型,请前往 https://www.paddlepaddle.org.cn/hub 查看

迁移学习

迁移学习(Transfer Learning)通俗来讲,就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性。PaddleHub提供了Fine-tune API,只需要少量代码即可完成深度学习模型在自然语言处理和计算机视觉场景下的迁移学习,可以在更短的时间完成模型的训练,同时模型具备更好的泛化能力。

PaddleHub-Finetune

 

预训练模型 任务类型 数据集 AIStudio链接 备注
ResNet 图像分类 猫狗数据集DogCat 点击体验  
ERNIE 文本分类 中文情感分类数据集ChnSentiCorp 点击体验  
ERNIE 文本分类 中文新闻分类数据集THUNEWS 点击体验 本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。
ERNIE 序列标注 中文序列标注数据集MSRA_NER 点击体验  
ERNIE 序列标注 中文快递单数据集Express 点击体验 本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。
ERNIE Tiny 文本分类 中文情感分类数据集ChnSentiCorp 点击体验  
Senta 文本分类 中文情感分类数据集ChnSentiCorp 点击体验 本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。
Senta 情感分析预测 N/A 点击体验  
LAC 词法分析 N/A 点击体验  
Ultra-Light-Fast-Generic-Face-Detector-1MB 人脸检测 N/A 点击体验  

NOTE: 飞桨PaddleHubPaddleHub的官方账号。

关于PaddleHub快捷完成迁移学习,更多信息参考:

Fine-tune API

自定义数据集如何Fine-tune

实现自定义迁移任务

ULMFiT优化策略

服务化部署PaddleHub Serving

PaddleHub Serving是基于PaddleHub的一键模型服务部署工具,能够通过简单的Hub命令行工具轻松启动一个模型预测在线服务。 其主要包括利用Bert Service实现embedding服务化,以及利用预测模型实现预训练模型预测服务化两大功能。未来还将支持开发者使用PaddleHub Fine-tune API的模型服务化。

关于服务化部署详细信息参见PaddleHub Serving一键服务部署

超参优化AutoDL Finetuner

深度学习模型往往包含许多的超参数,而这些超参数的取值对模型性能起着至关重要的作用。因为模型参数空间大,目前超参调整都是通过手动,依赖人工经验或者不断尝试,且不同模型、样本数据和场景下不尽相同,所以需要大量尝试,时间成本和资源成本非常浪费。PaddleHub AutoDL Finetuner可以实现自动调整超参数,使得模型性能达到最优水平。它通过多种调优的算法来搜索最优超参。

AutoDL Finetuner详细信息参见PaddleHub超参优化

课程获取链接及详情,请点击:https://github.com/paddlepaddle/paddlehub/wiki

>> 访问 PaddlePaddle 官网,了解更多相关内容 

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu
展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部