Facobook开源视觉问答VQA框架:Pythia

原创
05/21 22:01
阅读数 28

VQA Challenge 2018的冠军方案。

(欢迎关注“我爱计算机视觉”,一个有价值有深度的公众号~)

什么是视觉问答VQAVisual Question Answering)?

给定一幅图片及与图片相关的问题,系统通过理解图片回答这个问题,它涉及到图像识别和自然语言理解。

比如这些例子:


它是计算机视觉和自然语言处理问题的高级综合,好的VQA系统可以帮助盲人理解这个世界。

Pythia开源目的

Facebook AI Research的研究员们参加了VQA Challenge 2018,并获得了冠军,他们发现现今的很多VQA系统都有一些相同的功能模块,比如问题编码,图像特征提取,两者的融合(典型的使用attention模型),答案空间的分类等,他们将自己的获胜方案开源,期望它能成为VQA或相关方向比如视觉对话(visual dialog)领域易用和模块化的研究平台。

VQA Challenge 2018Leaderboard

Pythia(皮媞亚)是向Oracle of Apollo at Delphi的致敬,她在古希腊神话中传达旨意、回答问题。

Pythia架构与改进

Pythia主要参考了up-down模型[1],并在

Model Architecture

Learning Schedule

Fine-Tuning Bottom-Up Features

Data Augmentation

Post-Challenge Improvements

Model Ensembling做了改进。

下表展示了加上各种改进后系统在VQA v2.0数据库上的测试精度。


在模型集成上,集成差异化更大的不同的模型,获得的改进更大。

项目主页:

https://github.com/facebookresearch/pythia

[1]P. Anderson, X. He, C. Buehler, D. Teney, M. Johnson, S. Gould, and L. Zhang. Bottom-up and top-down attention for image captioning and visual question answering. In CVPR, 2018.

点击阅读原文可以在www.52cv.net查看本文。

欢迎转发,让更多人看到。

更多精彩推荐:

华科白翔老师团队ECCV2018 OCR论文:Mask TextSpotter

快准狠!Intel论文揭示自家车牌识别算法:LPRNet

北大开源ECCV2018深度去雨算法:RESCAN

终于!商汤科技开源DAVIS2017视频目标分割冠军代码


本文分享自微信公众号 - 我爱计算机视觉(aicvml)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部