文档章节

《deep sort》复现过程

o
 osc_a22drz29
发布于 2019/03/26 15:29
字数 864
阅读 23
收藏 0

精选30+云产品,助力企业轻松上云!>>>

[toc]

1. 准备代码与数据

deep_sort开源代码

克隆到本地服务器

git clone https://github.com/nwojke/deep_sort.git

下载MOT16数据集(MOT:Multi-Object Tracking, 16的意思是相比MOT15多了更多的细节信息) MOT16数据集

预训练权重下载

1.1 数据集介绍

该数据集分为了test和train,每个文件夹有7个子文件夹。

./MOT16/train

以训练集中的MOT16-02为例,探究数据数据集格式: MOT16-02下包含三个四个子文件:det、gt、img1、seqinfo.ini

1.1.1 det:

det下只有一个文件,det.txt。每行一个标注,代表一个检测物体

格式为:

<frame>, <id>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <conf>, <x>, <y>, <z>

  • <frame>:第几帧(可以看到img1中共600帧图)

  • <id>:目标运动轨迹编号(在目标文件中都为-1)
  • <bb_* >:bbox的坐标尺寸
  • <conf> : 分类的置信度分数
  • <x, y, z> :用于3D检测,2D检测总是为1
1.1.2 img1

这个目录就是把视频一帧帧抽取出来的图片,总共600张。文件命名从000001.jpg到000600.jpg。

1.1.3 gt

gt文件夹下只有一个文件,gt.txt

第1个值:视频帧号 第2个值:目标运动轨迹的ID号 第3-6值:bbox坐标(x, y, w, h) 第7个值:目标轨迹是否进入考虑范围(0:忽略, 1:active) 第8个值:该轨迹对应的目标种类 第9个值: box的visibility ratio,表示目标运动时被其他目标box包含/覆盖或者目标之间box边缘裁剪情况。 

1.1.4 seqinfo.ini文件

视频的基本信息介绍


2. 运行目标跟踪器

python deep_sort_app.py \
--sequence_dir=./MOT16/test/MOT16-06 \
--detection_file=./resources/detections/MOT16_POI_test/MOT16-06.npy \
--min_confidence=0.3 \
--nn_budget=100 \
--display=True

#在自己生成的feature运行tracker
python deep_sort_app.py \
--sequence_dir=./MOT16/test/MOT16-01 \
--detection_file=./resources/detections/wemo_test/MOT16-01.npy \
--min_confidence=0.3 \
--nn_budget=100 \
--display=True

可选参数解释: --sequence_dir:视频切成图片序列的文件夹,包含帧序列,每一帧的帧号、目标的bbox、 --detection_file:检测的权重文件 .npy --output_file:输出类似于gt.txt的文件格式,轨迹不再是默认-1,发生变化 --min_confidence:检测结果阈值。低于这个阈值的检测结果将会被忽略 --nms_max_overlap:非极大抑制的阈值 --max_cosine_distance:余弦距离的控制阈值 --nn_budget:描述的区域的最大值 --display:显示目标追踪结果

3. generating detections

generate features for persons re-identification.

python tools/generate_detections.py \
    --model=resources/networks/mars-small128.pb \
    --mot_dir=./MOT16/train \
    --output_dir=./resources/detections/MOT16_train

#自定义生成feature
python tools/generate_detections.py \
    --model=resources/networks/mars-small128.pb \
    --mot_dir=./MOT16/test \
    --output_dir=./resources/detections/wemo_test

--model:是模型框架的权重参数文件 输入

输出

4. 如何在自己的数据上运行deep_sort,实现目标追踪?

4.1 test
  1. 需要视频文件
  2. 需要目标检测detection的权重文件(npy 文件)(ps:目标检测框架和deep_sort框架应该一致)

效果:直观来看还不错,当然这是基于目标检测的检测的结果,如果检测不到目标,tracking也无法做。当人行走过程中,被遮挡之后再次出现,目标ID还是维持不变。(思考:这里人一般是直线前行,如果目标在遮挡之后,掉头再出现,可能ID就会变化)。

很大的问题:生成的视频帧率很低,不到30FPS,肉眼能看出明显卡顿。(网上说通过优化可以达到高帧率,具体待查)

4.2 train

如何训练? 余弦度量学习方法

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Deep Learning(深度学习)学习笔记整理系列之(四)

目录: 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级(浅层)特征表示 4.3、结构性特征表示 4.4、需要有多少个特征? 五、Deep Learning的基本思想 六、...

云栖希望。
2017/12/04
0
0
ASE code search -- 第二次结对编程作业

baseline 复现 baseline模型 我们再这次实验中选择了deep code search方法作为了解并复现。下面介绍一下这两种方法 deep code search 模型的结构在论文中已经介绍的非常清楚了,有兴趣的同学...

osc_uctp74i1
2019/10/14
3
0
3-22

今天的工作 1 首先证明在最后的block去掉avg_pool2d,是否会有用。    这个灵感来自于刚刚复现的paper,Deep Imbalanced Attribute Classification usingVisual Attention Aggregation,这...

osc_m7kgvwdg
2019/03/22
0
0
Deep Residual Networks学习(一)

回顾去年的DCNN成果和深度学习发展,就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军,更重要的是这一...

余俊
2016/08/18
0
0
总结近期CNN模型的发展(一) - 知乎

1.前言 好久没有更新专栏了,最近因为项目的原因接触到了PyTorch,感觉打开了深度学习新世界的大门.闲暇之余就用PyTorch训练了最近在图像分类上state-of-the-art的CNN模型,正好在文章中总结如下...

深度学习:从入门到放弃
2019/10/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

面试必问之mysql基础

mysql存储引擎 如何选择mysql存储引擎 先得了解下各个存储引擎区别 功能 MylSAM MEMORY InnoDB Archive 功能 MylSAM MEMORY InnoDB Archive 存储限制 256TB RAM 64TB None 支持事务 No No Ye...

lipengxs
39分钟前
16
0
错误:将标头发送到客户端后无法设置标头 - Error: Can't set headers after they are sent to the client

问题: I'm fairly new to Node.js and I am having some issues. 我对Node.js相当陌生,遇到了一些问题。 I am using Node.js 4.10 and Express 2.4.3. 我正在使用Node.js 4.10和Express 2......

法国红酒甜
50分钟前
18
0
Spring中事务不生效的几种情况

数据库引擎不支持事务。 没有被Spring管理。 方法不是public的。 自身调用问题。 数据源没有配置事务管理器。 不支持事务。 异常被吃了。 异常类型错误。 事务失效类型: 数据库引擎不支持事...

九分石人
今天
31
0
从Linux内核理解JAVA的NIO

前言 IO 可以简单分为磁盘 IO 和 网络 IO ,磁盘 IO 相对于网络 IO 速度会快一点,本文主要介绍 磁盘 IO ,网络 IO 下周写。 JAVA 对 NIO 抽象为 Channel , Channel 又可以分为 FileChannel ...

万古云霄
今天
22
0
Material Design用在c#的wpf app中

官网:http://materialdesigninxaml.net/ 样式丰富 做网站和手机不粗 个人觉得不适合用在.net framework中,在.net core中应该大有作为。...

齐勇cn
今天
28
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部