Event driven image and video processing dataset
2024-6-24
| 2024-6-26
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
icon
password
将主要整理使用event作为输入的图像、视频的重建、复原、增强相关数据集。

概念明晰

首先给出本blog中使用的一些概念术语。
任务的定义:
  • Reconstruction: 一般的图像、视频重建以及HDR重建。
  • Restoration: 指将恶劣环境(暗光、抖动、噪声等)场景下拍摄得到的图像或视频转化为干净、锐利的图像或视频。
  • Enhancement:
  • Super Resolution: 指将图像、视频的空间分辨率提高。注意,在本篇blog,Super-Resolution不包含在Restoration任务中。
  • Frame Interpolation: 指插帧。例如,将视频的帧率从15fps提升到60fps。
任务的性质:
  • Event-based: 仅使用事件(Event)数据作为输入的方法;
  • Event-guided: 使用事件(Event)与帧(Frame)共同输入的方法;
  • Event-driven: 上述两种方法的并集。
一般来说,Event-guided为主流。

Image

本节中将主要介绍使用事件数据进行图像处理的数据集。

Image reconstruction

Image Restoration

Video

本节中将主要介绍使用事件数据进行视频处理的数据集。

Event-to-Video reconstruction

测试数据集

首推一个非常完善的测评库:
EVREAL
ercanburakUpdated Jul 7, 2024
。它囊括了几乎所有Event-based的视频重建测试数据集,以及主流的测评指标。
  • BS-ERGB,下载链接:
另有IJRR数据集,但似乎已经失效了。最新的视频重建论文均未在该数据集上进行测试。

训练数据集

目前使用的训练数据集只要来源于E2VID+,详细的制作方法可见:
由于需要安装ROS,制作过程可能需要一些耐心(

推荐文献

[1] High Speed and High Dynamic Range Video with an Event Camera, TPAMI 2020
[2] Reducing the Sim-to-Real Gap for Event Cameras, ECCV 2020
[3] Event-based Video Reconstruction Using Transformer, ICCV 2021
[4] Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy, CVPR 2021
[5] SPADE-E2VID: Spatially-Adaptive Denormalization for Event-Based Video Reconstruction, TIP 2021
[6] Event-based Video Reconstruction via Potential-assisted Spiking Neural Network, CVPR 2022
[7] HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks, TIP 2024
[8] Enhanced Event-Based Video Reconstruction with Motion Compensation, ECCV 2024

Video HDR reconstruction

此类任务与上述Event-to-video重建任务的区别在于,已经存在从Event-based到Event-guided的转变。

数据集

  • Event based: HDR from BIT,下载链接:
  • Event guided: HDR from PKU,项目链接:,数据暂未公开。

推荐文献

[1] Learning to Reconstruct High Speed and High Dynamic Range Videos from Events, CVPR 2021
[2] High Frame Rate Video Reconstruction Based on an Event Camera, TPAMI 2022
[3] An Asynchronous Kalman Filter for Hybrid Event Cameras, ICCV2021
[4] An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras, TPAMI 2023
[5] Learning Event Guided High Dynamic Range Video Reconstruction, CVPR 2023

Video Restoration

由于事件数据对运动鲁棒,所以Event guided方法在运动模糊导致的质量复原任务中有奇效。

模拟数据集

所谓模拟数据集,即事件数据由图像/视频模拟生成,而非真实采集得到。
  • Deblur,下载链接:

真实世界数据集

  • Deblur FEVD,下载链接:

推荐文献

[1] Bringing Events Into Video Deblurring With Non-Consecutively Blurry Frames, ICCV 2021
[2] Event-driven Video Deblurring via Spatio-Temporal Relation-Aware Network, IJCAI 2022
[3] Event-guided Deblurring of Unknown Exposure Time Videos, ECCV 2022
[4] Event-Driven Video Restoration With Spiking-Convolutional Architecture, TNNLS 2023
[5] Frequency-aware Event-based Video Deblurring for Real-World Motion Blur, CVPR 2024

Video Enhancement

由于事件数据在暗夜条件下也有不错的运动检测能力,所以Event guided方法在暗夜增强等复原任务中也有使用。

真实数据集

推荐文献

[1] Deblurring Low-Light Images with Events, IJCV 2023
[2] Coherent Event Guided Low-Light Video Enhancement, CVPR 2023

Video Super Resolution

Video Frame Interpolation

 

Event Output

最后值得注意的是,纯粹对事件数据进行复原也是一项任务。当然与部分医学图像复原任务类似,此类任务应当依赖成像技术的更迭而非算法技术辅助。
 
  • Image Restoration
  • Video Restoration
  • Event driven vision
  • OneFlow’s FLOPsDebug about fused shift-window
    目录