type
status
date
slug
summary
tags
icon
password
将主要整理使用event作为输入的图像、视频的重建、复原、增强相关数据集。
概念明晰
首先给出本blog中使用的一些概念术语。
任务的定义：
- Reconstruction: 一般的图像、视频重建以及HDR重建。
- Restoration: 指将恶劣环境（暗光、抖动、噪声等）场景下拍摄得到的图像或视频转化为干净、锐利的图像或视频。
- Enhancement:
- Super Resolution: 指将图像、视频的空间分辨率提高。注意，在本篇blog，Super-Resolution不包含在Restoration任务中。
- Frame Interpolation: 指插帧。例如，将视频的帧率从15fps提升到60fps。
任务的性质：
- Event-based: 仅使用事件（Event）数据作为输入的方法；
- Event-guided: 使用事件（Event）与帧（Frame）共同输入的方法；
- Event-driven: 上述两种方法的并集。
一般来说，Event-guided为主流。
Image
本节中将主要介绍使用事件数据进行图像处理的数据集。
Image reconstruction
Image Restoration
Video
本节中将主要介绍使用事件数据进行视频处理的数据集。
Event-to-Video reconstruction
测试数据集
首推一个非常完善的测评库：。它囊括了几乎所有Event-based的视频重建测试数据集，以及主流的测评指标。
EVREAL
ercanburak • Updated Jul 31, 2024
- BS-ERGB，下载链接：‣
另有IJRR数据集，但似乎已经失效了。最新的视频重建论文均未在该数据集上进行测试。
训练数据集
目前使用的训练数据集只要来源于E2VID+，详细的制作方法可见：‣。
由于需要安装ROS，制作过程可能需要一些耐心（
推荐文献
[1] High Speed and High Dynamic Range Video with an Event Camera, TPAMI 2020
[2] Reducing the Sim-to-Real Gap for Event Cameras, ECCV 2020
[3] Event-based Video Reconstruction Using Transformer, ICCV 2021
[4] Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy, CVPR 2021
[5] SPADE-E2VID: Spatially-Adaptive Denormalization for Event-Based Video Reconstruction, TIP 2021
[6] Event-based Video Reconstruction via Potential-assisted Spiking Neural Network, CVPR 2022
[7] HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks, TIP 2024
[8] Enhanced Event-Based Video Reconstruction with Motion Compensation, ECCV 2024
Video HDR reconstruction
此类任务与上述Event-to-video重建任务的区别在于，已经存在从Event-based到Event-guided的转变。
数据集
- Event based: HDR from ETH，下载链接：download_TPAMI20_HDR.shercanburak
- Event based: HDR from BIT，下载链接：
- Event guided: HDR from AKF，下载链接：，AKFziweiWWANG • Updated Jul 2, 2024Event-Asynchronous-FilterziweiWWANG • Updated Feb 15, 2024
- Event guided: HDR from PKU，项目链接：‣，数据暂未公开。
推荐文献
[1] Learning to Reconstruct High Speed and High Dynamic Range Videos from Events, CVPR 2021
[2] High Frame Rate Video Reconstruction Based on an Event Camera, TPAMI 2022
[3] An Asynchronous Kalman Filter for Hybrid Event Cameras, ICCV2021
[4] An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras, TPAMI 2023
[5] Learning Event Guided High Dynamic Range Video Reconstruction, CVPR 2023
Video Restoration
由于事件数据对运动鲁棒，所以Event guided方法在运动模糊导致的质量复原任务中有奇效。
模拟数据集
所谓模拟数据集，即事件数据由图像/视频模拟生成，而非真实采集得到。
- Deblur，下载链接：‣
真实世界数据集
- Deblur UEVD，下载链接：UEVD_publicintelpro • Updated Jul 28, 2024
- Deblur FEVD，下载链接：‣
推荐文献
[1] Bringing Events Into Video Deblurring With Non-Consecutively Blurry Frames, ICCV 2021
[2] Event-driven Video Deblurring via Spatio-Temporal Relation-Aware Network, IJCAI 2022
[3] Event-guided Deblurring of Unknown Exposure Time Videos, ECCV 2022
[4] Event-Driven Video Restoration With Spiking-Convolutional Architecture, TNNLS 2023
[5] Frequency-aware Event-based Video Deblurring for Real-World Motion Blur, CVPR 2024
Video Enhancement
由于事件数据在暗夜条件下也有不错的运动检测能力，所以Event guided方法在暗夜增强等复原任务中也有使用。
真实数据集
- Deblur and Low-light，下载链接：Deblurring-Low-Light-Images-with-Eventsfourson • Updated Jul 8, 2024
推荐文献
[1] Deblurring Low-Light Images with Events, IJCV 2023
[2] Coherent Event Guided Low-Light Video Enhancement, CVPR 2023
Video Super Resolution
Video Frame Interpolation
Event Output
最后值得注意的是，纯粹对事件数据进行复原也是一项任务。当然与部分医学图像复原任务类似，此类任务应当依赖成像技术的更迭而非算法技术辅助。