Zenodo · DOI: 10.5281/zenodo.7880637
STARSS23
Sony-TAu Realistic Spatial Soundscapes 2023 — 真实场景多声道空间音频数据集。Sony 与 Tampere 大学合作采集，包含 16 个房间的真实录音、4 声道空间格式、360° 同步视频和光学追踪的声源位置标注。DCASE 2023 Sound Event Localization and Detection (SELD) 任务的官方数据集。
数据集概要
| 项目 | 规格 |
|---|---|
| 采集地点 | 东京（Sony）4 房间 + 坦佩雷（TAU）12 房间 |
| 声道格式 | 4 通道：FOA（一阶 Ambisonics）+ MIC（四面体麦克风阵列） |
| 采样率 | 24 kHz / 16 bit |
| 视频 | 360° equirectangular · 1920×960 · 29.97 fps（12 条纯音频除外） |
| 开发集 | ~7.5h（Sony 2h + TAU 5.5h），168 clips |
| 评估集 | ~3.5h，79 clips |
| 标注方式 | 人工声学事件标注 + 光学追踪系统空间定位 |
| 距离标注 | 含声源距离（cm），非仅方位角/仰角 |
13 种标注声音类别
| # | 类别 | 说明 |
|---|---|---|
| 0 | Female speech | 女性说话 |
| 1 | Male speech | 男性说话 |
| 2 | Clapping | 拍手 |
| 3 | Telephone | 电话铃声 |
| 4 | Laughter | 笑声 |
| 5 | Domestic sounds | 家居声响 |
| 6 | Walk, footsteps | 脚步声 |
| 7 | Door, open/close | 开关门 |
| 8 | Music | 音乐 |
| 9 | Musical instrument | 乐器演奏 |
| 10 | Water tap, faucet | 水龙头/水声 |
| 11 | Bell | 铃声 |
| 12 | Knock | 敲门声 |
能用来干嘛
- SELD（声学事件定位与检测） — 同时识别声音类型 + 估计方位角/仰角/距离，数据集的官方用途。
- 声源定位 — 训练不依赖特定声音类型的通用空间声源定位模型。
- 多模态学习 — 音频 + 360°视频同步，可做音视频联合定位、音视频目标识别。
- 信号处理基线评估 — 不训练的声学定位算法（如波束成形、MUSIC/SRP-PHAT）也可以直接在这个数据集上对比。
- 真实场景基准 — 相比合成数据集（TAU-NIGENS 2019/2020/2021），真实录音的事件密度、共现性和声学条件更贴近实际部署场景。
与 STARSS22 的区别
- 开发集新增 2h30min 录音（5 个新房间，47 条新 clip）
- 评估集新增 1h40min 录音
- 新增声源距离标注（cm），旧版仅方位角/仰角
- 配套 360° 同步视频（12 条纯音频除外）