Initial commit: Omni-only turn-taking experiment scaffold.
Add EasyCom prep, Qwen2.5-Omni feature extraction, streaming turn model prototype, and docs for the ICASSP 2027 ego-speak study. Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
Xin Wang
@@ -0,0 +1,458 @@
|
||||
{
|
||||
"feature_root": "/Users/wangx/.mounty/MX500B/Code/EgoSpeak/dataset/EasyCom",
|
||||
"raw_manifest": null,
|
||||
"task_fps": 5,
|
||||
"step_seconds": 0.2,
|
||||
"sessions": [
|
||||
{
|
||||
"session": "Session_7",
|
||||
"split": "train",
|
||||
"num_steps": 7270,
|
||||
"duration_seconds_at_5hz": 1454.0,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
7270,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
7270,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
7270,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
7270,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1529,
|
||||
1994,
|
||||
4198
|
||||
],
|
||||
"overlap_wearer_other_steps": 451
|
||||
},
|
||||
{
|
||||
"session": "Session_11",
|
||||
"split": "train",
|
||||
"num_steps": 6837,
|
||||
"duration_seconds_at_5hz": 1367.4,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
6837,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
6837,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
6837,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
6837,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1662,
|
||||
965,
|
||||
4676
|
||||
],
|
||||
"overlap_wearer_other_steps": 466
|
||||
},
|
||||
{
|
||||
"session": "Session_10",
|
||||
"split": "train",
|
||||
"num_steps": 7199,
|
||||
"duration_seconds_at_5hz": 1439.8,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
7199,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
7199,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
7199,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
7199,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1920,
|
||||
2014,
|
||||
3757
|
||||
],
|
||||
"overlap_wearer_other_steps": 492
|
||||
},
|
||||
{
|
||||
"session": "Session_6",
|
||||
"split": "train",
|
||||
"num_steps": 8819,
|
||||
"duration_seconds_at_5hz": 1763.8,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8819,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8819,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8819,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8819,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1520,
|
||||
3232,
|
||||
4967
|
||||
],
|
||||
"overlap_wearer_other_steps": 900
|
||||
},
|
||||
{
|
||||
"session": "Session_9",
|
||||
"split": "train",
|
||||
"num_steps": 8528,
|
||||
"duration_seconds_at_5hz": 1705.6,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8528,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8528,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8528,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8528,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
2957,
|
||||
884,
|
||||
4808
|
||||
],
|
||||
"overlap_wearer_other_steps": 121
|
||||
},
|
||||
{
|
||||
"session": "Session_4",
|
||||
"split": "train",
|
||||
"num_steps": 8658,
|
||||
"duration_seconds_at_5hz": 1731.6,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8658,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8658,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8658,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8658,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1386,
|
||||
1013,
|
||||
6681
|
||||
],
|
||||
"overlap_wearer_other_steps": 422
|
||||
},
|
||||
{
|
||||
"session": "Session_8",
|
||||
"split": "train",
|
||||
"num_steps": 7642,
|
||||
"duration_seconds_at_5hz": 1528.4,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
7642,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
7642,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
7642,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
7642,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1859,
|
||||
1778,
|
||||
4533
|
||||
],
|
||||
"overlap_wearer_other_steps": 528
|
||||
},
|
||||
{
|
||||
"session": "Session_5",
|
||||
"split": "train",
|
||||
"num_steps": 8558,
|
||||
"duration_seconds_at_5hz": 1711.6,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8558,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8558,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8558,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8558,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
2256,
|
||||
2814,
|
||||
4083
|
||||
],
|
||||
"overlap_wearer_other_steps": 595
|
||||
},
|
||||
{
|
||||
"session": "Session_12",
|
||||
"split": "train",
|
||||
"num_steps": 8894,
|
||||
"duration_seconds_at_5hz": 1778.8,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8894,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8894,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8894,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8894,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1252,
|
||||
3353,
|
||||
6099
|
||||
],
|
||||
"overlap_wearer_other_steps": 1810
|
||||
},
|
||||
{
|
||||
"session": "Session_3",
|
||||
"split": "test",
|
||||
"num_steps": 8400,
|
||||
"duration_seconds_at_5hz": 1680.0,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
8400,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
8400,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
8400,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
8400,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
2024,
|
||||
2547,
|
||||
4521
|
||||
],
|
||||
"overlap_wearer_other_steps": 692
|
||||
},
|
||||
{
|
||||
"session": "Session_2",
|
||||
"split": "test",
|
||||
"num_steps": 7706,
|
||||
"duration_seconds_at_5hz": 1541.2,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
7706,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
7706,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
7706,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
7706,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1718,
|
||||
1350,
|
||||
5152
|
||||
],
|
||||
"overlap_wearer_other_steps": 514
|
||||
},
|
||||
{
|
||||
"session": "Session_1",
|
||||
"split": "test",
|
||||
"num_steps": 6942,
|
||||
"duration_seconds_at_5hz": 1388.4,
|
||||
"shapes": {
|
||||
"rgb_kinetics_resnet50": [
|
||||
6942,
|
||||
2048
|
||||
],
|
||||
"flow_kinetics_resnet50": [
|
||||
6942,
|
||||
2048
|
||||
],
|
||||
"audio_wav2vec2": [
|
||||
6942,
|
||||
5120
|
||||
],
|
||||
"target_perframe": [
|
||||
6942,
|
||||
3
|
||||
]
|
||||
},
|
||||
"dtypes": {
|
||||
"rgb_kinetics_resnet50": "float32",
|
||||
"flow_kinetics_resnet50": "float32",
|
||||
"audio_wav2vec2": "float32",
|
||||
"target_perframe": "float64"
|
||||
},
|
||||
"class_positive_steps": [
|
||||
1538,
|
||||
2266,
|
||||
3858
|
||||
],
|
||||
"overlap_wearer_other_steps": 720
|
||||
}
|
||||
],
|
||||
"total_steps": 95453,
|
||||
"total_duration_hours": 5.302944444444444,
|
||||
"split_steps": {
|
||||
"train": 72405,
|
||||
"test": 23048
|
||||
},
|
||||
"class_positive_steps": [
|
||||
21621,
|
||||
24210,
|
||||
57333
|
||||
],
|
||||
"target_row_counts": {
|
||||
"[0, 0, 1]": 49622,
|
||||
"[0, 1, 0]": 16499,
|
||||
"[0, 1, 1]": 7711,
|
||||
"[1, 0, 0]": 21621
|
||||
},
|
||||
"issues": []
|
||||
}
|
||||
Reference in New Issue
Block a user