Intel® Collaboration Suite for WebRTC
Community support and discussions on the Intel® Collaboration Suite for WebRTC (Intel® CS for WebRTC).
1149 Discussions

mix 流中如何分辨哪个流的发布者正在说话?

Li__Zunlong
New Contributor I
1,560 Views

请问,mix 流中如何分辨哪个流的发布者正在说话?

在 video/audio 均开启的 mix 流里,可以通过 avCoordinated: 1 和 VideoLayoutChanged 事件的结合来判断哪个流的发布者在说话。

那么,如果只是纯 audio 的 mix 流呢,有没有相关的信息或事件来分辨哪个人正在说话?

SFU 的解决方案能够办到,比如微信语音,在界面上能够清楚的看到哪个人正在说话;MCU 对这一点是否也有支持?

谢谢。

0 Kudos
6 Replies
Qiujiao_W_Intel
Employee
1,560 Views

针对Audio only的使用方式,我们暂时没有暴露相关的接口

0 Kudos
Qiujiao_W_Intel
Employee
1,560 Views

请问你们那边的应用场景是什么样的,方便的话在这里或者邮件告诉我们你们需要audio only谁在说话的功能的使用方式,方便我们评估是否暴露相应的接口,谢谢

0 Kudos
Li__Zunlong
New Contributor I
1,560 Views

多人通话的应用场景,多路 audio 流被 mix 为一路流,我们希望在界面上告知所有 sub mix 流的用户,哪路流正在说话,就像微信语音那样。

不光是 audio only,即便是多人视频通话的应用场景,依然需要这个借口,虽然 VAD 能够让说话人自动占据 region 1,但在实际应用中,我们不需要它自动切换(太频繁反而体验不好),只需要在界面上体现出来谁在说话就好了。

可以说,只要是与混流相关的应用场景,如果想把体验做好,到最后都会需要这个借口的。

谢谢。

0 Kudos
Qiujiao_W_Intel
Employee
1,560 Views

Zunlong,这个接口确实对上层用户很实用,我们后续会把它加入需求列表,对相应接口进行评估,谢谢你的建议

0 Kudos
Li__Zunlong
New Contributor I
1,560 Views

@Qiujiao 有何进展?这接口还挺重要的,一堆人在一个房间里音频都不知道是谁在讲话,很别扭。

0 Kudos
Qiujiao_W_Intel
Employee
1,560 Views

我们有计划把这个功能加入后续发布,具体的时间还要再确定,请耐心等待

0 Kudos
Reply