Intel® Collaboration Suite for WebRTC
Community support and discussions on the Intel® Collaboration Suite for WebRTC (Intel® CS for WebRTC).
Announcements
Welcome to the Intel Community. If you get an answer you like, please mark it as an Accepted Solution to help others. Thank you!
For the latest information on Intel’s response to the Log4j/Log4Shell vulnerability, please see Intel-SA-00646
1136 Discussions

mix 流中如何分辨哪个流的发布者正在说话?

Li__Zunlong
New Contributor I
653 Views

请问,mix 流中如何分辨哪个流的发布者正在说话?

在 video/audio 均开启的 mix 流里,可以通过 avCoordinated: 1 和 VideoLayoutChanged 事件的结合来判断哪个流的发布者在说话。

那么,如果只是纯 audio 的 mix 流呢,有没有相关的信息或事件来分辨哪个人正在说话?

SFU 的解决方案能够办到,比如微信语音,在界面上能够清楚的看到哪个人正在说话;MCU 对这一点是否也有支持?

谢谢。

0 Kudos
6 Replies
Qiujiao_W_Intel
Employee
653 Views

针对Audio only的使用方式,我们暂时没有暴露相关的接口

Qiujiao_W_Intel
Employee
653 Views

请问你们那边的应用场景是什么样的,方便的话在这里或者邮件告诉我们你们需要audio only谁在说话的功能的使用方式,方便我们评估是否暴露相应的接口,谢谢

Li__Zunlong
New Contributor I
653 Views

多人通话的应用场景,多路 audio 流被 mix 为一路流,我们希望在界面上告知所有 sub mix 流的用户,哪路流正在说话,就像微信语音那样。

不光是 audio only,即便是多人视频通话的应用场景,依然需要这个借口,虽然 VAD 能够让说话人自动占据 region 1,但在实际应用中,我们不需要它自动切换(太频繁反而体验不好),只需要在界面上体现出来谁在说话就好了。

可以说,只要是与混流相关的应用场景,如果想把体验做好,到最后都会需要这个借口的。

谢谢。

Qiujiao_W_Intel
Employee
653 Views

Zunlong,这个接口确实对上层用户很实用,我们后续会把它加入需求列表,对相应接口进行评估,谢谢你的建议

Li__Zunlong
New Contributor I
653 Views

@Qiujiao 有何进展?这接口还挺重要的,一堆人在一个房间里音频都不知道是谁在讲话,很别扭。

Qiujiao_W_Intel
Employee
653 Views

我们有计划把这个功能加入后续发布,具体的时间还要再确定,请耐心等待

Reply