栏目导航
最近推荐
热点信息
您的位置: 主页 > 社区 >

斗鱼首创直播AI字幕功能支持中、英、韩等多语互译


发布日期:2021-08-10 06:29   来源:未知   阅读:

  香港最快报码开奖结果准老傲都市类新作: 花都十二钗 求支持。静音环境下如何看直播?海外主播讲外语听不懂怎么办?最近这一需求得到了解决。

  关注英雄联盟LPL夏季赛的用户不难发现,斗鱼官方直播间新增了一项“不同寻常”的功能。当用户选择“字幕线路”后,直播间底部即会出现一行动态文字,从BP环节的运筹帷幄,到赛场上的瞬息万变,解说的激情讲解句句不落,直播内容均得到了较为准确的翻译。

  据了解,这是斗鱼全新上线的AI字幕功能,它不仅能够将直播视频流中的音频进行实时语音识别转化为文字,以字幕的形式同步显示在直播视频流上,而且支持中、英、韩等多语种互译。目前,斗鱼已将这一功能先后面向数十个直播间开放体验,覆盖了英雄联盟S10、英雄联盟LPL夏季赛等大型赛事。

  通过将机器算法与直播场景结合,斗鱼率先突破了AI字幕的技术壁垒。值得注意的是,相较市场上存在的同声传译、影视剧字幕等翻译产品,在游戏场景内,AI字幕的落地并非易事。

  由于游戏直播的特性,主播直播的内容存在大量的游戏术语,尤其是在专业较强的赛事直播中,譬如“腕豪”“雷欧娜”“集火输出”“阵容强势期”等,常规翻译软件通常难以理解。因此,斗鱼AI字幕技术针对游戏直播内容的识别,更“重义”而非“重音”。

  与此同时,赛事直播间中解说、游戏和赛场的嘈杂声音,不仅需要识别,还需要打磨工程协同。才能处理好字幕与语音之间的延迟、字幕悬停时长、断句等细节体验。为此,斗鱼制定了“定制化游戏语言识别模型”,提升了对硬核语义,如战队名、队员ID、装备、技能等内容的理解能力,同时过滤“垃圾话”等。并且通过ASR、NLP算法,在主播声、游戏声等复杂的语音环境中,实现了高精度识别,并能支持英语、日语、汉语等多种语言的识别与互译,覆盖不同人群的语言习惯。

  据粗略统计,斗鱼AI字幕在保证毫秒级响应速度的同时,翻译精度亦能保持在90%以上。未来,在使用过程中,受益于日积月累的数据沉淀与机器自我学习,AI对于游戏用语、游戏梗的理解精确度也将逐渐提升,不断迭代提升观众的使用体验。

  AI字幕功能上线的背后,是斗鱼对用户使用痛点的精准捕捉,也是对直播产品体验的严格要求,更是对拓展多元化业务的摸索与沉淀。

  其一,AI字幕能够满足用户的多元化场景需求,大幅提升了直播观看体验。随着5G技术的演进,用户观看直播的场景从住所、网吧等,逐渐向公交地铁、商场等公共场所转移。一方面,AI字幕能够将用户的双耳从嘈杂的环境音中解放出来,让直播的收看更加方便;另一方面,特有的中日英韩多语互译功能,也能让大多数用户能够看懂海外比赛,削减了观看过程中的语言障碍。

  其二,AI字幕满足了听障人群的使用需求。据统计,我国的听力残障人士约2780万人,占全国残障人群的30%以上。今年两会的《政府工作报告》也明确提出,数字产品在设计时应当贴合社会中的弱势人群。而AI字幕的上线能够解决他们难以理解直播内容的难题,让广大听障人士获得和正常人一样地观看直播。

  其三,AI字幕能够解决海外主播语言不通的痛点,从而吸纳更多的海外人气主播加入斗鱼;另一方面,通过对多语种实时互译技术的打磨,斗鱼将有条件支持直接翻译发布会内容,如苹果和微软的新品发布会,从而打开商业合作的多元化前景,为其商业化提供想象空间。

  在赛事期间,大量玩家反馈语音识别的便利性,尤其是“静音环境用户”在直播间展开了热烈的讨论,尤其表达了对该功能的认可。

  据了解,斗鱼长期投入技术研发,致力于优化用户的使用体验,已在直播技术领域建树颇多。针对赛事直播场景,斗鱼曾推出过实时回放功能、精彩时刻锚点功能,能够实现对直播内容的全程回顾与快速定位,以及能够减少直播卡顿的SRT推流技术等。AI字幕功能的推出,也充分体现了斗鱼对用户需求的强大洞察力。随着平台技术实力的不断升级,斗鱼将以更加细致化的技术革新,带给用户更加极致的产品体验。

雷蒙磨  |   企业文化  |   新闻中心  |   社区  |   移动破碎站  |   磨粉机  |   建筑垃圾破碎机  |   立式磨机  |   制砂机  |   地方资讯  |  


世邦工业科技集团生产各种类型,型号的立式磨机,破碎机,雷蒙磨以及移动破碎站,制砂机等设备,并提供这些不同型号的设备的生产配置,选型,价格分析等服务