喜马拉雅论文被ICASSP 2022收录 受邀展示自研跨语言语音合成技术 “元宇宙+声音” 喜马拉雅是如何打造爆款营销新模式的？

喜马拉雅论文被ICASSP 2022收录 受邀展示自研跨语言语音合成技术 “元宇宙+声音” 喜马拉雅是如何打造爆款营销新模式的？， 

喜马拉雅论文被ICASSP 2022收录 受邀展示自研跨语言语音合成技术

梁长玉报道 近日，喜马拉雅自研的跨语言语音合成创新技术论文被2022年IEEE国际音频、语音与信号处理会议（2022 IEEE International Conference on Acoustics, Speech, and Signal Processing，ICASSP 2022）收录，并受邀于今年5月在新加坡举办的会议上向全球展示相关技术成果。

ICASSP是由IEEE（电气电子工程师学会）主办的在信号处理及其应用方面的顶级会议，在国际上享有盛誉并具有广泛的学术影响力。今年是ICASSP的第47届会议，会议主题为“以人为本的信号处理”。

多语言建模已经成为语音合成系统必须拥有的能力。在实际的建模过程中，常需要根据单语种数据，构建一个拥有多语言能力的音色，比如需要能同时说中文和英文的某个音色，而该音色只有中文数据。针对这种情况，业界主流的建模方式是构建一个跨语言的语音合成系统，使该纯中文音色去学习另外一个带英文数据音色的英文能力。但该类跨语言语音合成系统在构建时往往有一些不足之处，比如学习到的英文发音不尽人意，或者由于学习英文发音，中文的韵律或者发音准确度下降，特别是在高表现力的音色建模上（如有声书朗读风格的音色）。为了进一步解决上述跨语言语音合成系统中所存在的问题，喜马拉雅在论文中提出了其自研的创新训练方法。

这一创新训练方法着眼于让模型能够接受所有音色和语言的组合的训练。例如音色A是一个纯中文数据，音色B是一个纯英文数据。在一些主流的跨语言语音合成系统的训练中，系统只能被和两种组合的数据进行训练。但是在实际语音合成推理中，却需要让音色A说英文（）和让音色B说中文（），而这两种组合都没有对应数据进行训练。此次喜马拉雅在论文中提出的方法，通过训练发音判别器和音色相似度判别器，使得系统不仅接受已有数据组合（，）的训练，也可以被跨语言数据组合（，）训练，从而使得训练和推理两个过程中的音色和语言组合完全对齐。

实验结果显示，新提出的方法不仅在跨语言可懂度上显著超越了基线模型，并且在保留音色相似度的前提下，也提升了跨语言语音合成的自然度。该方法不仅可以用在中英跨语言语音合成建模上，同样可以扩展到其他任何语言的建模上，例如方言跨语言迁移等。

喜马拉雅已在TTS（语音合成）领域潜心钻研多年，并在内部专门成立了喜马拉雅智能语音实验室这一核心部门，长期专注于语音合成、识别、语音信号处理、编解码以及智能音效的研究和开发，而这次的论文研究成果便来自于这一部门。目前，语音合成技术在喜马拉雅已经广泛被运用于评书、新闻、小说等多种内容的制作中，正助力喜马拉雅在现有的“UGC + PGC + PUGC”内容生态之外，进一步拓展AIGC的可能性。

2021年，喜马拉雅通过将自主设计单独的韵律提取模块融入到 HiTTS技术框架，完美复现了单田芳的“声音”，目前已用单田芳的AI合成音上线了80张左右的“单田芳声音重现”专辑，其中，《毛氏三兄弟》和历史类作品的声音完播率远超过普通人声作品，为未来出版物大量有声化提供了新的解决方案。如今有了跨语言的语音合成技术，接下来将有望听到单田芳先生的“声音”来播讲英文内容。同时，2021年，还有新京报、环球时报、潇湘晨报、时代周报、海外网、刺猬公社等众多主流媒体入驻喜马拉雅，借助喜马拉雅TTS技术加速制作新闻类音频节目，让听众有了更多的渠道听到更权威的新闻。

未来，喜马拉雅将持续投入TTS技术的研发升级，不断打开对于声音的想象，让技术加持声音、让声音服务生活。

发布于：北京


“元宇宙+声音” 喜马拉雅是如何打造爆款营销新模式的？

过去的2021，有多少个夜晚是音频节目伴你入眠？有多少公里的上班路，是声音陪你走完？

人类用文字进行交流的历史只有几千年，但声音的交流却从人类诞生就开始了。

从1906年美国匹兹堡大学教授费森登通过无线电塔成功地进行了一次广播，发展到今天流媒体普及，新消费习惯和趋势层出不穷，声音的传播方式也日新月异。相比可视化传播，音频凭借对用户的全场景陪伴和时间的独占性，具有独特的商业价值。

在CNNIC第46次《中国互联网络发展状况统计报告》报告中显示，网络音频已经成为第三大用户使用时长媒体，线上听音频内容已成为网民主要的学习和娱乐方式。

身处音频流量风口，喜马拉雅作为深受用户喜爱的多元化音频分享平台，聚焦为客户打造多平台内容生态，多场景发力，为全年龄段用户提供优质精神食粮，助力品牌更好地把握“元宇宙+声音”、跨领域互动营销等营销机遇，实现品牌影响力和商业价值的迅速提升。

如何破圈？喜马拉雅打造沉浸式体验的平行时空

2021下半年最火的营销概念，非元宇宙莫属。5月喜马拉雅携手中国移动，用声音打造沉浸式体验的平行时空。喜马拉雅联合中国移动，与中国首批商业航天公司之一——天仪研究院，深度合作打造了外太空概念电台——“宇宙电台”，让100条优质声音搭载天仪卫星发向宇宙，让每一个微而足道的声音，回响全宇宙，实现用户与星辰的零距离对话。喜马拉雅&中国移动《宇宙电台》获得2021金投赏国际创意节铜奖。

“宇宙电台”的概念一经推出，即以其新奇与趣味性吸引了用户的眼球，为进一步引发用户共鸣，喜马拉雅设置五大发声主题：喜悦暴击、人生遗憾、未来情书、宇宙flag、灵魂拷问，将声音搭载在特定的生活场景中，特别定制h5活动页面，为用户打造情绪出口。通过上传声音和最终亲眼见证自己的声音被卫星搭载飞向太空，用户在参与的全过程中深度体验了移动5G为生活带来的无限可能。

活动期间，用户与30多位播客、媒体共同参与发声，喜马拉雅邀请“日谈公园”、“黑水公园”、“跑题大会”、“壮游者”等众多高质量播客KOL强势参与，领跑各大主题的推广环节，分别留下自己的灵光发声，打造“初代地球发声联盟”的营销概念，引发用户的同频共振。让听众和粉丝在感染下，最终活动达成45万+参与人数、5.6万+次录音的高互动，其中日谈公园在平台的播放量就已逼近1.5亿。

用户通过扫描海报二维码，或在喜马拉雅APP搜索“宇宙电台”的方式，进入H5活动页面参与活动，并自由选择主题发声，还能聆听主播KOL与来自全世界的不同声音故事。虚拟与现实携手发力，让用户在参与过程中就能感受到移动5G为生活带来的便利。

作为一次契合元宇宙的营销实验，喜马拉雅打造声音营销的平行时空，相较于传统的图文或视频载体，更加具有沉浸式和代入感，互动传输的方式给予用户更强的参与感，多场景展现更加丰富，能以更为写实的方式连接大众情感；以音频回响全宇宙，与星辰零距离对话为切入点，使中国移动5G以更真实的方式与用户建立联系，交互性更强的用户体验能够进一步提高营销效率，或许在未来能为给品牌营销模式提供全新的出口。

把握年轻消费群体 与00后同声共振

大学生作为新一代消费主力群体，历来是各大品牌的必争之地，喜马拉雅一直以多元有趣内容积极部署年轻赛道，紧随9月开学季，与元气森林携手走进全国60所高校，用60场线下创新音频快闪形式的「元气满满 N次元派对」，和大学生真的玩在一起，与00后大学生人群同频共振，促进转化引流。

作为打响营销声量的揭幕站，首场「元气满满 N次元派对」在中南大学校内打造了近300多平方米的音频快闪空间，以“同频”为主旨、“频率”为主线，串联设置了六大趣味互动区域，并将喜马优质音频内容与元气森林品牌、产品进行深度场景融合，以沉浸式的趣味互动体验，与大学生们默契同频，破局音频带货的新尝试。

喜马拉雅将超过100条优质音频置于线下空间之中，精选内容全部为大学生群体真正的兴趣所在，并深度结合了他们真实的收听场景。对于“口嫌体直”的年轻人，喜马拉雅确实做到了听见他们的心声，也借此为客户提供了真实、共情的营销场景。

声入人心，声音营销嵌入多维场景需求

如何用音频讲好故事，持续吸引用户注意力，一直是喜马拉雅着力攻克的课题。传统的营销场景如网站Banner、视频贴片广告，虽然可视性较佳，但曝光不等于被受众接受，视频观众也倾向跳过广告，网页上的Banner条也很容易被网友直接忽略掉。与此相反，音频广告具有独占性的特质，让受众在收听节目时对广告内容更易接受，这也是声音作为伴随性媒体的最大优势。

利用独占性优势，喜马拉雅于五菱汽车展开合作，喜马拉雅围绕五菱汽车创新自研LingOS灵犀系统特性，使用创新AI技术适配系统，以海量优质音频内容为载体，为车主量身定制喜马拉雅五菱专属电台，无缝覆盖车主出行、娱乐、社交、用车全场景。

喜马拉雅围绕五菱星辰车内空间的舒适静谧以及音乐的疗愈价值展开创意传播，联合独立音乐人马頔创作了“森”、“海”、“空”、“野”4大主题乐曲，载入星辰车机系统，助力五菱星辰构建城市生态座舱，让星辰车主感受身临其境的自然妙音，为心灵降噪解压，将每一次出行打造成为一场意趣盎然的追星之旅，传递五菱品牌关怀与价值，持续探索出行新生态。

用户睡眠场景也一直是喜马拉雅陪伴的重要情景。满足用户“助眠解压”、“情感陪伴”等需求，喜马拉雅携手慕思寝具构建睡眠新场景，通过共建助眠频道和哄睡声音为用户提供长期助眠服务，让品牌关怀成为一种不打扰的功能陪伴。今年的321世界睡眠日，助眠频道迎来全新升级，持续呵护全民健康睡眠。在喜马拉雅与慕思家具合作打造的“助眠频道”推广期间，助眠用户日均使用68分钟，品牌元素在节目中展示了1.8亿+次，这背后正是音频流量新高地展现的营销力量。

未来，喜马拉雅的音频内容将持续植入汽车、智能家居、智能穿戴等各类硬件产品中，在移动互联环境下， “听”可以发生在从早到晚所有用户双眼被占用的场景中，在跑步、做饭、开车、睡前等碎片化时间，音频会成为最方便的获取信息的载体之一。

花样创新抢占音频营销阵地 线上下齐发力

基金在2021年度可谓是热搜榜常客，也是年轻人注意力强势集中的领域之一，喜马拉雅的强势传播效果和平台公信力吸引了金融品牌的入驻，共同打造全新的品牌营销方式。

以优质音频内容为纽带汇聚众多主流基金投资人群的喜马拉雅就联合蚂蚁财富多家基金机构共同推出了《背后的故事 FM8.88》节目，邀请多位明星基金经理，分别对话科普作家河森堡、财经评论员马红漫、科普人汪诘三位音频大咖，畅聊当下大家最关心的投资热点，以及基金经理背后的故事。音频节目中释放出高度专业的解读，定制内容也在大咖已有专辑中首发，触达大咖的粉丝圈层。

为将枯燥的金融和基金知识实现出圈的效果，节目不仅在喜马拉雅、基金公司、支付宝客户端多平台宣传推广，音频内容还在上海、深圳核心地段地铁、楼宇等展示资源落地，推广期间节目总播放量超过312.2万。

跨界互动的营销方式同样是喜马拉雅去年探索的新领域，配合魔域新资料片“山海异界”公测，喜马拉雅推出首届“魔域PIA戏大赛”跨界声音营销。此次与游戏行业合作，双方以3D复刻奇观，让用户沉浸体验山海经世界。官方通过海选征集配音，让最强选手获得与配音界大咖级CV同台飙戏机会。喜马拉雅特意打造山海大戏剧本，邀请吴磊、陶典一线大咖共同演绎。明星互动、配音参与、比赛PK，喜马拉雅以游戏公测为节点的营销事件，吸引用户“边听边播演”，线上线下都给予用户高度的参与感，帮助品牌拉进了用户距离。

另一跨界合作的汽车品牌，沃尔沃则是瞄准精英男性这一在音频领域活跃的群体，因为他们工作生活节奏较快，双眼难有时间投入长时间的观看，音频则是他们获取信息、休闲娱乐的最佳方式。喜马拉雅助力沃尔沃新款XC60上市，借势喜马欧洲杯，锁定精英男性群体，高度精准的用户触达，利用赛前赛后碎片时间与用户强互动。体育名人和跨界大咖联合站台，粉丝效应显著，最终实现31场音频直播间总参与人次超3300万，平均单场109万人次收听直播，7300多条互动评论。将车型卖点融入音频话题，引爆新车上市热度，实现人群破圈。

“沉浸式体验”、“00后”等潮流营销概念的植入，配合互动营销、沉浸式体验、打入新品类营销阵地等一套组合拳出击，喜马拉雅正着力构建声音营销的新版图，也吸引了包括支付宝、沃尔沃、联想、建行等多个知名品牌加盟，横跨科技、家居、快消、汽车等多个热门行业，喜马拉雅正在与各位商业伙伴一同探索“声长”新未来。

发布于：天津