Abstract

Naturalness and expressiveness are crucial for audiobook speech synthesis, but now are limited by the averaged global-scale speaking style representation. In this paper, we propose an unsupervised multi-scale context-sensitive text-to-speech model for audiobooks. A multi-scale hierarchical context encoder is specially designed to predict both global-scale context style embedding and local-scale context style embedding from a wider context of input text in a hierarchical structure. Likewise, a multi-scale reference encoder is introduced to extract reference style embeddings at both global and local scales from the reference speech, which are used to guide the prediction of speaking styles. On top of these, a bi-reference attention mechanism is used to align both local-scale reference style embedding sequence and local-scale context style embedding sequence with corresponding phoneme embedding sequence. Both objective and subjective experiment results on a real-world multi-speaker Mandarin novel audio dataset demonstrate the excellent performance of our proposed method over all baselines in terms of naturalness and expressiveness of the synthesized speech.

Comparative Experiment (Sentence-level)

	Chinese Text	GT	FastSpeech2	BERT-FS2	HCE-FS2	Proposed
1	想了想，杨剑还是决定把这个消息告诉她，隐瞒下去也没什么意思。
2	一拳，竟然能将李大能打退这么多步？
3	除此之外，就连那位退下来五年，留在特殊别墅里养老，不为人知的刘帅，也打来了电话！
4	下一秒，只见李大能实在忍不住了，他举起另外一只拳头，对着于枫的脑袋就砸了过去。
5	这个保安口中的冷家少爷为什么要给他塞红包呢，把附近的监控全部都要关掉呢？
6	也就在杨振华前往局子的那一刻，一辆顶尖的私人飞机，降落在了宁城机场。
7	她表面平静地坐在位置上等待着，实际上早已急不可耐，一边刷着手机，一边询问好友最近有什么适合情侣去看的电影。
8	“怎么，你还想对我动手啊？我可是有邀请函的！”
9	“对，就该动手把这孙子打一顿！”
10	她一腔热血地冲着自己的叔叔张世陶拍桌子，连骂带教训的把身上这层象征着法律威严的衣服摔在他的办公室里，当场辞职，离开局子，为的就是能将于枫绳之以法！

Comparative Experiment (Paragraph-level)

	Chinese Context and GT Audio	GT	FastSpeech2	BERT-FS2	HCE-FS2	Proposed
1	Past sentence: 韩流面目狰狞，这是他第一次被人踢飞。还是在一群宁城各界有头有脸的人物面前。 Current sentence: 颜面扫地呀！ Future sentence: “杂种？”于枫忽然停下。
2	Past sentence: “哥？”。“没找到！” Current sentence: 想了想，杨剑还是决定把这个消息告诉她，隐瞒下去也没什么意思。 Future sentence: “没找到？”杨黎如脸色大变：“怎么可能没找到啊？”
3	Past sentence: 冷沉一愣，这语气可就真见外了，他笑了笑： Current sentence: “呵，雨霜啊，我们认识这么久了，还需要这么客气吗？” Future sentence: “这几天事情多，我都没时间来找你，让你等急了吧！”
4	Past sentence: 李大能倒退好几步，一下坐在地上，他昂起头，表情震惊地看着于枫。所有人都惊呆了。 Current sentence: 一拳，竟然能将李大能打退这么多步？ Future sentence: 可在李大能看来，这一拳，虽有力，却无劲，没有丝毫的疼痛！
5	Past sentence: 在四海拳馆被称为小霸王的李大能，居然被一个陪练戏耍了！ Current sentence: 下一秒，只见李大能实在忍不住了，他举起另外一只拳头，对着于枫的脑袋就砸了过去。 Future sentence: 那一拳，被卸力了！
6	Past sentence: “等等！”冷沉刚迈开脚步准备带路星寒离开，不想于枫又开口拦住他。 Current sentence: “怎么，你还想对我动手啊？我可是有邀请函的！” Future sentence: “那又如何呢？”于枫迅速伸手，一把抓住冷沉的衣领子。
7	Past sentence: 他的西装略显暗紫，在夜店里是最为吸引人的颜色。 Current sentence: 五官俊朗，面庞坚毅，高俊的鼻子与那一双木眉颇显贵气，可谓是传承了韩家的优良基因。 Future sentence: 这等家世与相貌在外界看来，无不是白马王子的最佳人选。
8	Past sentence: “把他给我赶走，要是不听，给我动手，注意，不要伤到雨霜！” Current sentence: “对，就该动手把这孙子打一顿！” Future sentence: 一听这话，高云霄咧嘴一笑，挥舞着拳头。
9	Past sentence: 想着，他起身，借反光镜微弱的视角确定另外两个人的位置没有变化后，猛地侧身翻滚而来，准备冲到楼梯口前往四楼，转移阵地。 Current sentence: 也就在这时，二楼的楼梯口，一道迷彩的身影飞速的冲来。 Future sentence: 林允南迈开大步，双眉皱成一条线。
10	Past sentence: “红包？”敏锐的鹰立马察觉到不对劲。 Current sentence: 这个保安口中的冷家少爷为什么要给他塞红包呢，把附近的监控全部都要关掉呢？ Future sentence: 他不想让人知道什么呢？

Ablation Study

	Chinese Text	Proposed	- GS	- LS	- KD	- RE
1	“呵，雨霜啊，我们认识这么久了，还需要这么客气吗？”
2	“怎么，你还想对我动手啊？我可是有邀请函的！”
3	不过这卖瘫痪药，还真是新鲜了。
4	听到这话，杨剑也很无奈，不过就在他犹豫的时候，局子里立马冲出来十几名身穿制服的工作人员，以百米加速的状态奔向华美集团。
5	看到杨剑沉迷游戏无法自拔，中年男人脸角微微抽搐了一下，都这么大年纪了，不想着怎么继承家业，成天打游戏，要是让宁城的其他家族知道，成何体统啊！
6	一拳，竟然能将李大能打退这么多步？
7	曾经威名传遍大江南北，威震四方的狼王，还有人记得他吗？
8	“呵呵呵，该不会是给高家来讨债的吧？”
9	她表面平静地坐在位置上等待着，实际上早已急不可耐，一边刷着手机，一边询问好友最近有什么适合情侣去看的电影。
10	她一腔热血地冲着自己的叔叔张世陶拍桌子，连骂带教训的把身上这层象征着法律威严的衣服摔在他的办公室里，当场辞职，离开局子，为的就是能将于枫绳之以法！

Case Study

	Chinese Text	Audio	Mel-Spectrogram
Proposed	也就在这时，酒店里一道道鄙夷的目光朝着酒店门口投来。
GT	也就在这时，酒店里一道道鄙夷的目光朝着酒店门口投来。
Proposed-GS	也就在这时，酒店里一道道鄙夷的目光朝着酒店门口投来。
Proposed	一拳，竟然能将李大能打退这么多步？
GT	一拳，竟然能将李大能打退这么多步？
Proposed-LS	一拳，竟然能将李大能打退这么多步？