Subjective Evaluation

To demonstrate that our proposed model can significantly improve the naturalness and expressiveness of the synthesized speech, some samples are provided for comparison. GT (Reconstructed) means the audio reconstructed from ground truth Mel-spectrogram. FastSpeech 2 means an open-source implementation of FastSpeech 2. HCE means hierarchical context encoder (HCE) model, which predicts the style on global-level from the context. In addition, a well-trained HIFI-GAN is used as the vocoder to generate waveform.

Single-sentence

Target Chinese Text	GT (Reconstructed)	FastSpeech 2	HCE	Proposed
麻雷子的声响惊醒了正在睡回笼觉儿的黄五爷。
双录听勾秀云说叔叔要让他回屯开荒,嘴撅得能拴个驴啦，嘟嘟囔囔的说。
包氏红着脸点了点头儿，勾秀云邪性地加了一句。
双录应声出去了，一会儿工夫，余为农尴尴尬尬地进了饭馆儿。
双录瘪了瘪嘴。

Multi-sentence

Target Chinese Text	GT (Reconstructed)	FastSpeech 2	HCE	Proposed
麻雷子的声响惊醒了正在睡回笼觉儿的黄五爷。他问儿媳妇儿乌雅氏，才知道是余家竖旗杆，觉得可笑。
唱词写得也好，又是古城子身边儿的人和事儿，商民们争先恐后地前往观看。南班主在开演之前，习惯地往下看了看。只见人群中间站着一个衣着简朴却气宇轩昂的老者，身边儿是几个身材魁梧的壮汉。
见明大人在雅间儿里独自饮酒，隔着掀上去的门帘儿就跪下了。“小的余为农给明大老爷请安，不知叫小的有何吩咐。”明保端详了几眼余为农，余为农粗黑蛮壮。
洋夜猫子进宅啦，役通知各大车店。自己想办法，不要容留他们住宿。各大车店掌柜得到通知，都把韦廉臣拒之门外。
黄五爷早从双录的口里就得知了穆隆阿来屯，捏着鹰嘴儿铁核桃等在高间儿里。穆隆阿领着六格进屋儿，打千儿请安行叩拜大礼。

Ablation Study

Target Chinese Text	GT (Reconstructed)	Proposed	without mixture attention mask	without previous style information	without hierarchical architecture
唱词写得也好，又是古城子身边儿的人和事儿，商民们争先恐后地前往观看。南班主在开演之前，习惯地往下看了看。只见人群中间站着一个衣着简朴却气宇轩昂的老者，身边儿是几个身材魁梧的壮汉。
余庆在闭目用心算着账，判断着各家儿掌柜的态度和能力，他睁开眼睛摇了摇头。“这些个烧商，不是财大气粗有钱有势，就是些哈剌皮带滚筋的土豪。别整那么复杂，我看就这样儿吧。”
呃，黄五爷勃然大怒。“你也忒小看了爱新觉罗了！漫说我一家五口儿有三口儿吃着朝廷俸禄，日子还过得去。”
我是高看你们了，害得我受了半宿清冻。走吧，咋来的咋回吧，明大老爷还等着给你们披红戴花儿呐。桂三儿提着一口气儿赶到这儿，见着富征额彻底就泄了，一屁股坐在地上。
哈，从新疆调防到这儿一个半月啦。对了，梅将军府的奶奶们前脚儿刚到啊，安排在会友店了。你们也去那里吧，我也好一并招待呀。

Case Study

Model	Target Chinese Text	Audio	Mel-Spectrogram
GT (Reconstructed)	这小子彪悍呐，手下有二百多喽啰，都是草原上一等一的骑手。每与官兵交战，按照狼群捕杀黄羊的阵势布阵，无人能敌。
HCE	这小子彪悍呐，手下有二百多喽啰，都是草原上一等一的骑手。每与官兵交战，按照狼群捕杀黄羊的阵势布阵，无人能敌。
Proposed	这小子彪悍呐，手下有二百多喽啰，都是草原上一等一的骑手。每与官兵交战，按照狼群捕杀黄羊的阵势布阵，无人能敌。
Proposed with F0 shifted +50 Hz	这小子彪悍呐，手下有二百多喽啰，都是草原上一等一的骑手。每与官兵交战，按照狼群捕杀黄羊的阵势布阵，无人能敌。