6.4.7 Появление модели WaveNet и новые проблемы - История изменений

Andrey Fedichkin в 21:54, 8 мая 2025

2025-05-08T21:54:17Z

← Предыдущая версия		Версия от 21:54, 8 мая 2025
Строка 60:		Строка 60:

	Однако появление WaveNet послужило отправной точкой для множества исследований в области нейросетевых вокодеров, что привело к созданию таких моделей, как Parallel WaveNet<ref>van den Oord A., Li Y., Babuschkin I., Simonyan K., Vinyals O., Kavukcuoglu K., van den Driessche G., Lockhart E., Cobo L. C., Stimberg F., Casagrande N., Grewe D., Noury S., Dieleman S., Elsen E., Kalchbrenner N., Zen H., Graves A., King H., Walters T., Belov D., Hassabis D. (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis // https://arxiv.org/abs/1711.10433</ref>, FFTNet<ref>Jin Z., Finkelstein A., Mysore G. J., Lu J. (2018). FFTNet: A Real-Time Speaker-Dependent Neural Vocoder / 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) // https://doi.org/10.1109/ICASSP.2018.8462431</ref>, WaveRNN<ref>Kalchbrenner N., Elsen E., Simonyan K., Noury S., Casagrande N., Lockhart E., Stimberg F., van den Oord A., Dieleman S., Kavukcuoglu K. (2018). Efficient Neural Audio Synthesis // https://arxiv.org/abs/1802.08435</ref>, WaveGlow<ref>Prenger R., Valle R., Catanzaro B. (2018). WaveGlow: A Flow-based Generative Network for Speech Synthesis // https://arxiv.org/abs/1811.00002</ref>, LPCNet<ref>Valin J.-M., Skoglund J. (2018). LPCNet: Improving Neural Speech Synthesis Through Linear Prediction // https://arxiv.org/abs/1810.11846</ref> и так далее. По качеству синтеза эти модели обычно незначительно уступают WaveNet, но позволяют добиться результата в реальном времени, что даёт возможность использовать их в качестве компонентов современных систем синтеза речи<ref>Govalkar P., Fischer J., Zalkow F., Dittmar C. (2019). A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction / 10th ISCA Speech Synthesis Workshop, 20—22 September 2019, Vienna, Austria // https://doi.org/10.21437/SSW.2019-2</ref>.		Однако появление WaveNet послужило отправной точкой для множества исследований в области нейросетевых вокодеров, что привело к созданию таких моделей, как Parallel WaveNet<ref>van den Oord A., Li Y., Babuschkin I., Simonyan K., Vinyals O., Kavukcuoglu K., van den Driessche G., Lockhart E., Cobo L. C., Stimberg F., Casagrande N., Grewe D., Noury S., Dieleman S., Elsen E., Kalchbrenner N., Zen H., Graves A., King H., Walters T., Belov D., Hassabis D. (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis // https://arxiv.org/abs/1711.10433</ref>, FFTNet<ref>Jin Z., Finkelstein A., Mysore G. J., Lu J. (2018). FFTNet: A Real-Time Speaker-Dependent Neural Vocoder / 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) // https://doi.org/10.1109/ICASSP.2018.8462431</ref>, WaveRNN<ref>Kalchbrenner N., Elsen E., Simonyan K., Noury S., Casagrande N., Lockhart E., Stimberg F., van den Oord A., Dieleman S., Kavukcuoglu K. (2018). Efficient Neural Audio Synthesis // https://arxiv.org/abs/1802.08435</ref>, WaveGlow<ref>Prenger R., Valle R., Catanzaro B. (2018). WaveGlow: A Flow-based Generative Network for Speech Synthesis // https://arxiv.org/abs/1811.00002</ref>, LPCNet<ref>Valin J.-M., Skoglund J. (2018). LPCNet: Improving Neural Speech Synthesis Through Linear Prediction // https://arxiv.org/abs/1810.11846</ref> и так далее. По качеству синтеза эти модели обычно незначительно уступают WaveNet, но позволяют добиться результата в реальном времени, что даёт возможность использовать их в качестве компонентов современных систем синтеза речи<ref>Govalkar P., Fischer J., Zalkow F., Dittmar C. (2019). A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction / 10th ISCA Speech Synthesis Workshop, 20—22 September 2019, Vienna, Austria // https://doi.org/10.21437/SSW.2019-2</ref>.
			<references />
	<comments />		<comments />

Andrey Fedichkin в 20:41, 8 мая 2025

2025-05-08T20:41:06Z

← Предыдущая версия		Версия от 20:41, 8 мая 2025
Строка 60:		Строка 60:

	Однако появление WaveNet послужило отправной точкой для множества исследований в области нейросетевых вокодеров, что привело к созданию таких моделей, как Parallel WaveNet<ref>van den Oord A., Li Y., Babuschkin I., Simonyan K., Vinyals O., Kavukcuoglu K., van den Driessche G., Lockhart E., Cobo L. C., Stimberg F., Casagrande N., Grewe D., Noury S., Dieleman S., Elsen E., Kalchbrenner N., Zen H., Graves A., King H., Walters T., Belov D., Hassabis D. (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis // https://arxiv.org/abs/1711.10433</ref>, FFTNet<ref>Jin Z., Finkelstein A., Mysore G. J., Lu J. (2018). FFTNet: A Real-Time Speaker-Dependent Neural Vocoder / 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) // https://doi.org/10.1109/ICASSP.2018.8462431</ref>, WaveRNN<ref>Kalchbrenner N., Elsen E., Simonyan K., Noury S., Casagrande N., Lockhart E., Stimberg F., van den Oord A., Dieleman S., Kavukcuoglu K. (2018). Efficient Neural Audio Synthesis // https://arxiv.org/abs/1802.08435</ref>, WaveGlow<ref>Prenger R., Valle R., Catanzaro B. (2018). WaveGlow: A Flow-based Generative Network for Speech Synthesis // https://arxiv.org/abs/1811.00002</ref>, LPCNet<ref>Valin J.-M., Skoglund J. (2018). LPCNet: Improving Neural Speech Synthesis Through Linear Prediction // https://arxiv.org/abs/1810.11846</ref> и так далее. По качеству синтеза эти модели обычно незначительно уступают WaveNet, но позволяют добиться результата в реальном времени, что даёт возможность использовать их в качестве компонентов современных систем синтеза речи<ref>Govalkar P., Fischer J., Zalkow F., Dittmar C. (2019). A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction / 10th ISCA Speech Synthesis Workshop, 20—22 September 2019, Vienna, Austria // https://doi.org/10.21437/SSW.2019-2</ref>.		Однако появление WaveNet послужило отправной точкой для множества исследований в области нейросетевых вокодеров, что привело к созданию таких моделей, как Parallel WaveNet<ref>van den Oord A., Li Y., Babuschkin I., Simonyan K., Vinyals O., Kavukcuoglu K., van den Driessche G., Lockhart E., Cobo L. C., Stimberg F., Casagrande N., Grewe D., Noury S., Dieleman S., Elsen E., Kalchbrenner N., Zen H., Graves A., King H., Walters T., Belov D., Hassabis D. (2017). Parallel WaveNet: Fast High-Fidelity Speech Synthesis // https://arxiv.org/abs/1711.10433</ref>, FFTNet<ref>Jin Z., Finkelstein A., Mysore G. J., Lu J. (2018). FFTNet: A Real-Time Speaker-Dependent Neural Vocoder / 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) // https://doi.org/10.1109/ICASSP.2018.8462431</ref>, WaveRNN<ref>Kalchbrenner N., Elsen E., Simonyan K., Noury S., Casagrande N., Lockhart E., Stimberg F., van den Oord A., Dieleman S., Kavukcuoglu K. (2018). Efficient Neural Audio Synthesis // https://arxiv.org/abs/1802.08435</ref>, WaveGlow<ref>Prenger R., Valle R., Catanzaro B. (2018). WaveGlow: A Flow-based Generative Network for Speech Synthesis // https://arxiv.org/abs/1811.00002</ref>, LPCNet<ref>Valin J.-M., Skoglund J. (2018). LPCNet: Improving Neural Speech Synthesis Through Linear Prediction // https://arxiv.org/abs/1810.11846</ref> и так далее. По качеству синтеза эти модели обычно незначительно уступают WaveNet, но позволяют добиться результата в реальном времени, что даёт возможность использовать их в качестве компонентов современных систем синтеза речи<ref>Govalkar P., Fischer J., Zalkow F., Dittmar C. (2019). A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction / 10th ISCA Speech Synthesis Workshop, 20—22 September 2019, Vienna, Austria // https://doi.org/10.21437/SSW.2019-2</ref>.
			<comments />

Andrey Fedichkin в 21:23, 16 апреля 2025

2025-04-16T21:23:44Z

← Предыдущая версия		Версия от 21:23, 16 апреля 2025
Строка 29:		Строка 29:
	(путунхуа)		(путунхуа)
	\|-		\|-
	~~!width="44%"~~\| Параметрический на базе LSTM-RNN		\| Параметрический на базе LSTM-RNN
	~~!width="28%"~~\| 3,67 ± 0,098		\| 3,67 ± 0,098
	~~!width="27%"~~\| 3,79 ± 0,084		\| 3,79 ± 0,084
	\|-		\|-
	\|		\|

Andrey Fedichkin в 21:23, 16 апреля 2025

2025-04-16T21:23:23Z

← Предыдущая версия		Версия от 21:23, 16 апреля 2025
Строка 29:		Строка 29:
	(путунхуа)		(путунхуа)
	\|-		\|-
	!width="44%"\|Параметрический на базе LSTM-RNN		!width="44%"\| Параметрический на базе LSTM-RNN
	!width="28%"\| 3,67 ± 0,098		!width="28%"\| 3,67 ± 0,098
	!width="27%"\| 3,79 ± 0,084		!width="27%"\| 3,79 ± 0,084

Andrey Fedichkin в 21:22, 16 апреля 2025

2025-04-16T21:22:36Z

← Предыдущая версия		Версия от 21:22, 16 апреля 2025
Строка 29:		Строка 29:
	(путунхуа)		(путунхуа)
	\|-		\|-
	!width="44%"\|		!width="44%"\|Параметрический на базе LSTM-RNN
	Параметрический на базе LSTM-RNN
	!width="28%"\| 3,67 ± 0,098		!width="28%"\| 3,67 ± 0,098
	!width="27%"\| 3,79 ± 0,084		!width="27%"\| 3,79 ± 0,084

Andrey Fedichkin в 21:22, 16 апреля 2025

2025-04-16T21:22:00Z

← Предыдущая версия		Версия от 21:22, 16 апреля 2025
Строка 30:		Строка 30:
	\|-		\|-
	!width="44%"\|		!width="44%"\|
	~~<blockquote>~~Параметрический на базе LSTM-RNN		Параметрический на базе LSTM-RNN
	~~</blockquote>~~
	!width="28%"\| 3,67 ± 0,098		!width="28%"\| 3,67 ± 0,098
	!width="27%"\| 3,79 ± 0,084		!width="27%"\| 3,79 ± 0,084
	\|-		\|-
	\|		\|
	~~<blockquote>~~Конкатенативный на базе скрытой марковской модели		Конкатенативный на базе скрытой марковской модели
	~~</blockquote>~~
	\| 3,86 ± 0,137		\| 3,86 ± 0,137
	\| 3,47 ± 0,108		\| 3,47 ± 0,108
	\|-		\|-
	\|		\|
	~~<blockquote>~~WaveNet		WaveNet
	~~</blockquote>~~
	\| 4,21 ± 0,081		\| 4,21 ± 0,081
	\| 4,08 ± 0,085		\| 4,08 ± 0,085
	\|-		\|-
	\|		\|
	~~<blockquote>~~Естественная речь (8 бит, μ-закон)		Естественная речь (8 бит, μ-закон)
	~~</blockquote>~~
	\| 4,46 ± 0,067		\| 4,46 ± 0,067
	\| 4,25 ± 0,082		\| 4,25 ± 0,082
	\|-		\|-
	\|		\|
	~~<blockquote>~~Естественная речь (16 бит, линейный, импульсно-кодовая модуляция)		Естественная речь (16 бит, линейный, импульсно-кодовая модуляция)
	~~</blockquote>~~
	\| 4,55 ± 0,075		\| 4,55 ± 0,075
	\| 4,21 ± 0,071		\| 4,21 ± 0,071

Andrey Fedichkin в 21:04, 16 апреля 2025

2025-04-16T21:04:09Z

← Предыдущая версия		Версия от 21:04, 16 апреля 2025
Строка 22:		Строка 22:
	\|rowspan="2"\| Варианты синтеза/Образцы речи		\|rowspan="2"\| Варианты синтеза/Образцы речи
	\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале		\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале
	\|
	\|-		\|-
	\| североамериканский английский		\| североамериканский английский

Andrey Fedichkin в 21:01, 16 апреля 2025

2025-04-16T21:01:08Z

← Предыдущая версия		Версия от 21:01, 16 апреля 2025
Строка 20:		Строка 20:

	{\|border=1		{\|border=1
	~~!width="44%"~~\|rowspan="2"\| Варианты синтеза/Образцы речи		\|rowspan="2"\| Варианты синтеза/Образцы речи
	~~!width="28%"~~\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале		\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале
	~~!width="27%"~~\|		\|
	\|-		\|-
	\| североамериканский английский		\| североамериканский английский
Строка 30:		Строка 30:
	(путунхуа)		(путунхуа)
	\|-		\|-
	\|		!width="44%"\|
	<blockquote>Параметрический на базе LSTM-RNN		<blockquote>Параметрический на базе LSTM-RNN
	</blockquote>		</blockquote>
	\| 3,67 ± 0,098		!width="28%"\| 3,67 ± 0,098
	\| 3,79 ± 0,084		!width="27%"\| 3,79 ± 0,084
	\|-		\|-
	\|		\|

Andrey Fedichkin в 20:58, 16 апреля 2025

2025-04-16T20:58:25Z

← Предыдущая версия		Версия от 20:58, 16 апреля 2025
Строка 20:		Строка 20:

	{\|border=1		{\|border=1
	\|-		!width="44%"\|rowspan="2"\| Варианты синтеза/Образцы речи
	\|rowspan="2"\| Варианты синтеза/Образцы речи		!width="28%"\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале
	\|colspan="2"\| Средняя субъективная оценка естественности речи по пятибалльной шкале		!width="27%"\|
	\|-		\|-
	\| североамериканский английский		\| североамериканский английский

Andrey Fedichkin в 20:57, 16 апреля 2025

2025-04-16T20:57:34Z

← Предыдущая версия		Версия от 20:57, 16 апреля 2025
Строка 20:		Строка 20:

	{\|border=1		{\|border=1
	~~!width="44%"\|~~
	~~!width="28%"\|~~
	~~!width="27%"\|~~
	\|-		\|-
	\|rowspan="2"\| Варианты синтеза/Образцы речи		\|rowspan="2"\| Варианты синтеза/Образцы речи

← Предыдущая версия		Версия от 20:57, 16 апреля 2025
Строка 20:		Строка 20:

	{\|border=1		{\|border=1
	~~!width="44%"\|~~
	~~!width="28%"\|~~
	~~!width="27%"\|~~
	\|-		\|-
	\|rowspan="2"\| Варианты синтеза/Образцы речи		\|rowspan="2"\| Варианты синтеза/Образцы речи