arXivExpress Speech Generation (@arXivExpress) profile picture

arXivの新着から、音声合成に関する論文をAIが要約・紹介します。要約には誤りが含まれる可能性があります。正確な内容は原文をご確認ください。開発者は @jojonki

Joined August 2026
An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue 凍結したマルチモーダルLLMを軽量アダプタと離散トークンで適応し、少ないデータで語単位の全二重音声対話を実現した研究。 arxiv.org/abs/2611.14774
2
32
1,612
ZONOS3-Mini Technical Report ZONOS3-Miniは886Mパラメータの潜在MoEと新音声コーデックZAC-1を用いた超小型・高速なゼロショット音声クローニングTTSモデルである。 arxiv.org/abs/2611.16525 github.com/Zyphra/ZONOS3-Min…
1
21
1,168
Convolutional VocalTrax: Replacing Backpropagation Through Time with Convolution in Differentiable Articulatory Synthesis VocalTraxの長い再帰を周波数応答の因果畳み込みに置き換え、GPU上で順逆伝播を47〜63倍高速化した研究。 arxiv.org/abs/2611.17181
77
Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts 📌 NeurIPS 2026 PlanAudioは自由形式テキストから音声と効果音を統合した音声を単一の自己回帰フレームワークで直接生成する手法である。 arxiv.org/abs/2605.28063
3
240
Emilia2: A Large-Scale Dataset for Controllable Long-Form Speech Generation Emilia2は229K時間の多言語長文音声データセットで、短文・単一話者長文・複数話者対話を含み、自然言語指示と非言語発声タグを付与し、AR/NARモデルで評価した研究である。 arxiv.org/abs/2611.13614
7
34
1,545
VocalCoachBench: Benchmarking Audio-Language Models on Expert Feedback for Singing 📌 NeurIPS 2026 歌唱コーチングの専門家フィードバックを音声言語モデルで評価するVocalCoachBenchを提案し、12モデルの性能ギャップを示した論文。 arxiv.org/abs/2609.04241
81
M5-TTS: A Mini-Scale Multilingual and Multi-Dialect Text-to-Speech Language Model with Multi-Token Prediction M5-TTSは50Mパラメータの小型多言語・多方言TTS言語モデルで、ゼロショット声クローンとCPUストリーミングを実現し、MOSS-TTS-Nano比で誤り率を削減した arxiv.org/abs/2611.10162
4
184
Guidance at Pure Noise Erodes Speaker Similarity in Few-Step Token-Conditioned Flow-Matching TTS TASLP 少ステップTTSの話者類似度低下は初回純ノイズ段のguidanceが主因で、初回無guidanceの学習不要サンプラが損失の大部分を回復する。 arxiv.org/abs/2611.11179
4
325
BARS: Beat-Adaptive Rap Synthesis via Flow Matching 📌 ISMIR 2026 ビート・歌詞・参照音声を条件とする非自己回帰的なラップ音声生成モデルBARSを提案し、テンポの独立制御と高い歌詞忠実度を実現した。 arxiv.org/abs/2611.12061
1
58
AudioCodex: Streaming Autoencoders for Live Audio 📌 ISMIR 2026 AudioCodexはステレオ音声を約10Hzの連続潜在系列に圧縮する完全因果的オートエンコーダで、生成と再構成のトレードオフで最先端を上回ると報告している。 arxiv.org/abs/2611.12375
4
261
WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning 📌 NeurIPS 2026 WaveGenはSpectral Forcingにより中間表現や外部アライメントモジュールを用いずにテキストから波形を直接生成する完全エンドツーエンド拡散TTSである。 arxiv.org/abs/2611.12527
2
9
782
Asymmetric Correspondence Learning for Lexical and Style Embeddings: Interpreting Latent Space via Acoustic Features 📌SLT 2026 HuBERT特徴を語彙埋め込みとスタイル埋め込みに分離するACLを提案し、線形プローブでは見えない情報残存をeGeMAPS特徴の重要度で解釈.. arxiv.org/abs/2611.09313
79
Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models チャンク交互型全二重音声言語モデルにおいて、無音入力での投機的デコードにより応答遅延を大幅に削減する手法を提案する。 arxiv.org/abs/2611.06982
1
5
264
Adaptive and High-Fidelity Matching Algorithm for Retrieval-Based Accent Conversion 検索ベースのアクセント変換において、音素カバレッジに基づくマッチングプール構築、異方性を考慮した適応的kNN、AdaINベースの細粒度デコーダを提案する論文。 arxiv.org/abs/2611.07420
1
225
Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models Route-DMDはタスク依存の目的関数ルーティングにより、音声基盤モデルの4ステップStudentモデルを実現する蒸留手法である。 arxiv.org/abs/2611.08011
72
VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics 約4100万ペアのバイリンガル音声編集データセットVoxCanvas-41Mを構築し、指示ベース音声編集モデルの学習ダイナミクスを分析した論文。 arxiv.org/abs/2611.08251
1
6
324
TTSonic: A Unified Framework for Composable and Controllable Speech Generation TTSonicは、ゼロショットTTSや声質変換、韻律クローニング、指示追従などを単一モデルで実現する統合音声生成フレームワークである。 arxiv.org/abs/2611.04282 demo bytedance.github.io/TTSonic/
3
9
651
Detector-Guided Vocoder Training for Adversarial Text-to-Speech Synthesis 📌 WIFS 2026 検出器をTTS学習ループに組み込み、ボコーダを微調整することで本質的に敵対的な合成音声を生成する枠組みを提案する。 arxiv.org/abs/2611.04511
3
215