
arXivの新着から、音声合成に関する論文をAIが要約・紹介します。要約には誤りが含まれる可能性があります。正確な内容は原文をご確認ください。開発者は @jojonki
Joined August 2026
- Tweets192
- Following1
- Followers132
- Likes28
An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue
凍結したマルチモーダルLLMを軽量アダプタと離散トークンで適応し、少ないデータで語単位の全二重音声対話を実現した研究。
arxiv.org/abs/2611.14774
Duo: A Reciprocal World Model for Full-Duplex Interaction
本報告は、意図と実現を統合した全二重対話のためのReciprocal World ModelとDuo v1を提案する。
arxiv.org/abs/2611.15131
25
1,837
ZONOS3-Mini Technical Report
ZONOS3-Miniは886Mパラメータの潜在MoEと新音声コーデックZAC-1を用いた超小型・高速なゼロショット音声クローニングTTSモデルである。
arxiv.org/abs/2611.16525
github.com/Zyphra/ZONOS3-Min…
Convolutional VocalTrax: Replacing Backpropagation Through Time with Convolution in Differentiable Articulatory Synthesis
VocalTraxの長い再帰を周波数応答の因果畳み込みに置き換え、GPU上で順逆伝播を47〜63倍高速化した研究。
arxiv.org/abs/2611.17181
77
Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts
📌 NeurIPS 2026
PlanAudioは自由形式テキストから音声と効果音を統合した音声を単一の自己回帰フレームワークで直接生成する手法である。
arxiv.org/abs/2605.28063
3
240
Emilia2: A Large-Scale Dataset for Controllable Long-Form Speech Generation
Emilia2は229K時間の多言語長文音声データセットで、短文・単一話者長文・複数話者対話を含み、自然言語指示と非言語発声タグを付与し、AR/NARモデルで評価した研究である。
arxiv.org/abs/2611.13614
VocalCoachBench: Benchmarking Audio-Language Models on Expert Feedback for Singing
📌 NeurIPS 2026
歌唱コーチングの専門家フィードバックを音声言語モデルで評価するVocalCoachBenchを提案し、12モデルの性能ギャップを示した論文。
arxiv.org/abs/2609.04241
81
M5-TTS: A Mini-Scale Multilingual and Multi-Dialect Text-to-Speech Language Model with Multi-Token Prediction
M5-TTSは50Mパラメータの小型多言語・多方言TTS言語モデルで、ゼロショット声クローンとCPUストリーミングを実現し、MOSS-TTS-Nano比で誤り率を削減した
arxiv.org/abs/2611.10162
4
184
Guidance at Pure Noise Erodes Speaker Similarity in Few-Step Token-Conditioned Flow-Matching TTS
TASLP
少ステップTTSの話者類似度低下は初回純ノイズ段のguidanceが主因で、初回無guidanceの学習不要サンプラが損失の大部分を回復する。
arxiv.org/abs/2611.11179
4
325
BARS: Beat-Adaptive Rap Synthesis via Flow Matching
📌 ISMIR 2026
ビート・歌詞・参照音声を条件とする非自己回帰的なラップ音声生成モデルBARSを提案し、テンポの独立制御と高い歌詞忠実度を実現した。
arxiv.org/abs/2611.12061
1
58
AudioCodex: Streaming Autoencoders for Live Audio
📌 ISMIR 2026
AudioCodexはステレオ音声を約10Hzの連続潜在系列に圧縮する完全因果的オートエンコーダで、生成と再構成のトレードオフで最先端を上回ると報告している。
arxiv.org/abs/2611.12375
4
261
WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning
📌 NeurIPS 2026
WaveGenはSpectral Forcingにより中間表現や外部アライメントモジュールを用いずにテキストから波形を直接生成する完全エンドツーエンド拡散TTSである。
arxiv.org/abs/2611.12527
Real-Time Short-Response Selection for Spoken Dialogue Systems
対話文脈から短応答を選び、音声合成の生成遅延を隠すリアルタイム応答選択手法を提案した。
arxiv.org/abs/2611.09057
1
156
Asymmetric Correspondence Learning for Lexical and Style Embeddings: Interpreting Latent Space via Acoustic Features
📌SLT 2026
HuBERT特徴を語彙埋め込みとスタイル埋め込みに分離するACLを提案し、線形プローブでは見えない情報残存をeGeMAPS特徴の重要度で解釈..
arxiv.org/abs/2611.09313
79
Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models
チャンク交互型全二重音声言語モデルにおいて、無音入力での投機的デコードにより応答遅延を大幅に削減する手法を提案する。
arxiv.org/abs/2611.06982
1
5
264
Adaptive and High-Fidelity Matching Algorithm for Retrieval-Based Accent Conversion
検索ベースのアクセント変換において、音素カバレッジに基づくマッチングプール構築、異方性を考慮した適応的kNN、AdaINベースの細粒度デコーダを提案する論文。
arxiv.org/abs/2611.07420
1
225
Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models
Route-DMDはタスク依存の目的関数ルーティングにより、音声基盤モデルの4ステップStudentモデルを実現する蒸留手法である。
arxiv.org/abs/2611.08011
72
VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics
約4100万ペアのバイリンガル音声編集データセットVoxCanvas-41Mを構築し、指示ベース音声編集モデルの学習ダイナミクスを分析した論文。
arxiv.org/abs/2611.08251
TTSonic: A Unified Framework for Composable and Controllable Speech Generation
TTSonicは、ゼロショットTTSや声質変換、韻律クローニング、指示追従などを単一モデルで実現する統合音声生成フレームワークである。
arxiv.org/abs/2611.04282
demo bytedance.github.io/TTSonic/
Detector-Guided Vocoder Training for Adversarial Text-to-Speech Synthesis
📌 WIFS 2026
検出器をTTS学習ループに組み込み、ボコーダを微調整することで本質的に敵対的な合成音声を生成する枠組みを提案する。
arxiv.org/abs/2611.04511
3
215