Kentaro Seki / 関健太郎 retweeted
すでに公開されております通り,この度,科学技術振興機構 戦略的創造研究推進事業(ERATO型研究) に我々の申請課題が採択され,この10月より「鈴木数理人工知能学プロジェクト」を発足するに至りました.
総括総括としてご推薦いただいた審査員の先生方,また申請に向けてご助言いただいた皆様,そしてこれまで研究を支えていただきました共同研究者の皆様に感謝申し上げます.
本プロジェクトを通じて日本の人工知能研究を数理の立場から盛り上げていきたいと思います!
jst.go.jp/erato/research_are…
6月から、産総研で研究RAをさせていただきました!
音のフィジカルAIについて取り組ませていただき、とても勉強になりました!
ここで学んだことを糧に今後も研究を続けていきたいと思います!
半年間ありがとうございました!
私のいたチームで音のフィジカルAIに取り組む人材を引き続き募集してるとのことでご興味があれば↓からぜひコンタクトを取ってみてください!
音響・音声のトップ研究者と仕事できる、刺激的な環境だと思います!
📢 音響AIの研究開発に一緒に取り組むメンバーを募集しています!
FRONTia事業 (探究枠) では,CMU 渡部先生 (@shinjiw_at_cmu) の主導のもと,音響AIの研究開発を進めています.
その中で坂東は,環境音分析の基盤モデルや音響言語モデルを中心に,オープンな基盤モデル・データセットの構築に取り組んでいます.最先端の音響AIモデルの研究開発や国際連携に興味のある方を歓迎します!
長期インターン,ポスドク,テクニカルスタッフ等を募集しています.ご興味のある方は,個人HPとGoogle ScholarのURLを添えて,以下までお気軽にご連絡ください!
✉️ [email protected]
Moving-CLAP paper is now available🎉
dcase.community/documents/wo…
4Bのサイズでこんな自然に対話できるんか、、、、
すげえ、、、、
今日公開された全二重の音声対話AI「Haru-4B」を、さっそくGPUを1ドル分借りて動かしてみました。@HigurashiAI
相手が話している最中にも「はい」「うん」と相槌を打つ。日本語の口語もかなり自然です。
声は自分の声を25秒録って参照させています。
実測の数字と所感を記事にしました👇
cogproject.jp/?p=696
5
779
4B Full-duplex baseモデルをapache 2.0で公開しました!
日英を中心に9か国語で話すことができます。
キャラクターやオペレーターなど、是非チューニングして遊んでいただければと思います!!
blog: higurashi.ai/ja/haru4b/
Tech blog: blog.higurashi.ai/melte/haru…
huggingface: huggingface.co/higurashi-ai/…
Kentaro Seki / 関健太郎 retweeted
higurashiの4Bモデルで、彼女との寝落ち電話を再現した
このリアルな間とか空気感を実現してくれるのは、Audio nativeなFull duplex modelでしかできないと思う...
「付き合って半年の恋人同士。毎晩寝る前に電話している。」という設定
Kentaro Seki / 関健太郎 retweeted
【人間のように、自然に笑い、相槌を打つ「人間らしいAI」】
4BのFull-duplex音声対話モデルを4,000万時間の日本語、英語を含む多言語データで事前学習し、オープンウェイトで公開しました!
弊社のオープンモデルを用いて、開発者の方々と一緒に未来を切り開ければと思います
AIによって流行の楽曲が多言語展開しやすくなったという点は特筆に値しますよね
例えばモンゴル風やインド風といった具合に、歌詞の翻訳に加え楽曲スタイルの変換が行われている事例もあると聞きます
4
611
Kentaro Seki / 関健太郎 retweeted
(研究を始めた) 4 年前から,universal 音声強調モデルが超進化&オープンソース化することは自明だったので,「人間がいちいち選ぶのやめよう」的な研究です
RE-USE が話題ですが,東大 猿渡研の関くんが「TTS前処理としてどの音声強調を使えばよいかを,完全自動化しよう」的な研究をしていました.よろしければどうぞ.
初出は 2023 年なので先見の明はあったはず.
arxiv.org/abs/2506.15614
Kentaro Seki / 関健太郎 retweeted
RE-USE が話題ですが,東大 猿渡研の関くんが「TTS前処理としてどの音声強調を使えばよいかを,完全自動化しよう」的な研究をしていました.よろしければどうぞ.
初出は 2023 年なので先見の明はあったはず.
arxiv.org/abs/2506.15614
慶応 高道研にて研究ディスカッションをさせていただきました!
研究内容そのものに加えて博士課程の良かった点・反省、研究者としてのあり方など、深くディスカッションさせていただき非常に楽しかったです!
ありがとうございました!


















