Avalonのご紹介

本日、人がコンピューターに話しかける場面に最適化した音声認識モデル、Avalonを発表します。幅広いタスクで文字起こし性能が向上し、ソフトウェアやコーディングの分野では特に大きく改善しました。

モデルカード（PDF）

最先端の音声認識性能

OpenASRのベンチマークでは、8つの標準テストのうち7つでWhisper Large v3を、6つでElevenLabs Scribeを上回りました。

標準的な公開ベンチマークにおけるデータセット別の単語誤り率（WER）。低いほど高精度です。

これは私たちにとっても驚きでした。Avalonを開発した理由は、人が実際にコンピューターへ話すときに、より正確に認識できるモデルが必要だったからです。「git checkout dev」のような言葉を、きちんと認識したかったのです。

公開音声や既存の音声データセットを処理するために構築したデータパイプラインは、この重要な分野だけでなく、モデル全体の性能向上にもつながりました。

Avalonの強みがわかる例を紹介します。

AIに話しかけるためのモデル

Avalonの目標の一つは、AIに話しかける人に最適な音声認識モデルをつくることでした。その性能を測るため、AIの専門用語や分野固有の語彙を含む評価データセット、AISpeakを作成しました。TwitchやYouTubeの配信で「Claude Code」「MCP」などのキーワードが使われている短い音声を集めたものです。

人手で付けた正解に対する単語誤り率だけでなく、各クリップに重要な用語を設定し、その用語を正しく認識できたクリップの割合をモデル間で比較しました。

コーディング・AI用語の認識精度（高いほど高精度）

評価セット	Avalon	NVIDIA Canary 1B	Voxtral Mini 3B	ElevenLabs Scribe	Whisper Large v3
AISpeak-10	97.4%	51.5%	59.5%	78.8%	65.1%
AISpeak-50	97.5%	71.8%	79.4%	86.7%	82.4%
AISpeak-500	95.8%	74.1%	82.9%	87.5%	84.9%

特に難しいサブセットであるAISpeak-10では、Avalonの重要用語の認識率は97.4%でした。NVIDIA Canary 1Bは51.5%、Whisper Large v3は65.1%でした。

Avalonの強みがわかる例を、もう少し紹介します。

Avalonをつくった理由

人は、オーディオブックを読み上げるようには話しません。しかし、公開されている音声学習データには、オーディオブック、会議、裁判や議会の記録、ニュース放送が多く含まれます。こうした分野には何十年分もの人手による文字起こしがあるので、理由は理解できます。

その結果、ベンチマークでは非常に高い成績でも、実際に使うと明らかにおかしな誤認識をするモデルがあります。NVIDIA Parakeetにも、そうした例が見られました。

このデータの偏りを見て、私たちは用途とのずれを感じました。人々が音声入力を使っているのは、AIへのプロンプト、メッセージ、メールなどを「書く」ためです。

小さな違いに聞こえるかもしれませんが、そうではありません。Claude Codeへのプロンプトを考えながら話すときと、後で議事録になる同僚との会話では、話し方が大きく異なります。

データとプライバシー

明示的に同意した場合を除き、ユーザーの音声や文字起こしを学習に使っていません。

標準では、音声を一時的に処理して文字起こしや文章の改善を行います。今後のAvalonの改善には、同意したユーザーやトレーナーから提供されたデータを使います。データ設定はいつでも確認・変更できます。

詳しくはモデルカードをご覧ください。

提供開始と今後

Avalonは本日から、Aquaの英語音声入力で利用できます。Aquaが対応する他の言語についても学習を進めており、数週間以内に多言語版を公開する予定です。

Finn