AvalonがOpenASR Leaderboardで総合6位に

OpenASRの音声認識ベンチマークでAvalonが評価され、OpenAI Whisper-large-v3、ElevenLabs Scribe v1、Rev AI Fusionを上回り、商用モデルの首位になりました。

平均単語誤り率（WER）は6.24%。クローズドソースモデルの中で最も高い成績です。🔥

NVIDIA Canary 1B、CrisperWhisper、Voxtral Mini 3B、Distil Whisperなどのオープンモデルも上回りました。

詳しい結果はHugging FaceのOpenASR Leaderboardで確認できます。

利用方法

AvalonはAqua Voiceアプリの英語音声入力で利用できます。APIの料金は音声1時間あたり0.39ドルです。

Avalonについて

Avalonは、人がコンピューターに話しかける場面に最適化した文字起こしモデルです。このようなやり取りで従来の音声認識システムが起こしがちな、煩わしい誤認識を減らすことを目指しました。

開発時の目的は、全体の単語誤り率を下げることよりも、誤認識されやすいプログラミング用語や企業名を正確に認識することでした。

これらの語彙をAISpeakベンチマークで評価しました。詳しくは「Avalonのご紹介」で説明しています。専門用語の認識率はWhisper Large v3が65%、主要商用モデルのElevenLabs Scribe v1が78%だったのに対し、Avalonは97%でした。

その後、業界で広く使われるベンチマークでも評価したところ、全体の単語誤り率も大きく改善していました。

OpenASRが重要な理由

OpenASRは文字起こしモデルの代表的なベンチマークです。さまざまな公開音声データセットについて、人手で付けた正解とモデルの出力を比較し、単語誤り率を測定します。公開時点の評価セットは、異なる音声分野の7つのデータセットで構成されています。WERは有用な指標ですが、実運用でモデルを選ぶ際には、遅延、コスト、雑音、アクセント、分野固有の語彙も考える必要があります。Smallest.aiのASR評価ガイドでは、こうした判断材料を説明しています。

今回の結果は、Avalonが専門用語への強さと幅広い音声の認識精度を両立していることを示しています。

• クローズドソースモデルで世界1位。 Whisper Large v3、ElevenLabs Scribe、Rev AI Fusionなどを上回りました。
• 全体でもトップ10。 オープンモデルとクローズドソースモデルを合わせた総合順位は6位です。
• 実用的な精度向上。 専門用語を正しく認識するための最適化は、一般的な業界ベンチマークでも単語誤りの削減につながりました。

より多くのチームにAvalonを活用していただけることを楽しみにしています。先行利用や連携については、こちらからお問い合わせください。