← 記事一覧製品

Aqua Voice、Voice Arenaのリーダーボードで1位に

Aqua Voice

4 分で読めます

Aqua Voiceは、最も正確な音声入力アプリです。独立したベンチマークであるVoice Arenaが14の音声入力アプリをテストし、Aqua Voiceが1位になりました。

このベンチマークは、文字起こしサービスの評価に従来使われてきた単語誤り率(Word Error Rate)という指標から、初めて踏み出したものです。代わりに測るのは、音声入力した文章を修正なしでそのまま送れる頻度です。Aquaは80.5%でこのテストに合格し、どのアプリよりも高い結果でした。

14のアプリのZero Edit Rateと95%区間。Aqua Voiceが80.5%で最も高く、その区間はWispr FlowとBlurtの区間と重なっています。

似たアプリを作っているWispr Flowは、このベンチマークでAquaに次ぐ2位でした。Wallyというアニメーションキャラクターを生み出したWillow Voiceは4位でした。

すべての結果

Voice Arenaが測るのは、送る前に修正がまったく必要なかった下書きの割合、Zero Edit Rate(ZER)です。テストされたシステムの中で、Aqua Voiceはこの指標で最も高い結果でした。

14のアプリのZero Edit RateとAMEND。Aqua VoiceとWispr Flowがパレート最適の線上にあります。完璧な下書きがより多く、かつ修正する文字がより少ないアプリはほかにありません。

このスコアは、自社開発の音声モデルAvalonによるものだと考えています。Avalonは、実際の音声入力で最大限の精度を出せるよう、さまざまな音声タスクで学習しています。表にはAMENDも載せています。アプリが書いたすべての下書きのうち、修正が必要な文字の割合で、低いほど良い数字です。

アプリ別のスコア

順位

アプリ

Zero Edit Rate

AMEND

1

Aqua Voice

80.5%

0.54%

2

Wispr Flow

79.3%

0.40%

3

Blurt

78.0%

0.60%

4

Willow Voice

76.5%

0.65%

5

Gemini 3.5 Transcribe

75.8%

1.23%

6

Spokenly

73.8%

0.64%

7

Granola

71.9%

1.03%

8

Kivi

69.3%

1.34%

8

Meta AI

69.3%

2.56%

10

ChatGPT Dictation

64.3%

1.15%

11

Claude Dictation

64.0%

0.92%

12

Superwhisper

59.8%

1.45%

13

Perplexity Dictation

52.7%

1.85%

14

Apple Dictation

34.5%

2.60%

テスト方法

Voice Arenaは、87人が普段の音声入力で話す内容を録音しました。仕事のチャット、メール、個人的なメッセージ、AIツールへのプロンプト、コード、メモ、長めの文章です。同じ759の録音を、初期設定のままの各アプリにMac上で流し、それぞれが書いた文章を保存しました。対象はアメリカ英語です。

出力は、5つの異なるLLMが判定しました。それぞれが、話し手が書きたかった文章(意図)にするための最小限の修正を加えます。5つの判定役のうち3つ以上が修正不要とした下書きを、完璧と判定します。

単語誤り率(Word Error Rate)はどうなのか

音声入力のベンチマークの多くは、単語誤り率(WER)を使います。これが適切な測り方ではない理由は、以前にも書きました。WERによる評価では、多くの場合、次のような問題があります。

  • 句読点や大文字・小文字の違いを無視する
  • 言い直し、言いかけた単語、話し手自身の訂正の扱いが一貫していない
  • 意味が変わらない小さな誤りを、名前の間違いや「not」の脱落といった大きな誤りと同じ重さで数える

Voice Arenaは、こうした問題を避ける方法を採り入れた、最初期の第三者機関のひとつです。Artificial AnalysisやOpenASRなども、これに続いてくれることを期待しています。

ほかのアプリとの比較

Aqua Voiceが目指しているのは、精度(話し手が意図したこと)と速度(遅延)のパレート最適です。今回の結果は、遅延が中央値で365ミリ秒であっても、精度が単に良いだけでなく、最高水準であることを示しています。

同じテストで、Willow Voiceは76.5%、Superwhisperは59.8%、macOS標準のApple音声入力は34.5%でした。9to5Macが同じスピーチを両方に読み上げたときも、同じような差が出ています。Apple音声入力の間違いは17か所、Aqua Voiceは1か所でした。

14のアプリの難易度別Zero Edit Rate。Aqua Voiceは、易しい録音で76.9%、中程度で78.4%、難しい録音で87.1%。難しい録音での次点は82.8%。

機能、対応プラットフォーム、料金の比較は、Wispr Flow、Willow Voice、Superwhisperとの比較ページをご覧ください。

結果を確かめるには

Voice Arenaは評価方法とすべての結果を公開しており、テスト用のツールはオープンソースです。

しばらくAqua Voiceを使っていないなら、ダウンロードして、次に入力するはずだった文章を話してみてください。