Optimisation des benchmarks en reconnaissance vocale avec l'Open ASR Leaderboard
L'Open ASR Leaderboard, lancé en septembre 2023, a été visité plus de 710 000 fois. Appen Inc. et DataoceanAI ont fourni des datasets privés pour éviter la contamination des tests et améliorer la robustesse des modèles.
Que faut-il retenir ?
- L'Open ASR Leaderboard a été visité plus de 710 000 fois depuis son lancement en septembre 2023.
- Appen Inc. et DataoceanAI ont fourni des datasets couvrant plusieurs accents et styles de parole.
- Les datasets privés incluent des accents australiens, canadiens, indiens, américains et britanniques.
- Le leaderboard utilise un normaliseur basé sur Whisper pour standardiser les sorties des modèles.
Pourquoi cette nouvelle compte-t-elle ?
L'optimisation spécifique aux benchmarks peut fausser les performances réelles des modèles de reconnaissance vocale. Les datasets privés et la standardisation permettent une évaluation plus robuste et réaliste, essentielle pour les applications professionnelles.
Public concerné : développeurs, entreprises
Pourquoi utiliser des datasets privés dans l'Open ASR Leaderboard ?
Les datasets privés évitent la contamination des tests et permettent une évaluation plus robuste des modèles de reconnaissance vocale, reflétant mieux les performances réelles.
