NovaPod
Sprachschnittstellen, Intelligenz für Callcenter und automatisierte Transkriptionen von Podcasts verlangen niedrige Latenz und hohe Parallelität, doch der Einsatz monolithischer Sprach-APIs aus der Cloud wird in der Skalierung schnell unerschwinglich teuer.
Mit optimierten Implementierungen von Whisper wie Faster-Whisper (CTranslate2) und Flash-Decoding können Entwickler Echtzeitfaktoren unter 0.012 erreichen. Eine Audioaufnahme von einer Stunde wird damit in weniger als 45 Sekunden transkribiert.
Eine einzelne NVIDIA RTX 4090 auf NovaPod kann über 64 Audio-Streams von WebRTC in Echtzeit gleichzeitig transkribieren, ohne Frames zu verlieren, und bietet ein unschlagbares Verhältnis von Preis zu Leistung.
Die Vorlagen werden mit Sprechertrennung von PyAnnote und mit Erkennung von Sprachaktivität (VAD) ausgeliefert und liefern vollständige, sofort einsatzbereite Pipelines für Sprachintelligenz.
np launch \
--gpu RTX_4090 \
--template novapod/whisper:v1.0.8 \
--disk 60GB \
--name speech-transcription-engine