Deepgram optimalkan inferensi voice AI batch dengan AWS Trainium2
AWS melaporkan Deepgram memindahkan model Nova-3 ke Trainium2 untuk beban batch offline dan memperoleh efisiensi biaya inferensi lebih baik. Hasil yang dilaporkan: 11–70% lebih banyak audio per dolar, dengan kerja porting, tuning kernel, dan runtime Rust khusus.
Fakta berikut merujuk pada sumber asli. Klaim hasil dari penyedia atau pengguna merupakan laporan mereka, belum merupakan verifikasi independen oleh Borobudur Consulting.
Masalah bisnis
- Masalah bisnis utama Deepgram adalah efisiensi serving karena volume batch tinggi menekan anggaran infrastruktur.
Penerapan AI
- Deepgram dan AWS mem-porting model speech-to-text Nova-3 ke AWS Trainium2 untuk workload batch offline seperti contact-center analytics dan transkripsi medis.
- Konfigurasi akhir menjalankan delapan replika model pada satu instance trn2.3xlarge dengan runtime paralel berbasis Rust.
Bukti hasil
- Menurut pengukuran AWS/Deepgram, setup ini memproses 11–70% lebih banyak audio per dolar dibanding opsi komputasi yang sebelumnya dipakai Deepgram.
Biaya dan kendala
- Hasil harga-performa dibatasi pada workload batch offline dan dihitung memakai harga instance saat evaluasi, bukan semua skenario produksi.
Pelajaran untuk perusahaan Indonesia
Interpretasi berikut merupakan pertimbangan awal, bukan fakta tambahan atau bukti hasil penerapan di Indonesia.
Untuk perusahaan Indonesia dengan beban transkripsi batch besar, kasus ini menunjukkan AI infra tuning dapat berdampak langsung pada biaya per unit output. Namun hasilnya berasal dari pengukuran AWS dan Deepgram pada model serta workload tertentu.
Pelajarannya bukan sekadar ganti chip, tetapi kesiapan engineering untuk porting model, tuning kernel, dan runtime khusus. Sebelum meniru, evaluasi apakah penghematan potensial sepadan dengan kompleksitas optimasi dan ketergantungan pada stack vendor.
Pertanyaan sebelum menerapkan
- Apakah workload suara Anda didominasi batch offline sehingga metrik audio per dolar lebih relevan daripada latensi real-time?
- Apakah tim Anda mampu menanggung pekerjaan porting, profiling, dan operasi runtime khusus untuk memperoleh efisiensi serupa?