Two tiny in-house speech models: language and gender
We now run two small speech models of our own: one tells Georgian, English and Russian apart, the other tells a female voice from a male one.
Both ingest 8 kHz telephone audio and run purely on a CPU in milliseconds.
The benchmark results
- Gender Detection: Matches wav2vec2 performance on unseen speakers — 98.3% clip accuracy and 257 of 258 speakers correct.
- Language Identification: Actively routes telephony sessions in production, determining the response language for our live voice agent turns.
Below is why we built them, where the trade-offs surfaced, and why production orchestration mattered as much as model architecture.
Why we built them in-house
Generic, off-the-shelf checkpoints consistently fail on real-world telephony constraints:
- Georgian is rarely prioritized. Most open-source language-ID models are dominated by major languages; Georgian is either absent or trained on negligible, unrepresentative samples.
- Telephony is native 8 kHz. Callers arrive over narrow-band phone lines. Training natively on 8 kHz avoids the artifacts and degradation of downsampling pristine studio audio.
- Turn-taking budgets are unforgiving. Language identification executes on every speaker turn. With a post-warmup latency of 6–11 ms on CPU, inference leaves the conversation budget intact.
- Data privacy by default. All processing happens locally on-premise. Zero audio streams or embeddings leave our infrastructure.
- Deterministic debugging. Owning the training pipeline means failure modes trace back directly to our datasets, allowing rapid corrections.
ორი კომპაქტური In-House ხმოვანი მოდელი: ენის და სქესის იდენტიფიკაცია
ASR.GE-ში უკვე ორ საკუთარ, მსუბუქ ხმოვან მოდელს ვამუშავებთ: ერთი ქართულს, ინგლისურსა და რუსულს ანსხვავებს, მეორე კი მოსაუბრის სქესს განსაზღვრავს.
ორივე მოდელი უშუალოდ 8 kHz სატელეფონო აუდიოს ამუშავებს და CPU-ზე მილიწამებში პასუხობს.
ტესტირების შედეგები
- სქესის იდენტიფიკაცია: უცნობ მოსაუბრეებზე wav2vec2-ის სიზუსტეს იმეორებს — კლიპების 98.3% და 257/258 სწორი მოსაუბრე.
- ენის იდენტიფიკაცია (LID): უკვე მუშაობს პროდაქშენში და რეალურ დროში განსაზღვრავს, რომელ ენაზე უპასუხოს ჩვენმა ხმოვანმა აგენტმა ზარს.
ქვემოთ მოცემულია, რატომ გადავწყვიტეთ მათი ნულიდან შექმნა, რა სირთულეები შეგვხვდა გზად და რატომ აღმოჩნდა მოდელის გარშემო არსებული კოდი თავად მოდელზე არანაკლებ მნიშვნელოვანი.
რატომ ავაგეთ მოდელები თავად
მზა, ღია მოდელები რეალური სატელეფონო ინფრასტრუქტურის მოთხოვნებს იშვიათად ერგება:
- ქართული ენა პრიორიტეტებში არ შედის. ღია LID მოდელების უმრავლესობა დიდ ენებზეა ნასწავლი; ქართული ან საერთოდ არ არის, ან უკიდურესად მცირე, არარეპრეზენტაციული მოცულობითაა წარმოდგენილი.
- სატელეფონო ხაზი 8 kHz-ია. ზარები შემოდის ვიწროზოლიანი (narrow-band) არხით. მოდელების თავიდანვე 8 kHz-ზე დატრენინგება თავიდან გვარიდებს სტუდიური Wideband აუდიოს დადაუნსემპლებისას წარმოქმნილ ხარვეზებს.
- დაყოვნების (Latency) მკაცრი ლიმიტი. ენის შემოწმება ხდება ზარის თითოეულ რეპლიკაზე. Warm-up-ის შემდეგ CPU-ზე დამუშავებას 6–11 მწ სჭირდება, რაც საუბრის ტემპს საერთოდ არ აფერხებს.
- მონაცემთა სრული ლოკალიზაცია. მთელი პროცესი მიმდინარეობს On-Premise. არცერთი აუდიო ნაკადი ან ვექტორი ჩვენს სერვერებს არ ტოვებს.
- შეცდომების კონტროლი. როცა მონაცემთა ნაკრები და სასწავლო მილი ჩვენია, ნებისმიერი ცდომილების მიზეზის დადგენა და მონაცემებშივე გასწორება მყისიერად შეგვიძლია.
