Bewijs, dat is de Kern.
LiveCaption
Live ondertiteling op de Even Realities G2-bril, met herkenning van wie er praat. Pro bono gebouwd voor een dove gebruiker.
BrancheToegankelijkheid / Slimme brillen
De uitdaging
Voor iemand die doof is, zijn gesprekken met meerdere mensen het lastigst. Ondertiteling op een telefoon betekent steeds naar beneden kijken, weg van de mensen met wie je praat. En ook dan weet je niet wie wat zegt.
De Even Realities G2 is een bril met microfoons en een klein groen display in het glas. We bouwden er pro bono een app voor, voor een dove gebruiker die we niet bij naam noemen: wat er in de ruimte gezegd wordt, verschijnt live op het glas, met de naam van wie het zegt.
Wat we bouwden
Het display is klein: 576 bij 288 pixels, één vast lettertype en ongeveer drie updates per seconde. Ondertiteling die steeds verspringt, is daarop niet te lezen. Daarom verschuiven woorden die vastliggen nooit meer. Alleen het laatste stuk, dat nog wordt herkend, verandert.
De spraakherkenning van Deepgram is goed, maar het live uit elkaar houden van sprekers bleek onbetrouwbaar. Stemmen vergelijken met een vooraf opgenomen stemprofiel werkte in tests met echte opnames veel beter.
Een verkeerde naam is erger dan geen naam. Onbekende stemmen krijgen een letter, en een naam verschijnt pas als de stem duidelijk overeenkomt.
De app mag nooit stil falen. Wie doof is, hoort niet dat de verbinding wegvalt. Daarom staat altijd in beeld of de app luistert, opnieuw verbindt of geen geluid ontvangt.
De blueprint
Live transcriptie
De microfoons van de bril sturen geluid via de telefoon naar een server. Die zet het met Deepgram Nova-3 om in tekst en stuurt die terug naar het glas.
Rustige ondertiteling
Een eigen ondertitelmotor die woord voor woord aanvult, op zinsgrenzen doorschuift en het display nooit vaker ververst dan de Bluetooth-verbinding aankan.
Sprekerherkenning
Neem een paar seconden van iemands stem op, en de app zet daarna de naam van die persoon bij wat die zegt. Stemprofielen worden op de telefoon bewaard.
Bediening op de bril
Dubbeltikken pauzeert of hervat het luisteren. Een statusindicator is altijd zichtbaar.
Getest met echte stemmen
Keuzes zijn getoetst op echte opnames, niet op synthetische spraak. De code wordt bewaakt door bijna 300 geautomatiseerde tests.
Techniek & tools
- Even Hub SDK
- Deepgram Nova-3
- Sprekerherkenning
- WebSockets
- Node.js
- TypeScript
Zoiets bouwen?
Vertel wat je voor je ziet. Je krijgt een blauwdruk met fases en één vaste prijs.