Íslensk talgreining, á þinni eigin tölvu

Flestir sem hafa prófað sjálfvirka umritun á íslenskum fundi þekkja útkomuna: nöfn verða að bulli, beygingarendingar detta út og enskuskotnu setningarnar fara í graut. Þetta er ekki óheppni. Íslenska er einfaldlega erfið fyrir talgreiningu, og flest forrit líta á hana sem eitt tungumál af hundrað.

Af hverju er íslensk talgreining erfið?

Lítið mál, lítið af gögnum. Talgreiningarlíkön læra af upptökum af tali með texta. Af ensku er til ógrynni af slíku efni, af íslensku miklu minna. Höfundar Whisper-líkansins frá OpenAI sýndu að nákvæmnin í hverju tungumáli fylgir því hve mikið hljóð líkanið fékk á því máli (Radford o.fl., 2022).

Beygingar. „Fundur“, „fund“, „fundi“ og „fundar“ eru allt sami fundurinn. Endingarnar eru oft stuttar og áherslulausar, og ef líkanið heyrir rangt verður rétt setning að rangri. Textinn getur litið nær réttur út en samt verið vitlaus á þann hátt sem skiptir máli.

Nöfn. Guðrún Pálsdóttir, Ari Magnússon, Egilsstaðir, Hafnarfjörður: mörg nöfn sjást varla í þjálfunargögnunum, og föðurnöfn beygjast eins og önnur orð („hjá Ara Magnússyni“). Þ, ð og æ þurfa líka að skila sér, annars hættir leitin að virka.

Íslenska og enska í bland. Á fáum vinnustöðum er bara töluð íslenska. Fólk skiptir yfir á ensku fyrir erlendan samstarfsmann, notar ensk orð eins og „deploy“ og „roadmap“ og skiptir til baka í miðri setningu. Kerfi sem býst við einu tungumáli þvingar hitt inn í það, og útkoman verður röng á báðum málum.

Hvað Hearkeeper gerir

Hearkeeper er forrit fyrir Makkann sem tekur upp fundi, símtöl, fyrirlestra og viðtöl og breytir þeim í uppskrift, samantekt, ákvarðanir og verkefni.

Talgreiningin keyrir á Makkanum. Hearkeeper notar Whisper beint á tölvunni (whisper.cpp, hraðað með Metal). Hljóðið fer hvergi nema þú tengir teymisþjón eða þinn eigin API-lykil, og það virkar án nets.

• Rauntímatexti birtist um tveimur til fjórum sekúndum á eftir þeim sem talar.
• Lokayfirferð keyrir þegar þú stöðvar upptökuna, með Whisper large-v3 turbo og greiningu á mælendum, og kemur í stað rauntímatextans.
• Hraði: við mældum lokayfirferðina um tífalt hraðari en rauntíma. Klukkustund af íslensku er skrifuð upp á innan við sex mínútum á Mac með Apple-örgjörva.

Íslenskan í fyrsta sæti. Fundir eru sjálfgefið á íslensku, forritið er bæði á íslensku og ensku, og allt letur og textameðferð ræður við þ, ð, æ, ö og kommustafina.

Blandað mál greint sjálfkrafa. Þegar fundurinn flakkar milli íslensku og ensku greinir Hearkeeper tungumálið sjálft. Ensku setningarnar haldast á ensku og þær íslensku á íslensku. Alls eru tungumálin 99.

Mælt, ekki giskað. Við mælum nákvæmnina á íslensku á almenna FLEURS-prófasafninu frá Google (Conneau o.fl., 2022), sem hver sem er getur notað. Þannig sjáum við hvort breyting bætir í raun eitthvað. Líkan sem er þjálfað á íslensku tali er á leiðinni.

Meira en uppskrift. Eftir fundinn skrifar mállíkan á tölvunni samantekt, ákvarðanir og verkefni, án API-lykils. Hver lína vísar á sekúnduna þegar það var sagt, svo þú getur borið samantektina saman við það sem raunverulega var sagt. Allt er í einni SQLite-skrá í þinni eigin möppu og má flytja út í Markdown. Nánar um það í fundargerðum með Hearkeeper.

Fyrir hverja?

• Vinnustaði sem funda á íslensku og ensku og vilja glósur án þess að hljóðið fari af tölvunni.
• Nemendur sem taka upp fyrirlestra, líka þar sem ekkert net er.
• Blaðafólk og rannsakendur sem þurfa afritun viðtala og vilja hafa hljóðið á eigin tölvu.

Upptaka sem allir vita af

Hearkeeper tekur upp hljóðnemann þinn og hljóð tölvunnar beint á Makkanum, án upptökuþjóns. Það virkar með Zoom, Google Meet, Microsoft Teams, Slack, Webex, FaceTime og á staðnum.

Það þýðir ekki að taka upp í laumi. Hver upptaka hefst á samþykkisskrefi: þú lest tilkynningu upp, setur hana í spjallið eða hvort tveggja, og samþykkiskvittun er vistuð með upptökunni. Upptökustikan er alltaf á skjánum, sést í skjádeilingu og er ekki hægt að fela.

Samkvæmt fjarskiptalögum nr. 70/2022 (91. gr.) á sá sem vill hljóðrita símtal að segja viðmælanda sínum frá því í upphafi. Samþykkisskrefið er smíðað til að það gleymist aldrei.

Aðrar leiðir

Hearkeeper er ekki eina leiðin til að fá íslenskt tal í texta:

• Microsoft Teams telur íslensku upp meðal tungumála fyrir rauntímauppskrift á fundum (Microsoft).
• Fireflies.ai telur íslensku upp meðal studdra tungumála (Fireflies). Það vinnur í skýinu.
• Tiro er íslenskt fyrirtæki sem býður íslenska talgreiningu, meðal annars rauntímatextun og textun myndbanda (tiro.is).

Hearkeeper sker sig úr með samsetningunni: uppskrift og glósur á þínum eigin Mac, enginn upptökuþjónn, samþykkisskref með kvittun og upptökustika sem allir sjá.

Hvenær?

Hearkeeper er ekki komið út. Það kemur fyrst á Makkann (macOS 14.2 eða nýrra, Apple-örgjörvar og Intel) og á önnur stýrikerfi síðar. Hvað vefurinn geymir um þig sérðu á persónuverndarsíðunni.

Viltu prófa íslensku talgreininguna á undan öðrum? Skráðu þig á biðlistann og við sendum þér einn póst þegar það er tilbúið.