Hoe goed zijn professionele vertaalmachines en AI?

Mijn eerste ervaringen

Er is enorm veel te doen rond AI. Het lijkt wel alsof AI de hele wereld gaat overnemen. En al helemaal de job van vertalers. Ik moet toegeven dat ik in het begin ook overweldigd was van wat ChatGPT kan, maar die eerste indruk was gebaseerd op de verhalen die ik las in de media... Niet op mijn eigen ervaringen.  Dus ging ik kijken wat de nieuwste, professionele tool in de vertaalwereld, AGT, kon...

MemoQ is geen Google Translate of AI

MemoQ is geen machinale vertaalsoftware zoals DeepL of Google Translate. MemoQ is een vertaalsysteem dat vertalers helpt tijdens het vertalen, vandaar ook de Engelse benaming Computer Aided Translation tool, kortweg CAT-tool. Wil je meer weten over MemoQ? Lees dan mijn blog 'Het vertaalprogramma MemoQ onder de loep'.

Dankzij een CAT-tool kan je bijvoorbeeld speciale bestandsformaten vertalen, allerlei controles uitvoeren en vorige vertalingen hergebruiken. Daarnaast kan je allerlei woordenboeken aan MemoQ koppelen en als je wilt dus ook AI-plugins zoals DeepLPro en AGT. AGT is gebaseerd op het LLM-model Microsoft Azure OpenAI en zou dus verbanden kunnen leggen tussen alle hulpbronnen binnen je MemoQ.

Ik heb nu vier testen gedaan. Dat is nog bijlange nog niet representatief, maar het geeft toch wel al een aantal cruciale inzichten.

Vertalingen met veel terugkerende stukken en een uitgebreide termbase

Even een woordje uitleg bij het eerste vertaalproject. Het betreft een reeks technische fiches die moeten vertaald worden rond verfproducten. Ik heb ondertussen al een 20-tal van die fiches vertaald, dus al behoorlijk wat materiaal (Translation Memory en Termbase).

Een nieuw te vertalen fiche is dus nooit volledig opnieuw te vertalen. Er zijn altijd wel delen die terugkomen. Dat zijn de 100% matches.

Verder heb ik voor deze klant een heel uitgebreide terminologielijst aangelegd. Dat maakt dat dit soort vertalingen vrij snel gaat. Hier haal ik gemiddeld 730 woorden per uur. Voor een compleet nieuwe vertaling, zonder materiaal dus, zit ik rond de 340 à 480 woorden.

Met AGT zou het dus nog sneller moeten kunnen gaan als er zoveel materiaal beschikbaar is....  Maar uit deze test kon ik geen significante tijdswinst halen. Maar wel een aantal pijnpunten...

Niet consistent, chaotisch, letterlijk

Dit zijn maar enkele woorden die mij achteraf te binnen schoten. Vrij standaard zinnetjes vertaalt AGT gewoon letterlijk. Bijv. 'Hierbij de info...' (hierzu die Info...). De ene keer gebruikt hij de juiste term, de andere keer weer niet. Dan herkent hij een woord uit de termbase en een zin later weer niet meer. De typische begrippen bij  de technische specificaties van producten - daar vind je online tig voorbeelden van, toch? - laat hij onvertaald. Denk dan bijvoorbeeld aan 'Verpackung' en 'Dichte'. 

En ook meervoud en enkelvoud, wat je in het Duits soms uit de rest van de zin moet afleiden, doet hij meer fout dan goed.

Maar de belangrijkste bevinding van deze eerste tekst is toch wel dat deze Artificiële Intelligentie toch nog steeds veel fouten maakt. schadstoffarm is niet milieuvriendelijk. Beitsverf is niet hetzelfde lazuur. Dit zijn toch wel zeer cruciale fouten.

Geen tijdswinst

Naar mijn gevoel heb ik hier geen tijd gewonnen met AGT. Zinnen die woord voor woord vertaald moesten worden, deed hij meestal goed, maar dat is maar in heel weinig teksten het geval. Tenzij je teksten bedoeld zijn voor jonge kinderen.

Nu moest ik uiteraard zelf ook nog vertrouwd raken met de tool, maar ik had hier meer van verwacht...

Een interview uit een reeks

De tweede test was een interview met een medewerker uit het bedrijf. Op de website van het bedrijf staan nog tig andere interviews met een soortgelijke opbouw en content. Ook is er op de website heel wat terminologie te vinden.

Ik liet eerst een PreTranslate lopen en vervolgens AGT: voor 46% van de zinnen kon hij een vertaling genereren. Maar:

- hij grijpt niet naar de TM waar de namen van de afdelingen staan - ik vond ze meteen;

- zaken met een dubbele betekenis stelt AGT zich geen vragen bij - 'kommisarischer Leiter' heb ik nagevraagd bij de klant;

- u of jij: kon hij op de website vinden. Niet gebeurd.

- letterlijke vertalingen: habe übernommen is niet 'overgenomen'.  KI blijft KI, terwijl Künstliche Intelligenz toch een zeer gekend begrip is.

- 'Projekte die über zwei Jahre gehen' is niet 'die twee jaar duren' maar wel 'meer dan twee jaar duren'.

Zelfs deze geavanceerde AI slaagde er niet in om zinnen te interpreteren maar vertaalt ze letterlijk. Bijv.

* 'Belastbaarheid is belangrijk in mijn baan'.

* 'Om stagiairs goed leren te garanderen.'

Bij gezegden en idioom sloeg hij de bal volledig mis: vb. een open oor bieden. 

Omgerekend vertaalde ik dit interview tegen 636 woorden per uur. Dat is opnieuw geen significante tijdswinst, als je weet dat ik bij de vorige interviews tussen 400 à 700 woorden per uur haalde.

Opnieuw heb ik niet het gevoel dat AGT een meerwaarde betekent voor mijn werk, terwijl ChatGPT, maar zeker Microsoft Pilot, wel een meerwaarde zijn op een geheel ander vlak: research en inspiratie.

Extreem technische vertaling

Voor een klant uit de bouwsector moest ik een op het eerste gezicht vrij simpele brochure vertalen. Toen ik 'Pretranslate with AGT deed, kwam er bij 85% als richtwaarde geen enkele door de machine vertaalde zin naar boven.

Normaal zou ik voor dit soort proefvertalingen van ca. 600 woorden ongeveer twee uur nodig hebben. Omdat AGT geen enkele meerwaarde had - als ik de richtwaarde veel lager instelde kreeg ik weliswaar een volledige machinevertaalde tekst, maar de vertaling was compleet onbruikbaar.

Wat ik bij de andere, minder technische teksten al had vastgesteld, gold hier net zo goed:

- Zelfs de meest eenvoudige zinnen kreeg hij niet voor elkaar.
- Grammaticale constructies die in het Duits en Nederlands niet gelijk lopen, vertaalde hij letterlijk, vb. nachträgliche is een adjectief in het Duits maar in het Nederlands gebruik je hier meestal een bijwoord/tijdsbepaling zoals 'achteraf' of 'naderhand'. Of je draait heel de alinea om.
- In een bouwtechnische tekst rond dakbeglazing vertaalt hij 'Quartier' als hielstuk.
- 'Haus' is lang niet altijd 'huis' in het Nederlands. In dit geval ging het om een gebouwencomplex (kon je zien op de website van het architectenbureau) waarbij appartementen met kantoorgebouwen worden gecombineerd.
-  Zaken die compleet onduidelijk waren, vertaalde hij dan maar letterlijk, zoals: Wat bedoelen ze hier met 'Bürotrakt'?

-...

Met andere woorden, AGT - en bij uitbreiding alle AI- en MT-tools - is voor geen technische vertalingen vanuit het Duits naar het Nederlands absoluut geen meerwaarde.

Franse verpakkingsetiketten

Etiketten van voedingsmiddelen zijn vrij standaard vertalingen: ingrediëntenlijst, hoe bewaren, houdbaarheid, allergieën. Dit soort zaken zou AI moeiteloos moeten kunnen vertalen, lijkt mij. Voor een etiket voor pannenkoekenmeel nam ik de proef op de som maar zelfs hier viel het resultaat tegen.

- De ingrediëntenlijst was bruikbaar, maar van de 20 ingrediënten was er een verkeerd gespeld en twee foutief. Dus je moet sowieso alles nog nakijken. De vraag ik die mij hier stel is of je met de IATE-terminologielijst niet sneller bent met een Pretranslate. Dan weet je dat je de officiële terminologie hebt en niet dat 'graisse de coprah' nog als 'copravet' wordt vertaald.

- De uitdrukking over de referentie-inname was juist, maar 'Kan sporen bevatten van...' kende hij totaal niet en moest ik nog volledig zelf intypen.

- De drietal niet-standaard zinnen rond het gebruik en het bewaren, die iets anders geformuleerd waren dan wat gebruikelijk was, maakte AGT een onbegrijpelijke brei van.

- De vertaling rond de houdbaarheid was bruikbaar maar niet 100% correct. 'Etui' vertaalde hij hier mooi als 'verpakking', maar later op het etiket wist AI plots niet meer hoe 'etui' vertaald moest worden.

Conclusie: hier denk ik dat het met grotere tekstvolumes winst zou kunnen opleveren als je eerst een voorvertaling doet met de IATE-termbase en vervolgens elke door AGT vertaalde term nog gaat controleren. Die van IATE hoef je dan niet meer te verifiëren. Het risico bij grotere tekstvolumes met losse ingrediënten is dat je over fouten heen zou kunnen lezen, dus het is héél erg opletten geblazen. Maar ik denk dat het in dit geval wel nuttig kan zijn. Valt zeker uit te proberen. Voor dit ene etiket tijdswinst bepalen was niet mogelijk.