Der MÜ-Zug in unserem Pharma-Kundenprojekt hat richtig Fahrt aufgenommen! Nach einer Scoping-Phase mit anschließender Auswahl des passenden Systems für die Anwendungsfälle des Kunden dreht sich jetzt alles um Integration und Training der MÜ-Engines. Aktuelle und zukünftige MÜ-Engines sind für verschiedenste Stakeholder des Kunden interessant, daher spielt das Thema MÜ-Testing auch nach der Systemauswahl eine tragende Rolle. Wir geben Ihnen hier einen Einblick in die von blc unterstützen MÜ-Prozesse beim Kunden.

Die Scoping-Phase

Die Scoping-Phase dient der Erfassung aller Kernanforderungen an das zukünftige MÜ-System. In unserem Pharma-Projekt haben wir vorab einen umfangreichen Fragenkatalog zusammengestellt, der Basis eines ersten ‚Request for Information‘ (RFI) war. Nach einer Reihe von Abstimmungsrunden diente ein qualitatives Testing drei favorisierter MÜ-Systeme zusammen mit einer Kostenaufstellung als finales Entscheidungskriterium. Hierzu haben wir die Daten mehrerer Sprachrichtungen zunächst vorverarbeitet. Nach dem Training der Engines folgte die Humanevaluation der Engines. Dies erfolgte über satzweise Qualitätsbewertung und Post-Editing der von uns erstellten Test-Sets. Hierbei fallen bereits erste wichtige Erkenntnisse zu kundenspezifischen Optimierungspotenzialen der Engines auf!

Abnahme von MÜ-Engines: Testing, Tooling, Testing …

Nach der Auswahl des Gewinnersystems haben wir die kundenspezifischen Trainingsdaten an den MÜ-Anbieter übergeben. Diese haben wir zum Zweck des objektiven Vergleichs der MÜ-Systeme in der Scoping Phase nicht mit den Herstellern geteilt! Zur Gewährleistung eines reibungslosen Ablaufs künftiger MÜ-Trainings durch den Hersteller wurde ein Prozess zur Bereitstellung und Abnahme von repräsentativen Test-Sets vereinbart. Dieser stellt die Grundlage einer finalen Abnahme der MÜ-Engines dar. Im Anschluss wurden die vom Hersteller selbst trainierten Engines einer noch detaillierteren Evaluation unterzogen. Wir haben die Sprachexpert:innen des Kunden hierzu geschult. Im Anschluss führten wir eine Analyse sämtlicher Fehlerannotation und Post-Editings der Sprachexpert:innen durch und erstellten einen umfangreichen Report. Solche Reports sind eine wichtige Feedback-Quelle, sowohl für das Projektmanagement als auch für die Optimierung der Engines durch den MÜ-Anbieter.

Alte und neue Stationen auf der MÜ-Route: Quality-Tracking und Stakeholder-Testings

Das Testing einer MÜ-Engine ist mit der Abnahme des initialen Trainings nicht abgeschlossen. Wir unterstützen bei der Etablierung von Prozessen zum Tracking der MÜ-Qualität im produktiven Übersetzungsprozess. Das Feedback von Übersetzungsdiensteistern, die Erfassung von Post-Editing-Aufwänden und die Bestimmung des ständig wachsenden Übersetzungsvolumens sind Trigger für ein Re-Testing oder Re-Training von MÜ-Engines.

Darüber hinaus begleiten wir zurzeit den Abstimmungsprozess mit möglichen Nutzer:innen und Stakeholder:innen. Um die Eignung der Engines für spezifische Anwendungsfälle zu prüfen, bereiten wir Test-Sets auf Basis der Kundendaten vor und werten die Evaluationsdaten aus. Sind existierende Engines ungeeignet für einen Stakeholder (Stichwort: Fit-for-Purpose), aggregieren wir Daten für ein Re-Training oder veranlassen das Training einer Engine-Variante.

Abstimmungen mit Kunde und MÜ-Anbieter – Das Öl im MÜ-Getriebe

Wöchentliche Meetings mit unserem Kunden und dem MÜ-Anbieter halten alle Entscheider:innen zum Status der MÜ-Integration, während und nach dem GO-Live, auf dem Laufenden. Themen der Meetings sind die fortlaufende Optimierung der bereits trainierten MÜ-Engines. Aber auch die Sicherstellung von Zugängen, Rollen und Rechten verschiedener Nutzergruppen des MÜ-Systems und die Planung weiterer Engine-Trainings haben wir in den Meetings besprochen. Auch Integrationswege der MÜ werden abgestimmt: Konfiguration des Translation Management Systems zur Nutzung verschiedener MÜ-Profile, API-Anbindung und Bereitstellung eines Übersetzungsportals für alle Mitarbeiter:innen. Für die technische Seite der Integration ist die IT selbstverständlich ständiges Mitglied der Abstimmungsrunden!

Vorbereitung von Sprachexperten und LSPs auf den MÜ-gestützten Workflow

Nicht nur technische und qualitative Aspekte von MÜ-Engines sind Gegenstand umfangreicher Vorbereitungen in einem solchen Projekt. Zur Vorbereitung interner und externer Post-Editoren erstellen wir auch Guidelines zur Umsetzung von Post-Editing-Tasks zu verschiedenen Qualitätsleveln der finalen Übersetzung. Gegenstand der Guidelines sind neben der Umsetzung verschiedener Qualitätslevel (Stichwort Light- vs. Full-Post-Editing) auch inhaltliche und stilistische Anforderungen spezifischer Textsorten sowie eine Sammlung von Editierbeispielen, um ein konsistentes Ergebnis post-editierter Texte zu erzielen.

Nach dem GoLive ist vor dem GoLive

Nach der Produktivnahme der trainierten und abgenommenen MÜ-Engines stehen Trainings weiterer MÜ-Engines an. Hierbei richten wir uns natürlich ganz nach den Anforderungen des Kunden, der Stakeholder und der vorhandenen Daten. Jede MÜ-Engine wird eingehend auf Basis der etablierten Evaluationsprozesse getestet. Auch das Testing weiterer Integrationen per API in die Erstellsysteme des Kunden werden geplant und getestet.

Und damit unser Kunde nach Beendigung des Projekts für die Herausforderungen des komplexen MÜ-Prozesses gerüstet ist, führen wir Experten-Trainings durch, in denen wir technisch-organisatorische Prozesse (z. B. Automatisierung im Evaluationsprozess mittels Skripten, Terminologie-Integration) vermitteln. So wird sukzessive spezielles MÜ-Wissen aufgebaut und unser Kunde kann die eingeführten MÜ-Prozesse auf Wunsch selbständig weiter entwickeln – aber wir unterstützen natürlich auch gerne bei Bedarf 🙂

Update:

Seit der Einführung der ersten Engines beim Kunden hat sich einiges getan.  Im Zeitraum von 3 Jahren wurden insgesamt 32 Engines mit Kundendaten trainiert, evaluiert und für den Post-Editing-Prozess sowie den Self-Service produktiv genommen. Hinzu kommen 23 weitere generische (nicht mit Kundendaten trainierte) Engines des MÜ-Anbieters. Mit einer solchen Menge an Engines gehen viele Herausforderungen einher, für die im Voraus Prozesse und Methoden von blc etabliert wurden. Ganz oben steht dabei natürlich das Tracking der Übersetzungsqualität der Engines. Hier unterstützte blc bei der Einführung von Prozessen und Methoden, um die Post-Editing-Aufwände in den einzelnen Projekten sowie auf projektübergreifender Sprachebene zu erfassen, um Probleme mit einzelnen Engines schnell zu identifizieren. Die problematischen Segmente können so schnell gefiltert und bewertet werden. Optimierungspotenziale finden so schnell Ihren Weg zu den wöchentlichen Abstimmungsterminen mit dem MÜ-Anbieter. Eine weitere Quelle zur Einschätzung der Übersetzungsqualität sind die Nutzerfeedbacks, die im Rahmen des Self-Services anfallen. Diese werden zentral gesammelt und manuell vom Kunden auf Optimierungspotenziale hin überprüft.

Für die unterschiedlichen Übersetzungsanforderungen einzelner Stakeholder werden spezifische Glossare und MÜ-Profile erstellt, die von definierten Nutzerkreisen genutzt werden können. Darüber hinaus werden wichtige Inhalte der Übersetzungsspeicher (Translation Memories) als zusätzliche Übersetzungsquelle im Self-Service gepflegt.

Um die MÜ-Prozesse noch effizienter zu gestalten, führt der Kunde aktuell eine MÜ-Schnittstelle ein, die mehrere Funktionen erfüllen wird: Zum einen regelt sie die MÜ-Anbindung verschiedener interner Stakeholder an das MÜ-System. Weiterhin unterstützt sie die Evaluation der Qualität zukünftig durch automatisierte Exports von Projektberichten aus dem Translation-Management-System, um die Analyse der Übersetzungsqualität weiter zu beschleunigen.

Möchten Sie auch Maschinelle Übersetzung einführen? Aber Sie wissen nicht, ob es sich lohnt und wie und mit welchem System am besten?

Dann kontaktieren Sie uns gerne, wir können Ihnen helfen!

Steigen auch Sie jetzt auf dem MÜ-Zug auf!

Mini-Glossar:

• MÜ: Maschinelle Übersetzung

• Scoping: Vorprojekt

• RFI: Request for Information

Image by Denis Chick on Unsplash