Scoping für die maschinelle Übersetzung

Erfassen und definieren Sie von vornherein alle Vorbedingungen, Erwartungen und Schritte bis zur Einführung der maschinellen Übersetzung. Nur dann kann die Integration maschineller Übersetzung erfolgreich sein. Berücksichtigen Sie von Anfang an die Anforderungen aller Prozessverantwortlichen und Stakeholder. Suchen Sie das Gespräch mit Projektmanagement, IT, Übersetzer:innen und Nutzerkreisen. Sind sich alle über Anwendungsfälle und Ressourcen der maschinellen Übersetzung im Klaren, können Sie konkrete Schritte zur MÜ-Systemauswahl vornehmen. Wir von blc unterstützen unsere Kund:innen im Scopingprozess bei der Projektplanung. Wir führen Interviews mit Stakeholdern durch und bieten Beratungsleistungen zu allen relevanten Kernbereichen der maschinellen Übersetzung vor und nach der Systemintegration an.

Vorverarbeitung

Nach dem Scoping erfolgt die Eignungsprüfung der zur Verfügung stehenden Trainingsressourcen für das Training der maschinellen Übersetzung. Nach der Extraktion aller relevanten Daten aus den verschiedenen Dateiformaten geht es mit der Datenbereinigung weiter. Neben der linguistischen und formalen Korrektheit der bilingualen Übersetzungseinheiten prüfen wir auch terminologische Ressourcen. Gegebenenfalls ziehen wir diese Ressourcen per Termextraktion hinzu. Für datensensible Anwendungsfälle können Sie ein Anonymisierungsverfahren anwenden. Nach der Sicherstellung der Datenqualität sollten Sie domänenspezifische Inhalte zusammenfassen und für das MÜ-Training vorbereiten. Dabei sollten Sie besonders auf die Erstellung von repräsentativen Testsets achten. Mit diesen Testsets können Sie anschließend die Qualität der trainierten Engines pro System evaluieren.

Training

Mithilfe der Nutzerdaten trainieren Sie MÜ-Engines in den anbieterspezifischen Cloud-Systemen. Diese unterscheiden sich hinsichtlich der verfügbaren Sprachrichtungen, Trainingsressourcen, Konfigurationsmöglichkeiten und vortrainierten Basis-Engines, die mithilfe der Nutzerdaten spezialisiert werden können. Beachten Sie, dass das Training in Abhängigkeit der Datenvolumina ein bis mehrere Tage in Anspruch nehmen kann. Die frisch trainierten Engines übersetzen dann die zuvor erstellten Testsets. Diese Übersetzungen stellen die Basis der Systemevaluation dar.

Evaluation

Die Bewertung der MÜ-Qualität zählt zu den wichtigsten Schritten im MÜ-Auswahlprozess. Die automatische Evaluation vergleicht die maschinellen Übersetzungen einer Menge von Ausgangssätzen mit den Humanübersetzungen derselben Satzmenge. Das Ergebnis der vollautomatischen Evaluation ist ein Score, der die Ähnlichkeit zwischen der maschinellen Übersetzung und der Humanübersetzung ausdrückt. Der bekannteste dieser Scores ist BLEU (bilingual evaluation understudy).

BLEU und vergleichbare Metriken sind nicht in der Lage, die tatsächliche lexikalische Varianz im neuronalen MÜ-Text adäquat zu bewerten. Daher stellt die Humanevaluation aktuell immer noch das präziseste Mittel der MÜ-Bewertung dar. Die Humanevaluation kann entweder holistisch, analytisch oder auf beide Arten erfolgen. Die holistische Evaluation erfasst Lesbarkeit und Akkuratheit der maschinellen Übersetzung mithilfe von Skalen. Sie liefert einen schnellen, qualifizierten Mittelwert über alle Sätze im Testset. Weitaus detailliertere Informationen liefert die analytische Evaluation. Ausgehend von einer festgelegten Fehlermetrik annotieren die Evaluatoren hier individuelle Fehlertypen in der maschinellen Übersetzung. Die Zusammenfassung der Ergebnisse liefert zudem wertvolle Informationen für die Optimierung von MÜ-Engines.

Ein weiteres Kriterium der Evaluation ist die Erfassung von Post-Editing-Aufwänden. Als Bestandteil der MÜ-Evaluation gibt die sogenannte Edit-Distanz Aufschluss über den Bearbeitungsaufwand der MÜ-Segmente durch Übersetzer:innen beziehungsweise Post-Editor:innen. Je kleiner die Edit-Distanz für einen Satz, desto mehr Material können die Übersetzer:innen unverändert aus einem MÜ-Vorschlag übernehmen. Zusammen mit der automatischen und der Humanevaluation liefert die Edit-Distanz ein umfassendes Bild der Qualität und Eignung von MÜ-Engines.

Systemauswahl

Sie fragen sich bestimmt, wie Sie nun den richtigen Systemanbieter aussuchen. Als Grundlage für die Auswahl des für Sie geeigneten Systemanbieters dienen zum einen die Ergebnisse der MÜ-Evaluation. Zum anderen spielen auch die Anforderungsprofile und die finanziellen Rahmenbedingungen eine wichtige Rolle bei der Entscheidung. In dieser Phase ist die objektive Gegenüberstellung und Präsentation relevanter Systemaspekte und Evaluationsergebnisse ein wichtiges Mittel. Es kann Ihnen bei der Entscheidungsfindung von großer Hilfe sein. Die Kostenaufstellung in detaillierten Business Cases sowie Interviews mit Systemherstellern und Referenzkund:innen komplettieren den bisher gewonnenen Eindruck der jeweiligen Anbieter. Sind alle fachlichen und technischen Fragestellungen beantwortet, können Sie die Systemauswahl mit fundierten Informationen und gutem Gewissen vornehmen.

Integration & Post-Editing

Nachdem Sie sich für ein System entschieden haben, geht es nun an die Umsetzung der MÜ-Anwendungsfälle. Zentral geht es hierbei darum, die Maschinelle Übersetzung in die bestehende Systemlandschaft zu integrieren: Translation- und Content-Management-Systeme werden an das Cloud-System angebunden, MÜ-Webportale für den unternehmensweiten MÜ-Einsatz eingerichtet und Workflows für einen reibungslosen Post-Editing-Prozess konfiguriert. Damit das MÜ-System up-to-date bleibt, unterstützen wir unsere Kund:innen bei der Etablierung von MÜ-Retrainingsprozessen. Wir stellen auf Wunsch auch weiterhin Support für den laufenden MÜ-Prozess bereit.