Öffentlicher Sektor

KI-gestützte Sprachübersetzung in kriminalpolizeilichen Ermittlungen

Ziel

LILT beschleunigt die Erstellung mehrsprachiger Inhalte für Unternehmen in großem Maßstab mit NVIDIA GPUs und NVIDIA NeMo™.

Kunde

LILT

Partner

AWS

Anwendungsfall

Generative KI / LLMs

Produkte

NVIDIA A100 Tensor-Core-GPUs
NVIDIA T4 Tensor-Core-GPUs
NVIDIA NeMo™

Content-Generierung und Übersetzung von LILT für das Unternehmen

Die generative KI-Plattform von LILT kann eine große Menge an Inhalten in kürzester Zeit übersetzen.

Als eine europäische Strafverfolgungsbehörde eine dynamische Lösung benötigte, um große Mengen an Inhalten in Sprachen mit geringen Ressourcen innerhalb enger Zeitvorgaben zu übersetzen, wandte sie sich an LILT. Die generative KI-Plattform von LILT, die auf großen Sprachmodellen basiert, ermöglichte eine schnellere Übersetzung von zeitkritischen Informationen in großem Umfang, indem sie NVIDIA GPUs und NVIDIA NeMo nutzte, ein End-to-End-Enterprise-Framework für die Erstellung, Anpassung und Bereitstellung von generativen KI-Modellen.

Herausforderungen bei der Übersetzung im Bereich der Strafverfolgung

Die Strafverfolgungsbehörde sammelt große Mengen an Beweismaterial, das in Fremdsprachen mit geringen Ressourcen verfasst ist, für die nur begrenzte Mengen an digitalen Ressourcen und Daten für eine effiziente Übersetzung zur Verfügung stehen. Leider haben die zeitlichen Beschränkungen für Ermittlungen und die Zulässigkeit von Beweismitteln in Verbindung mit einem begrenzten Pool von Linguisten, die für die Übersetzung zur Verfügung stehen, zu zusätzlichen Einschränkungen geführt und die Fähigkeit der Behörde zur Verfolgung von Straftätern gefährdet.

Die Lösung von LILT

Mit einem vielseitigen Workflow von „at desk“-Tools hat die generative KI-Plattform von LILT verhindert, dass diese Ressourcenprobleme die Effektivität der Behörde bei der Verbrechensbekämpfung einschränken. Nicht-Linguisten arbeiten autonom und verwenden maschinelle Übersetzung, um eine Vielzahl von Dokumenten und deren hochwertige Inhalte zu kategorisieren, einschließlich des Versands von Massenübersetzungen über ihre API in die Cloud. Die Linguisten können ihre Zeit und ihre Fähigkeiten dann in die Übersetzung von Beweisdokumenten mithilfe des vorausschauenden, adaptiven Übersetzungstools von LILT investieren. Dieser Workflow wurde bei großen Operationen eingesetzt, bei denen Hunderte von Kriminellen verhaftet und illegale Drogen und Waffen beschlagnahmt wurden.

Bild mit freundlicher Genehmigung von CCC

LILT und NVIDIA auf AWS

Durch den Einsatz von LILT und NVIDIA GPUs erreichte die Agentur einen Übersetzungsdurchsatz von bis zu 150.000 Wörtern pro Minute (Benchmarking in vier Sprachen). Die Bereitstellung auf AWS unterstützt die Skalierung weit über das hinaus, was vor Ort möglich war. Skalierbare GPU-Ressourcen erhöhen den Durchsatz bei Arbeitsspitzen mühelos, sodass kein Endbenutzer auf die Bearbeitung einer Warteschlange warten muss und kein Auftrag ohne angemessene Unterstützung und Ressourcen bleibt.

Um dieses Ergebnis zu erreichen, beschleunigte LILT das Modelltraining mit NVIDIA A100 Tensor-Core-GPUs und die Modellinferenz mit NVIDIA T4 Tensor-Core-GPUs. Durch die Verwendung von Modellen, die mit NeMo entwickelt wurden, kann die LILT-Plattform eine bis zu 30-fache Steigerung des Zeichendurchsatzes bei der Inferenzleistung im Vergleich zu gleichwertigen Modellen liefern, die auf CPUs laufen. Darüber hinaus ermöglicht die NVIDIA KI-Plattform LILT eine fünffache Skalierung der Modellgröße mit deutlichen Verbesserungen, nicht nur bei der Latenz, sondern auch in der Qualität.

NeMo ist Teil von NVIDIA AI Enterprise, einer produktionstauglichen, sicheren End-to-End-Softwareplattform für Unternehmen, die beschleunigte KI-Software entwickeln und einsetzen.

Die adaptiven maschinellen Lernmodelle von LILT werden ständig verbessert, insbesondere wenn Inhalte überprüft werden und Linguisten Input liefern. Diese werden dann als Trainingsdaten für die Feinabstimmung des Modells genutzt. Dank dieser kontinuierlichen Kontextverbesserung können die dynamischen Tools von LILT mit der sich ständig ändernden Umgangssprache in sozialen Medien und anderen wichtigen Inhaltsquellen Schritt halten. LILT bietet außerdem einen vielschichtigen Workflow bei Anwendungen für Linguisten und Nicht-Linguisten, die es jedem Team ermöglichen, autonom zu arbeiten und Ihre einzigartigen Fertigkeiten optimal einzubringen, um in zeitkritischen Situationen höchste Effizienz zu erreichen.

Erfahren Sie mehr darüber, wie andere Unternehmen LILT nutzen, um ihre eigenen Abläufe und Kundenerfahrungen zu verbessern.

Bild mit freundlicher Genehmigung von CCC

  • LILT verwendet NVIDIA NeMo, um Modelle zur Verbesserung der Inferenz zu entwickeln.
  • NeMo ist ein durchgängiges, Cloud-natives Framework zum Erstellen, Anpassen und Bereitstellen von generativen KI-Modellen an jedem Ort. Es umfasst Trainings- und Inferenz-Frameworks, Guardrailing-Toolkits, Datenkuratierungstools und vortrainierte Modelle und bietet Unternehmen eine einfache, kostengünstige und schnelle Möglichkeit, generative KI einzuführen.
  • Die NVIDIA A100 Tensor-Core-GPUs bieten beispiellose Beschleunigung in jedem Maßstab.
  • NVIDIA A100 GPUs treiben die weltweit leistungsstärksten elastischen Rechenzentren für KI, Datenanalyse und High-Performance-Computing (HPC) an. Die GPU-Beschleunigung in Kombination mit NVIDIA AI Enterprise, einer sicheren, Cloud-nativen Softwarelösung, bedeutet, dass Unternehmen die Vorteile einer End-to-End-Plattform nutzen können, um von der Pilotphase in den Produktivbetrieb zu gelangen.
  • Durch die Bereitstellung auf AWS kann LILT die KI im Produktivbetrieb skalieren.
  • AWS und NVIDIA arbeiten seit über 13 Jahren zusammen, um kontinuierlich leistungsstarke, kostengünstige und flexible GPU-basierte Lösungen für Kunden bereitzustellen. Amazon EC2-Instanzen, die von NVIDIA GPUs angetrieben werden, liefern die skalierbare Leistung, die für schnelles maschinelles Lerntraining, kostengünstige maschinelle Lerninferenzen, flexible virtuelle Remote-Workstations und leistungsstarke HPC-Berechnungen benötigt wird.

NVIDIA Inception-Programm

LILT ist Mitglied von NVIDIA Inception, einem kostenlosen Programm, das Startups fördert, die Branchen mit technologischen Fortschritten revolutionieren. Als Inception-Partner hat LILT von Cloud-Gutschriften, Marketing-Möglichkeiten, Hardware-Rabatten, Risikokapital, NVIDIA Deep Learning Institute-Gutschriften und technischem Support von NVIDIA Experten profitiert.

Was ist NVIDIA Inception?

  • NVIDIA Inception ist ein kostenloses Programm, das Startups dabei unterstützt, sich schneller zu entwickeln, indem es ihnen die Möglichkeit bietet, mit Risikokapitalgebern in Kontakt zu treten und Zugriff auf die neuesten technischen Ressourcen von NVIDIA zu erhalten.

Vorteile des NVIDIA Inception-Programms:

  • Im Gegensatz zu herkömmlichen Beschleunigern unterstützt NVIDIA Inception Startups in jeder Phase über ihren gesamten Geschäftszeitraum hinweg. Wir arbeiten eng mit den Mitgliedern zusammen, um die besten technischen Tools sowie die neuesten Ressourcen und Möglichkeiten zum Austausch mit Investoren bereitzustellen.

Schließen Sie sich dem weltweiten Netzwerk von NVIDIA Inception mit über 15.000 Tech-Startups an.