Perplexity nutzt die Zuverlässigkeit, Flexibilität und Benutzerfreundlichkeit von NVIDIA NeMo, um eigene Modelle für seine Online-Antwortmaschine zu entwickeln. Eingesetzt wurden mehrere von Nemo unterstützte Techniken der Datenverarbeitung und fortgeschrittenen Modellanpassung:
- Überwachte Optimierung: Die Fähigkeiten von NeMo bei der Verarbeitung von Daten, die über mehrere Knoten verteilt sind, ermöglichten Perplexity eine effiziente Skalierung der Trainingsprozesse.
- Direct Preference Optimization (DPO): Mit DPO konnte Perplexity die Leistung vortrainierter Modelle verbessern, um sich besser an menschliche Präferenzen anzupassen und die Modelle auf die Bedürfnisse der Benutzer zuzuschneiden.
- Proximal Policy Optimization (PPO): Mit dieser Optimierungstechnik konnten die Ergebnisse beim Trainieren von Modellen für komplexe Aufgaben wie Spiele und die Steuerung von Robotern verbessert werden.
Innerhalb weniger Tage nach der Veröffentlichung einer neuen Open-Source-Version verfügte das Team über ein neues Sonar-Modell, das um 20% gegenüber dem Ausgangsmodell für die Suche verbessert wurde.
Perplexity optimierte die Frontier-Modelle mit den Modellfamilien Llama und Mistral und setzt Retrieval-Augmented Generation ein, um präzise, prägnante Antworten auf der Grundlage der abgerufenen Daten zu liefern. Mit diesem Grad der Anpassung konnte Perplexity eine hohe Genauigkeit und Relevanz für seine KI-Anwendungen erzielen.
Die Benutzerfreundlichkeit von NeMo, die Vielfalt der unterstützten Modellarchitekturen und der hohe Trainingsdurchsatz ermöglichten es Perplexity, schnell zu experimentieren und die am besten optimierten Modelle für seine Anwendungen zu finden.