Inferenz
Der Prozess, bei dem ein trainiertes KI-Modell neue Dateneingaben verarbeitet, um Vorhersagen oder Entscheidungen zu treffen.
Definition
Die Laufzeitphase, in der Modelle erlernte Parameter auf unsichtbare Daten anwenden, oft unter strengen Latenz-, Durchsatz- und Ressourcenbeschränkungen. Inference Governance stellt sicher, dass Produktionsmodelle die richtige Version verwenden, Leistungs-SLAs einhalten, Eingaben und Ausgaben zur Überwachung protokollieren und Eingabevalidierungsprüfungen durchsetzen, um Missbrauch oder Injection-Angriffe zu verhindern.
Real-World Example
Ein Betrugserkennungsdienst stellt eine REST-API für Inferenzen zur Verfügung. Er umschließt das Modell in einen Microservice, der Eingabeschemas verifiziert, jede Anfrage und Antwort mit Metadaten protokolliert und horizontal skaliert, um bei hoher Transaktionslast Antwortzeiten von unter 100 ms einzuhalten.
.svg)
