推論

モデルが学習したパラメーターを目に見えないデータに適用するランタイムステージ。多くの場合、レイテンシー、スループット、リソースに厳しい制約があります。推論ガバナンスにより、プロダクションモデルが正しいバージョンを使用し、パフォーマンスSLAを遵守し、入出力をモニタリング用に記録し、入力検証チェックを実施して悪用やインジェクション攻撃を防止することが保証されます。