精度
AI システムの出力が、現実世界のデータまたは意図した結果をどの程度正しく反映しているかです。
Definition
精度を測定するには、単一のパーセンテージスコアだけでなく、全体的な正確性(真陽性+真陰性)、サブグループのパフォーマンス(地域別、人口統計別など)、エッジケースの堅牢性(まれな条件)など、複数の側面にわたって測定する必要があります。これらの側面を分析することによってのみ、組織はシステムが本番環境で確実に動作することを確認し、追加のトレーニングやモデルの調整が必要なシナリオを特定できます。
Real-World Example
ある自動運転車会社は、晴れ、雨、夜間の条件で歩行者検知 AI をテストしています。このモデルは全体で 98% の精度ですが、大雨時には 85% に低下します。その後、エンジニアは雨に特化した映像を使ってトレーニングデータを補強し、追加の赤外線センサーを取り付けて、次の一般公開までに雨天時の精度を 95% 以上に戻します。