Skip to main content
Cartesia は、組み込みメトリクスと、エージェントに割り当てられたカスタムメトリクスで、完了した通話を評価します。組み込みメトリクスで実行状態を確認し、カスタムメトリクスでアプリケーション固有の成果を測定できます。 API では、カスタムメトリクスの作成、エージェントへの追加や削除、結果の一覧取得やエクスポートができます。 以下に示すとおり、これらはプレイグラウンドの UI からも行えます。

組み込みメトリクス

Cartesia はすべての通話について次のメトリクスを計算します。

カスタムメトリクス

プレイグラウンドまたは POST /agents/metrics で、名前と評価プロンプトを指定し、LLM-as-a-judge メトリクスを作成します。プロンプトでは、評価する質問と期待する出力を明確に定義してください。メトリクスはサイドバーの Metrics で作成します。保存する前に、プレイグラウンドでエージェントの直近 5 件の通話、または入力した通話 ID に対してプロンプトを実行できます。メトリクスは作成後に編集できません。変更するには、削除してから新しく作成してください。
メトリクス名は組織内で一意である必要があります。小文字、数字、ハイフン、アンダースコア、ピリオドを使用できます。

メトリクスを割り当てる

プレイグラウンドのエージェントページから、または POST /agents/{agent_id}/metrics/{metric_id} で、メトリクスを割り当てます。Cartesia は、メトリクスを割り当てた後に終了した通話を評価します。プレイグラウンドで追加する際に Run metric on the latest 5 calls をオンにすると、直近の通話を 1 回だけスコアリングできます。
直近 5 件の通話でメトリクスを実行するオプションがある、プレイグラウンドのメトリクス追加ダイアログ

エージェントの Metrics ページからメトリクスを追加します。

結果では、メトリクス結果を取得およびエクスポートできます。