Line プラットフォームには、開発フェーズおよび本番環境の両方でエージェントのパフォーマンスを評価するための一連のツールが含まれています。エージェントを評価するためのメトリクスをどのように定義するかは、完全にあなたが制御できます。
システムメトリクス
デフォルトでは、Line エージェントが行うすべての通話について、パフォーマンス評価に役立つ一連のシステムメトリクスが自動的に計算されます。
| システムメトリクス | 説明 |
|---|
| system_call_success | 推論コードのクラッシュなどによって通話が予期せず切断されたかどうかを示すブール値のステータス |
| system_text_to_speech_ttfb | 会話の最初のターンで TTS モデルが生成する音声の最初のバイトまでの時間 |
LLM as a Judge
LLM-as-a-Judge メトリクスは、プレイグラウンドで名前とプロンプトを指定することで作成できます。既存の通話トランスクリプトに対してさまざまなプロンプトを試すには、メトリクス作成フィールドに call ID をコピーし、evaluate をクリックしてサンプル出力を生成します。
LLM as a Judge メトリクスは、単一の値と description フィールドを返すように記述してください。
メトリクスの割り当て
メトリクスが作成されると、プレイグラウンドのエージェントページからエージェントに割り当てることができます。それ以降にそのエージェントが発信または受信するすべての通話で、メトリクスの結果が計算され、コンソールおよび API で確認できます。既存のエージェントにメトリクスを割り当てても、過去の通話に対しては自動的に実行されない点に注意してください。
