ink-preview は 44 言語を文字起こしし、話者が 1 つの文の中で複数の言語を混ぜて話した場合でも、言語を自動検出します。想定される言語がわかっている場合は、接続時にヒントとして渡します。
ink-2 は英語、フランス語、ヒンディー語、日本語、スペイン語をサポートし、これらを自動検出します。言語ヒントと検出された言語は ink-preview でのみ利用できます。サポートされている言語
言語ヒントには次のコードを使用します。検出された言語にも同じコードが使われます。言語ヒント
言語ヒントは、モデルを想定される言語に寄せるためのものです。モデルはそれ以外の言語も文字起こしでき、ヒントがない場合は言語を自動検出します。 ヒントによって文字起こし精度が向上する場合があるため、事前に言語がわかっている場合は常にヒントを追加することをおすすめします。- 言語ごとに
language_hintクエリパラメータを 1 つずつ、最大 6 個まで渡します。URL ではlanguage_hintsも使用できます。configメッセージではlanguage_hintsを使用してください。そこでlanguage_hintフィールドを指定しても無視されます。 pt-BRのような地域コードではなく、ptのような上の表の基本コードを使用します。- サポートされていないコードや 6 個を超えるヒントを指定して接続すると、
errorイベントを受け取り、接続が閉じられます。 ink-2はヒントを受け付けません。ヒントを渡すとerrorイベントが返されます。- Realtime STT (Manual) で
ink-2とink-previewを使用する場合は、languageクエリパラメータを省略してください。これを使用するのはink-whisperのみです。それでも指定する場合、値はink-whisperがサポートする言語である必要があります。
ストリームの途中でヒントを変更する
ink-preview では、config メッセージを送信すると、再接続せずにヒントを置き換えられます。これはどちらのリアルタイムエンドポイントでも機能します。
- 新しいリストは古いリストを置き換えます。リストをクリアするには
[]を送信し、現在のリストを維持するにはフィールドを省略します。 - 1 つのメッセージで
keytermsとlanguage_hintsを同時に変更できます。Realtime STT (Auto) では、どのモデルでもturn設定も変更できます。 - 変更はすぐに反映されるため、まだ返されていない単語にも適用されます。これには、メッセージの直前の発話が含まれる場合があります。
- メッセージは接続時と同じ制限に照らしてチェックされます。成功した場合、応答はありません。問題がある場合は
errorイベントを受け取り、何も変更されず、接続は開いたままになります。
検出された言語
Realtime STT (Auto) では、turn.eager_end と turn.end に languages リスト(直近の音声で検出された言語)が含まれます。
言語リストは確信度順に並んでいるため、最初のエントリがモデルの最も確信度の高い言語です。エージェントが応答する言語を選ぶ場合など、1 つの言語が必要なときに使用してください。
ink-2 の場合や、ターンの音声が短すぎて言語を検出できない場合など、このフィールドが存在しないことがあるため、まず存在を確認してください。
flush_done が各 finalize 時に言語を列挙し、done がセッション終了時に言語を列挙します。どちらも直近の音声を参照するため、前回の finalize より前の発話が含まれる場合があります。前回の finalize 以降に音声が届いていない場合、イベントには languages が含まれません。無音も音声として扱われるため、発話がない場合は、誰も話していない言語がリストに含まれることがあります。
知っておくべきこと
-
turn.eager_endはターンが終わる前に言語を報告し、turn.endは再度言語を報告します。この 2 つは異なる場合があります。turn.eager_endで応答を開始する場合は、turn.endで言語を再確認し、変わっていれば応答を再生成してください。 -
ヒントによって、検出がヒントで指定した言語に限定されるわけではありません。
hiのヒントを指定したターンでも、発信者が英語を話した場合はenとして返されることがあります。
次に進む
単語タイムスタンプ
すべての単語の開始時刻と終了時刻
キータームプロンプティング
名前やまれな単語の精度を向上させる
API リファレンス
すべてのイベントとフィールド