Skip to main content
ink-preview は 44 言語を文字起こしし、話者が 1 つの文の中で複数の言語を混ぜて話した場合でも、言語を自動検出します。想定される言語がわかっている場合は、接続時にヒントとして渡します。
ヒントの有無にかかわらず、各ターンでは直近の音声で検出された言語が報告されます。次のヒンディー語の文では、英語の単語「order」「tracking」「help」が使われています。
ink-2 は英語、フランス語、ヒンディー語、日本語、スペイン語をサポートし、これらを自動検出します。言語ヒントと検出された言語は ink-preview でのみ利用できます。

サポートされている言語

言語ヒントには次のコードを使用します。検出された言語にも同じコードが使われます。

言語ヒント

言語ヒントは、モデルを想定される言語に寄せるためのものです。モデルはそれ以外の言語も文字起こしでき、ヒントがない場合は言語を自動検出します。 ヒントによって文字起こし精度が向上する場合があるため、事前に言語がわかっている場合は常にヒントを追加することをおすすめします。
  • 言語ごとに language_hint クエリパラメータを 1 つずつ、最大 6 個まで渡します。URL では language_hints も使用できます。config メッセージでは language_hints を使用してください。そこで language_hint フィールドを指定しても無視されます。
  • pt-BR のような地域コードではなく、pt のような上の表の基本コードを使用します。
  • サポートされていないコードや 6 個を超えるヒントを指定して接続すると、error イベントを受け取り、接続が閉じられます。
  • ink-2 はヒントを受け付けません。ヒントを渡すと error イベントが返されます。
  • Realtime STT (Manual) で ink-2 と ink-preview を使用する場合は、language クエリパラメータを省略してください。これを使用するのは ink-whisper のみです。それでも指定する場合、値は ink-whisper がサポートする言語である必要があります。

ストリームの途中でヒントを変更する

ink-preview では、config メッセージを送信すると、再接続せずにヒントを置き換えられます。これはどちらのリアルタイムエンドポイントでも機能します。
  • 新しいリストは古いリストを置き換えます。リストをクリアするには [] を送信し、現在のリストを維持するにはフィールドを省略します。
  • 1 つのメッセージで keyterms と language_hints を同時に変更できます。Realtime STT (Auto) では、どのモデルでも turn 設定も変更できます。
  • 変更はすぐに反映されるため、まだ返されていない単語にも適用されます。これには、メッセージの直前の発話が含まれる場合があります。
  • メッセージは接続時と同じ制限に照らしてチェックされます。成功した場合、応答はありません。問題がある場合は error イベントを受け取り、何も変更されず、接続は開いたままになります。
ストリームの途中でキータームを変更するには、キータームプロンプティングを参照してください。

検出された言語

Realtime STT (Auto) では、turn.eager_end と turn.end に languages リスト(直近の音声で検出された言語)が含まれます。 言語リストは確信度順に並んでいるため、最初のエントリがモデルの最も確信度の高い言語です。エージェントが応答する言語を選ぶ場合など、1 つの言語が必要なときに使用してください。 ink-2 の場合や、ターンの音声が短すぎて言語を検出できない場合など、このフィールドが存在しないことがあるため、まず存在を確認してください。
リストには、モデルが確信を持っている言語が含まれます。どの言語にも確信がない場合は、最も可能性の高い言語のみが含まれます。各言語には個別のスコアが付けられるため、スコアの合計は 1 になりません。たとえば、ヒンディー語と英語を切り替えながら話すターンでは、両方のスコアが高くなることがあります。 Realtime STT (Manual) にはターンイベントがありません。代わりに、flush_done が各 finalize 時に言語を列挙し、done がセッション終了時に言語を列挙します。どちらも直近の音声を参照するため、前回の finalize より前の発話が含まれる場合があります。前回の finalize 以降に音声が届いていない場合、イベントには languages が含まれません。無音も音声として扱われるため、発話がない場合は、誰も話していない言語がリストに含まれることがあります。

知っておくべきこと

  • turn.eager_end はターンが終わる前に言語を報告し、turn.end は再度言語を報告します。この 2 つは異なる場合があります。turn.eager_end で応答を開始する場合は、turn.end で言語を再確認し、変わっていれば応答を再生成してください。
  • ヒントによって、検出がヒントで指定した言語に限定されるわけではありません。hi のヒントを指定したターンでも、発信者が英語を話した場合は en として返されることがあります。

次に進む

単語タイムスタンプ

すべての単語の開始時刻と終了時刻

キータームプロンプティング

名前やまれな単語の精度を向上させる

API リファレンス

すべてのイベントとフィールド