メインコンテンツへスキップ

前提条件

Cartesia のセルフホストソリューションをデプロイする前に、以下が必要です:

エンタープライズ契約

Cartesia のセルフホスト製品は、通常エンタープライズ契約が必要です。Go-to-Market チームとの相談を希望される場合は、support@cartesia.ai までお問い合わせください。

インフラ

ハードウェア要件

Cartesia のモデルは、Ampere ファミリー以降の NVIDIA デバイスを搭載した GPU で、最低 24GB の GPU メモリを必要とします。GPU クラスタの運用方法に応じて、より具体的な仕様を提供します。詳細は ハードウェア選定 を参照してください。

デプロイメントオプション

現在、セルフホスト Cartesia クラスタは次の 3 つの方法でデプロイできます:
  • 適切なハードウェアを備えたマネージド Kubernetes クラスタ上で Helm チャートを使う方法。
  • ベアメタルまたは VM ノード上で Docker Compose / Docker Swarm を使う方法(ベータ)。
  • SageMaker Jumpstart 上のマネージドエンドポイントを使う方法。
すべてのコードはコンテナで実行されるため、はるかにカスタマイズされたデプロイ方法を採用することもできます。

セットアップの段階

セルフホストには多くの作業が必要なため、まずは Cartesia のクラウド版でアプリケーションをテストし統合してみることを強く推奨します。
1

Cartesia アカウントの作成

play.cartesia.ai でサインアップし、API キーを作成します。 play.cartesia.ai/keys に移動して組織を選択します。
2

エンタープライズアクセスのリクエスト

エンタープライズアクセスの取得のため、support@cartesia.ai にお問い合わせください。AWS SageMaker でデプロイする場合は、そのクラウドプラットフォーム上で直接リクエストできます。
3

デプロイ方法の選択

インフラに応じて優先するデプロイ方法を選択します:デプロイ方法によっては、この段階でハードウェアも決定します。
4

デプロイ

承認されると、次のリソースへのアクセスが提供されます:
  • cartesia-kube と関連アーティファクト(Docker イメージ、ボイス、LoRA 重み)を含む Google Cloud Storage バケット
  • プライベート Docker レジストリの認証情報
  • Helm チャートリポジトリ
  • Terraform 構成例
  • デプロイドキュメントとサポート
  • オフラインライセンス(エアギャップデプロイメント を行う場合に必要)
含まれる内容と各リソースへのアクセス方法(cartesia-kube のダウンロード方法を含む)の詳細は、プロビジョニング済みリソース を参照してください。GCS バケットから cartesia-kube をダウンロードし、選択したデプロイ方法のガイドに従ってセットアップを進めます。提供される設定はそのまま動作しますが、インフラのニーズに合わせてカスタマイズできます。
5

デプロイ後

デプロイ後は、独自のハードウェア上でデプロイメントを検証・ベンチマークするためのリソースを提供しています。スモークテストとベンチマーク を参照してください。 デプロイメントの監視を設定する場合は、メトリクス を参照してください。

デプロイ前チェックリスト

デプロイ方法を選択した後(上記のステップ 3)、ステップ 4(デプロイ)を実行する前に、この詳細なチェックリストに沿って準備してください。

インフラの準備状況

  • 互換性マトリクス に対してハードウェアを確認 — Kubernetes バージョン、GPU タイプとメモリ、GPU 公開メカニズム。
  • ポートマトリクスとアウトバウンド egress 要件 に対してネットワーク計画をレビュー。ファイアウォールルールを承認。
  • プラットフォーム向けの Ingress と TLS のガイダンスに対して TLS 計画をレビュー。
  • DNS 計画: ホスト名のオーナーを特定し、A レコードの予約を完了。
  • クラスタがプロビジョニング済み(Helm のみのパス)または Terraform 対応済み(Terraform パス)であること — マネージド Kubernetes を参照。

設定

  • cartesia-kube をダウンロードし検証 — デプロイメント構成 を参照。
  • デプロイ方法に応じた設定ファイルを記入 — 構成ファイル を参照。
  • イメージレジストリ、リリースタグ、Ingress ホスト名、証明書、namespace の設定をレビュー — 設定値の全リストは マネージド Kubernetes を参照。
  • ワーカーフリートのサイジング — GPU 1 つにつき 1 ワーカー、capacityGPU あたりの同時実行数 の表に従って設定。
  • (エアギャップのみ)ライセンスファイルをダウンロードし、シードを設定 — 初期ライセンスのシード を参照。
  • KEDA またはクラスタオートスケーラーを使用する場合は、オートスケーリングのしきい値を設定 — オートスケーリング を参照。