前提条件
Cartesia のセルフホストソリューションをデプロイする前に、以下が必要です:エンタープライズ契約
Cartesia のセルフホスト製品は、通常エンタープライズ契約が必要です。Go-to-Market チームとの相談を希望される場合は、support@cartesia.ai までお問い合わせください。インフラ
ハードウェア要件
Cartesia のモデルは、Ampere ファミリー以降の NVIDIA デバイスを搭載した GPU で、最低 24GB の GPU メモリを必要とします。GPU クラスタの運用方法に応じて、より具体的な仕様を提供します。詳細は ハードウェア選定 を参照してください。デプロイメントオプション
現在、セルフホスト Cartesia クラスタは次の 3 つの方法でデプロイできます:- 適切なハードウェアを備えたマネージド Kubernetes クラスタ上で Helm チャートを使う方法。
- ベアメタルまたは VM ノード上で Docker Compose / Docker Swarm を使う方法(ベータ)。
- SageMaker Jumpstart 上のマネージドエンドポイントを使う方法。
セットアップの段階
セルフホストには多くの作業が必要なため、まずは Cartesia のクラウド版でアプリケーションをテストし統合してみることを強く推奨します。
Cartesia アカウントの作成
play.cartesia.ai でサインアップし、API キーを作成します。
play.cartesia.ai/keys に移動して組織を選択します。
エンタープライズアクセスのリクエスト
エンタープライズアクセスの取得のため、support@cartesia.ai にお問い合わせください。AWS SageMaker でデプロイする場合は、そのクラウドプラットフォーム上で直接リクエストできます。
デプロイ方法の選択
インフラに応じて優先するデプロイ方法を選択します:デプロイ方法によっては、この段階でハードウェアも決定します。
デプロイ
承認されると、次のリソースへのアクセスが提供されます:
- cartesia-kube と関連アーティファクト(Docker イメージ、ボイス、LoRA 重み)を含む Google Cloud Storage バケット
- プライベート Docker レジストリの認証情報
- Helm チャートリポジトリ
- Terraform 構成例
- デプロイドキュメントとサポート
- オフラインライセンス(エアギャップデプロイメント を行う場合に必要)
デプロイ後
デプロイ後は、独自のハードウェア上でデプロイメントを検証・ベンチマークするためのリソースを提供しています。スモークテストとベンチマーク を参照してください。
デプロイメントの監視を設定する場合は、メトリクス を参照してください。
デプロイ前チェックリスト
デプロイ方法を選択した後(上記のステップ 3)、ステップ 4(デプロイ)を実行する前に、この詳細なチェックリストに沿って準備してください。インフラの準備状況
- 互換性マトリクス に対してハードウェアを確認 — Kubernetes バージョン、GPU タイプとメモリ、GPU 公開メカニズム。
- ポートマトリクスとアウトバウンド egress 要件 に対してネットワーク計画をレビュー。ファイアウォールルールを承認。
- プラットフォーム向けの Ingress と TLS のガイダンスに対して TLS 計画をレビュー。
- DNS 計画: ホスト名のオーナーを特定し、A レコードの予約を完了。
- クラスタがプロビジョニング済み(Helm のみのパス)または Terraform 対応済み(Terraform パス)であること — マネージド Kubernetes を参照。
設定
cartesia-kubeをダウンロードし検証 — デプロイメント構成 を参照。- デプロイ方法に応じた設定ファイルを記入 — 構成ファイル を参照。
- イメージレジストリ、リリースタグ、Ingress ホスト名、証明書、namespace の設定をレビュー — 設定値の全リストは マネージド Kubernetes を参照。
- ワーカーフリートのサイジング — GPU 1 つにつき 1 ワーカー、
capacityは GPU あたりの同時実行数 の表に従って設定。 - (エアギャップのみ)ライセンスファイルをダウンロードし、シードを設定 — 初期ライセンスのシード を参照。
- KEDA またはクラスタオートスケーラーを使用する場合は、オートスケーリングのしきい値を設定 — オートスケーリング を参照。