Test Models with Playground
Playground 是一个交互式环境，允许您实时测试已部署的模型并验证其性能。
您可以直接从浏览器运行测试，而无需编写任何代码。
- 默认情况下，它支持 OpenAI Compatible API。
- 对于其他格式，您可以使用 Custom API Request 功能进行测试。
开始使用
在已部署模型的列表中，单击右侧的操作菜单并选择 Playground。
- Playground 仅支持已经部署的模型。
- 如果您的模型尚未部署，请首先按照用户指南完成部署过程以 Deploy a Model to a Cluster。
- 您只能在 Playground 中测试已完全部署的模型。
- 如果 Status 在 Inference Service List 中不是
Running，则 Playground 按钮将被禁用。
Playground 的主要功能
- Automatic Registration: 当您选择模型类型时，它会自动在 Playground 中注册。
- Instant Testing: 检查模型响应而无需编写任何代码。
- Real-Time Responses: 对于聊天和文本模型，响应可以通过流式传输查看。
- Supports Multiple Types: 与 Chat, Text, Embedding, Image, Audio, and Custom API 模型兼容。
- Parameter Adjustment: 您可以配置设置，例如 Temperature、Max Tokens 等。
测试过程
第一步：选择模型
- 从 Inference Service List 中选择您要测试的模型。
- 在模型详细信息页面上，单击 Open in Playground。
第二步：注册模型
-
该模型将通过 Model Registration 过程自动注册。
-
注册完成后，点击 Test Model。
-
如果您希望取消注册，请点击 Disconnect 。
-
您可以点击“重新注册”以再次注册模型。
- 如果模型运行不正常，注册可能会失败。
- 如果模型已经注册，Test Model 按钮将立即出现。
第 3 步：选择模型类型
Playground 支持以下四种模型类型：
| Typea | Description |
|---|---|
| 聊天 | 对话模型 |
| 文本补全 | 文本自动补全 |
| 嵌入 | 句子到向量转换 |
| 自定义 API | 自定义 API 请求和测试 |
点击与您的模型匹配的类型并继续测试。
如果您选择的类型与您的模型不匹配，它将无法正确响应。
例如：将 Chat 类型用于稳定扩散模型 → 不正确
第 4 步：调整模型选项（可选）
如有需要，您可以修改模型设置和参数。
并非所有模型都支持每个可用设置。
聊天模型测试
聊天模型测试用于验证具有对话结构的模型，例如GPT和LLaMA。聊天模型专门针对多轮对话场景，记住先前的交流作为上下文，并生成最合适和一致的响应，以回答用户当前的问题。用户还可以通过“系统提示”给模型分配特定的角色或行为。
上下文
聊天模型使用对话历史作为上下文，并依赖注意力机制和系统提示生成适当的响应，并保持一致的人格。
目的
允许用户通过Web界面测试模型，以评估准确性、一致性、创造力，并使用系统提示定义AI的角色。
如何使用
- 选择聊天模型类型并打开界面
- 输入您的消息并发送
- 按Enter键或点击发送按钮
- 查看模型的响应
调整模型参数
通过点击左上角的设置按钮，您可以微调各种参数以控制模型的响应：
| Parameter | Range/Options | 描述 | Recommended Value |
|---|---|---|---|
| System Prompt | 文本 | 定义AI角色和行为的指令 | - |
| Temperature | 0.0~2.0 | 控制创造力和一致性（较低=更一致） | 0.7（一般聊天） |
| Max Tokens | 100~20,000 | 生成的最大令牌数（长度限制） | 4,000（中等长度） |
| Top P | 0.0~1.0 | 控制多样性（与温度一起使用） | 0.9~1.0 |
| Frequency Penalty | -2.0~2.0 | 不鼓励重复的词语/短语 | 0.1~0.3 |
| Presence Penalty | -2.0~2.0 | 鼓励引入新主题 | 0.0~0.2 |
| Stop Sequences | 文本数组 | 在指定文本处停止生成（可以设置多个） | - |
| Seed | 数字（可选） | 可重复结果的种子值 | - |
| Metadata | 键值对 | 额外的日志/分析信息（可选） | - |
- Max Tokens: 请注意不要超过模型的最大令牌限制。
- Stop Sequences: 如果遇到任何停止序列，生成将停止。
- Seed: 使用相同的输入和种子将产生可重复的结果。
文本补全测试
文本补全用于测试在给定提示后自动完成句子的模型。文本补全模型分析用户提供的输入文本（提示）的模式和上下文，并持续生成最可能的下一个单词和短语。通过这个过程，模型可以自动完成句子、段落，甚至是长文本。
上下文
文本补全模型基于自回归生成，顺序生成下一个令牌，使用模型预测的令牌概率分布。在这个过程中，参数介入令牌采样，以控制响应的多样性——这是理论核心。
目的
用户输入提示以自动生成后续句子，并验证生成文本的质量。特别是，后缀参数可以用于在生成文本后添加后缀，从而允许引导文本补全朝特定方向进行的测试。
如何使用
-
选择文本补全类型。
-
输入您的提示。
-
点击 Generate，模型将自动生成您提示的后续内容。
-
您可以根据需要复制结果或重新生成。
调整模型参数
通过点击左上角的设置按钮，您可以微调 Text Completion 模型的响应参数。
| Parameter | Range/Options | 描述 | Recommended Value |
|---|---|---|---|
| Temperature | 0.0~2.0 | 控制创造力和一致性 | 1.0 (创造性) |
| Max Tokens | 100~4,000 | 生成的最大标记数 | 1,000 (中等长度) |
| Top P | 0.0~1.0 | 控制多样性（与温度一起使用） | 1.0 |
| Frequency Penalty | -2.0~2.0 | 避免重复的词语/短语 | 0.0~0.3 |
| Presence Penalty | -2.0~2.0 | 鼓励引入新主题 | 0.0~0.2 |
| Suffix | 文本（可选） | 为生成的文本添加后缀 | - |
| Stop Sequences | 文本数组 | 在指定文本处停止生成 | - |
| Stream | true/false | 启用长文本的实时流式传输 | true (推荐) |
后缀使用示例
| 用例 | 后缀示例 | 效果 |
|---|---|---|
| 请求摘要 | "总结：" | 引导模型生成摘要 |
| 结论 | "总之，" | 以逻辑结论结束文本 |
| 特定格式 | "### 主要要点：" | 以结构化格式生成文本 |
- Stop Sequences: 使用
\\n\\n,###, 或end创建自然的停顿点。 - Stream: 启用流式传输以实时查看生成的长文本。
- Suffix: 使用后缀引导模型的完成方向。
嵌入生成测试
嵌入用于测试将文本转换为有意义的向量值的模型。该模型将输入文本转换为高维空间中的数值数组，其中这些向量值表示文本的语义特征。向量越相似，原始文本在意义上就越相似。
背景
嵌入基于分布式表示理论，将单词或句子的意义转换为高维空间中的数值向量。在这个空间中，使用“余弦相似度”等相似性度量来计算向量之间的相似性，指示原始文本之间的语义相似性。
目的
通过输入单个或多个句子，用户可以检查和验证模型生成的向量值以及句子之间的相似性。此外，可以调整编码格式和维度等参数，以探索适合预期环境的最佳向量形式。
如何使用
-
选择嵌入类型
-
输入一个或多个句子（用换行符分隔多个句子）
-
点击 Generate Embeddings
-
检查向量值和相似性分数
调整模型参数
您可以自定义嵌入向量生成的参数。
| 参数 | 选项/范围 | 描述 | 推荐值 |
|---|---|---|---|
| Encoding Format | float / base64 | 向量编码格式 | float（默认） |
| Dimensions | 512, 1024, 1536, 3072 | 向量维度数量（依赖于模型） | 模型默认 |
| User Identifier | 文本（可选） | 请求跟踪/监控的标识符 | - |
编码格式比较
| 格式 | 特征 | 使用案例 |
|---|---|---|
| Float | 数字数组，直观 | 开发/调试，手动计算 |
| Base64 | 压缩字符串，高效 | 存储/传输，API 响应 |
Example Use Cases:
- Semantic Search: 查找具有相似含义的文档
- Similarity-Based Recommendations: 内容推荐系统
- Document Clustering: 将相似文档分组
- Duplicate Detection: 识别具有相似内容的文档
- Dimensions: 只有一些模型支持维度自定义
- Encoding Format: 影响 API 响应大小（Base64 对于大数据更高效）
自定义 API 测试
自定义 API 是一项高级功能，使您能够直接配置和发送 HTTP 请求。它特别适用于测试不在标准模型类型覆盖范围内的专用 API 或自定义端点。
背景
自定义 API 测试基于 RESTful 架构和 HTTP 协议。用户手动设置 HTTP 方法（GET、POST 等）、头部和主体，以向模型服务器的端点发送请求，然后分析状态码和响应数据以验证 API 的正确操作。
目的
它允许用户在 API 开发过程中快速验证和调试请求/响应结构，通过检查端点行为和响应处理来实现 REST API 环境中的调试。复杂请求可以在 GUI 中轻松构建。
如何使用
-
选择自定义 API 类型
-
选择预定义的端点或输入自定义 URL
-
配置您的请求（根据需要设置头部、主体和文件）
-
点击 Send Request 并查看结果
支持的端点
自定义 API 支持 8 个预定义端点以及自定义端点。
| 端点 | 描述 | HTTP 方法 | 请求体类型 |
|---|---|---|---|
| Chat Completions | 对话模型 API | POST | JSON |
| Text Completions | 文本自动补全 API | POST | JSON |
| Embeddings | 句子向量转换 | POST | JSON |
| Image Generations | 文本到图像生成 API | POST | JSON |
| Audio Speech (TTS) | 文本到语音转换 API | POST | JSON |
| Audio Transcriptions (STT) | 语音到文本转换 API | POST | 表单数据 |
| Audio Translations | 语音翻译 API | POST | 表单数据 |
| Custom... | 用户定义的端点 | 可选 | 可选 |
请求配置
Selecting HTTP Method| 方法 | 描述 | 典型用例 |
|---|---|---|
| GET | 检索数据 | 检查模型信息，查看状态 |
| POST | 创建/处理数据 | 模型推理，文件上传 |
| PUT | 更新所有数据 | 更新设置 |
| DELETE | 删除数据 | 移除资源 |
| PATCH | 更新部分数据 | 更改特定设置 |
| HEAD | 仅查看头部 | 状态检查 |
| OPTIONS | 检查支持的方法 | CORS 预检请求 |
- Automatic headers: 默认添加 Authorization、Content-Type 和 X-Model-Name。
- Custom headers: 根据需要添加额外的头部。
- API key management: 轻松从 Authorization 头部复制 API 密钥。
| Body Type | Description | Use Case |
|---|---|---|
| None | 无请求体 | GET、HEAD、OPTIONS 请求 |
| JSON | JSON 格式数据 | 大多数 API 请求 |
| Form Data | 表单数据 | 文件上传，表单提交 |
| Text | 普通文本 | 简单文本传输 |
- Supported formats: 所有文件类型
- Size limits: 基于浏览器和服务器设置的限制
- Multiple files: 一次上传多个文件
响应处理
Response Modes| Mode | Description | Use Case |
|---|---|---|
| Formatted | 结构化 JSON 树视图 | 分析复杂的 JSON 响应 |
| Raw | 原始文本形式 | 查看简单响应 |
- Auto-expand: 所有节点默认展开
- Copy individual values: 可以轻松复制特定节点的数据
- Color coding by type: 字符串（绿色）、数字（蓝色）、布尔值（紫色）等
- Nested structures: 对象和数组以可视化方式表示
| Item | Description | Display Format |
|---|---|---|
| HTTP Status | 响应状态码 | 200、404、500 等 |
| Duration | 处理时间 | 1.23s、500ms 等 |
| Size | 响应大小 | 1.2KB、5.4MB 等 |
| Timestamp | 请求时间 | 2024-01-15 14:30:25 |
高级功能
cURL Command Generation- Auto-generation: 请求可以转换为 cURL 命令
- Clipboard copy: 一键复制生成的 cURL 命令
- Real-time URL display: 在配置时查看最终请求 URL
- URL copy: 将完成的 URL 复制到剪贴板
- Auto-injection: API 密钥会自动添加到 Authorization 头中
- Key copy: 单独复制 API 密钥
- Development: 在开发 API 时快速验证请求和响应格式
- Debugging: 详细分析意外响应
- Documentation: 使用生成的 cURL 命令记录 API 使用情况
- Testing: 验证 API 在不同参数组合下的行为
- API Key Security: 注意不要暴露您的 API 密钥
- Request Limits: 注意 API 服务器的速率限制
- File Size: 检查大文件上传的网络状态
- Endpoint Accuracy: 不正确的端点可能会导致 404 错误
模型使用 – 内部连接端点
内部推理服务端点是一个仅可在 GPU 集群内使用的 URL。根据部署的模型，它可能具有不同的 API 地址模式和请求格式，并且无法从集群外部使用。
上下文
为了能够从同一集群中运行的其他工作负载（例如，训练服务器、批处理服务器）快速且安全地调用模型。
目的
通过在不暴露外部的情况下执行模型推理，最小化集群内部网络延迟并确保安全性。
主要功能
- 一个仅可在 GPU 集群内部使用的内部推理服务端点。
- 根据部署的模型类型和运行时支持多种端点模式。
- 不需要单独的 API 密钥身份验证。
如何检查
在您从主页或左侧导航菜单导航到模型服务 > 推理服务列表时显示的模型列表中的端点字段。
注意事项
- 对于内部端点，端点 URL 和请求格式可能会根据部署运行时、模型类型和配置而有所不同。
- 仅可在 GPU 集群内部使用。
模型使用 – 外部连接端点
在 Playground 中显示的外部连接端点是一个可以从模型部署所在集群外部访问的 URL。该端点仅保证适用于与 OpenAI API 兼容的模型。
上下文
当您需要从外部 Web 服务、移动应用或集群外部的开发环境访问模型推理 API 时使用。
目的
从集群外部调用模型 API，以便与外部服务集成，并以与 Playground 相同的方式执行与 OpenAI 兼容的 API 通信。
主要功能
- 一个可以通过 Playground 发现并从集群外部访问的外部访问 URL。
- 仅保证适用于与 OpenAI API 兼容的模型。
- 访问时必须提供 API 密钥。
如何检查
- Endpoint: 从模型服务 > 推理服务列表 > 操作中打开 Playground，选择自定义 API 请求，然后检查请求配置中显示的端点。
- API Key: 在自定义 API 请求屏幕中，在头部中，点击授权旁边的复制按钮。
注意事项
- 使用外部连接端点时，您必须在请求主体中指定模型名称，以区分已部署的模型（根据 OpenAI API 规范）。
- 由于遵循 OpenAI API 规范，外部连接地址不支持 OpenAI 中不可用的端点。