Test Models with Playground
Playground은 배포된 모델을 실시간으로 테스트하고 성능을 검증할 수 있는 인터랙티브 환경입니다.
코드를 작성하지 않고도 브라우저에서 직접 테스트를 실행할 수 있습니다.
- 기본적으로 OpenAI Compatible API을 지원합니다.
- 다른 형식의 경우, Custom API Request 기능을 사용하여 테스트를 수행할 수 있습니다.
시작하기
배포된 모델 목록에서 오른쪽의 작업 메뉴를 클릭하고 Playground를 선택합니다.
- Playground은 이미 배포된 모델만 지원합니다.
- 모델이 아직 배포되지 않았다면, 사용자 가이드를 따라 Deploy a Model to a Cluster를 통해 배포 프로세스를 먼저 완료해 주세요.
- Playground에서는 완전히 배포된 모델만 테스트할 수 있습니다.
- Inference Service List의 Status가
Running이 아닐 경우, Playground 버튼이 비활성화됩니다.
Playground의 주요 기능
- Automatic Registration: 모델 유형을 선택하면 자동으로 Playground에 등록됩니다.
- Instant Testing: 코드를 작성하지 않고 모델 응답을 확인할 수 있습니다.
- Real-Time Responses: 채팅 및 텍스트 모델의 경우, 응답을 스트리밍 방식으로 볼 수 있습니다.
- Supports Multiple Types: Chat, Text, Embedding, Image, Audio, and Custom API 모델과 호환됩니다.
- Parameter Adjustment: Temperature, Max Tokens 등과 같은 설정을 구성할 수 있습니다.
테스트 프로세스
단계 1: 모델 선택
- Inference Service List에서 테스트할 모델을 선택합니다.
- 모델 세부 정보 페이지에서 Open in Playground를 클릭합니다.
단계 2: 모델 등록
-
모델은 Model Registration 프로세스를 통해 자동으로 등록됩니다.
-
등록이 완료되면 Test Model를 클릭하세요.
-
등록을 취소하려면 대신 Disconnect을 클릭하세요.
-
“재등록”을 클릭하여 모델을 다시 등록할 수 있습니다.
- 모델이 제대로 실행되지 않으면 등록이 실패할 수 있습니다.
- 모델이 이미 등록된 경우 Test Model 버튼이 즉시 나타납니다.
3단계: 모델 유형 선택
Playground는 다음 네 가지 모델 유형을 지원합니다:
| Typea | Description |
|---|---|
| 채팅 | 대화형 모델 |
| 텍스트 완성 | 텍스트 자동 완성 |
| 임베딩 | 문장-벡터 변환 |
| 사용자 정의 API | 사용자 정의 API 요청 및 테스트 |
모델에 맞는 유형을 클릭하고 테스트를 진행하세요.
모델에 맞지 않는 유형을 선택하면 올바르게 응답하지 않습니다.
예: Stable Diffusion 모델에 Chat 유형 사용 → 잘못됨
4단계: 모델 옵션 조정 (선택 사항)
필요한 경우 모델 설정 및 매개변수를 수정할 수 있습니다.
모든 모델이 모든 사용 가능한 설정을 지원하는 것은 아닙니다.
채팅 모델 테스트
챗 모델 테스트는 GPT 및 LLaMA와 같은 대화 구조를 가진 모델을 검증하는 데 사용됩니다. 챗 모델은 다중 턴 대화 시나리오에 특화되어 있으며, 이전의 교환을 맥락으로 기억하고 사용자의 현재 질문에 가장 적절하고 일관된 응답을 생성합니다. 사용자는 '시스템 프롬프트'를 통해 모델에 특정 역할이나 행동을 부여할 수도 있습니다.
맥락
챗 모델은 대화 기록을 맥락으로 사용하며, 적절한 응답을 생성하고 일관된 페르소나를 유지하기 위해 주의 메커니즘과 시스템 프롬프트에 의존합니다.
목적
사용자가 웹 인터페이스를 통해 모델을 테스트하여 정확성, 일관성, 창의성을 평가하고 시스템 프롬프트를 사용하여 AI의 역할을 정의할 수 있도록 합니다.
사용 방법
- 챗 모델 유형을 선택하고 인터페이스를 엽니다.
- 메시지를 입력하고 전송합니다.
- Enter 키를 누르거나 전송 버튼을 클릭합니다.
- 모델의 응답을 확인합니다.
모델 매개변수 조정
왼쪽 상단 모서리에 있는 설정 버튼을 클릭하면 모델의 응답을 제어하기 위해 다양한 매개변수를 미세 조정할 수 있습니다:
| Parameter | Range/Options | 설명 | Recommended Value |
|---|---|---|---|
| System Prompt | 텍스트 | AI의 역할과 행동을 정의하는 지침 | - |
| Temperature | 0.0~2.0 | 창의성 일관성을 제어합니다 (낮을수록 더 일관됨) | 0.7 (일반 채팅) |
| Max Tokens | 100~20,000 | 생성할 최대 토큰 수 (길이 제한) | 4,000 (중간 길이) |
| Top P | 0.0~1.0 | 다양성을 제어합니다 (온도와 함께 사용됨) | 0.9~1.0 |
| Frequency Penalty | -2.0~2.0 | 반복적인 단어/구를 피하도록 권장 | 0.1~0.3 |
| Presence Penalty | -2.0~2.0 | 새로운 주제의 도입을 장려 | 0.0~0.2 |
| Stop Sequences | 텍스트 배열 | 지정된 텍스트에서 생성을 중지 (여러 개 설정 가능) | - |
| Seed | 숫자 (선택 사항) | 재현 가능한 결과를 위한 시드 값 | - |
| Metadata | 키-값 쌍 | 로깅/분석을 위한 추가 정보 (선택 사항) | - |
- Max Tokens: 모델의 최대 토큰 한도를 초과하지 않도록 주의하세요.
- Stop Sequences: 중지 시퀀스가 발견되면 생성이 중단됩니다.
- Seed: 동일한 입력과 시드를 사용하면 반복 가능한 결과가 생성됩니다.
텍스트 완성 테스트
텍스트 완성은 프롬프트가 주어진 후 자동으로 문장을 완성하는 모델을 테스트하는 데 사용됩니다. 텍스트 완성 모델은 사용자가 제공한 입력 텍스트(프롬프트)의 패턴과 맥락을 분석하고 가장 가능성이 높은 다음 단어와 구를 지속적으로 생성합니다. 이 과정을 통해 모델은 문장, 단락 또는 긴 텍스트를 자동으로 완성할 수 있습니다.
맥락
텍스트 완성 모델은 자동 회귀 생성에 기반하여, 모델의 예측된 토큰 확률 분포를 사용하여 다음 토큰을 순차적으로 생성합니다. 이 과정에서 매개변수가 토큰 샘플링에 개입하여 응답의 다양성을 제어합니다—이것이 이론적 핵심입니다.
목적
사용자는 프롬프트를 입력하여 후속 문장을 자동으로 생성하고 생성된 텍스트의 품질을 검증합니다. 특히, Suffix 매개변수를 사용하여 생성된 텍스트 뒤에 접미사를 추가할 수 있어, 특정 방향으로 텍스트 완성을 유도하는 테스트를 가능하게 합니다.
사용 방법
-
텍스트 완성 유형을 선택합니다.
-
프롬프트를 입력하세요.
-
Generate를 클릭하면 모델이 자동으로 프롬프트의 연속성을 생성합니다.
-
결과를 복사하거나 필요에 따라 다시 생성할 수 있습니다.
모델 매개변수 조정
왼쪽 상단의 설정 버튼을 클릭하면 Text Completion 모델의 응답 매개변수를 세밀하게 조정할 수 있습니다.
| Parameter | Range/Options | 설명 | Recommended Value |
|---|---|---|---|
| Temperature | 0.0~2.0 | 창의성과 일관성을 제어합니다 | 1.0 (창의적) |
| Max Tokens | 100~4,000 | 생성할 최대 토큰 수 | 1,000 (중간 길이) |
| Top P | 0.0~1.0 | 다양성을 제어합니다 (온도와 함께 사용) | 1.0 |
| Frequency Penalty | -2.0~2.0 | 반복되는 단어/구를 억제합니다 | 0.0~0.3 |
| Presence Penalty | -2.0~2.0 | 새로운 주제의 도입을 장려합니다 | 0.0~0.2 |
| Suffix | 텍스트 (선택 사항) | 생성된 텍스트에 접미사를 추가합니다 | - |
| Stop Sequences | 텍스트 배열 | 지정된 텍스트에서 생성을 중지합니다 | - |
| Stream | true/false | 긴 텍스트에 대한 실시간 스트리밍을 활성화합니다 | true (권장) |
접미사 사용 예시
| 사용 사례 | 접미사 예시 | 효과 |
|---|---|---|
| 요약 요청 | "요약하자면:" | 모델이 요약을 생성하도록 안내합니다 |
| 결론 | "결론적으로," | 논리적인 결론으로 텍스트를 마무리합니다 |
| 특정 형식 | "### 주요 사항:" | 구조화된 형식으로 텍스트를 생성합니다 |
- Stop Sequences: 자연스러운 중지점을 만들기 위해
\\n\\n,###, 또는end를 사용하세요. - Stream: 긴 텍스트가 실시간으로 생성되는 것을 보기 위해 스트리밍을 활성화하세요.
- Suffix: 모델의 완성 방향을 안내하기 위해 접미사를 사용하세요.
임베딩 생성 테스트
임베딩은 텍스트를 의미 있는 벡터 값으로 변환하는 모델을 테스트하는 데 사용됩니다. 이 모델은 입력 텍스트를 고차원 공간의 숫자 배열로 변환하며, 이 벡터 값은 텍스트의 의미적 특징을 나타냅니다. 벡터가 유사할수록 원래 텍스트의 의미도 유사합니다.
맥락
임베딩은 분산 표현 이론에 기반하여 단어 또는 문장의 의미를 고차원 공간의 숫자 벡터로 변환합니다. 이 공간에서는 "코사인 유사도"와 같은 유사성 측정 방법을 사용하여 벡터 간의 유사성을 계산하며, 이는 원래 텍스트 간의 의미적 유사성을 나타냅니다.
목적
단일 또는 여러 문장을 입력함으로써 사용자는 모델이 생성한 벡터 값과 문장 간의 유사성을 검토하고 확인할 수 있습니다. 또한, 인코딩 형식 및 차원과 같은 매개변수를 조정하여 의도된 환경에 최적의 벡터 형태를 탐색할 수 있습니다.
사용 방법
-
임베딩 유형 선택
-
하나 또는 여러 문장을 입력합니다 (여러 문장은 줄 바꿈으로 구분)
-
Generate Embeddings 클릭
-
벡터 값 및 유사성 점수 확인
모델 매개변수 조정
임베딩 벡터 생성을 위한 매개변수를 사용자 정의할 수 있습니다.
| 매개변수 | 옵션/범위 | 설명 | 권장 값 |
|---|---|---|---|
| Encoding Format | float / base64 | 벡터 인코딩 형식 | float (기본값) |
| Dimensions | 512, 1024, 1536, 3072 | 벡터 차원 수 (모델 의존) | 모델 기본값 |
| User Identifier | 텍스트 (선택 사항) | 요청 추적/모니터링을 위한 식별자 | - |
인코딩 형식 비교
| 형식 | 특성 | 사용 사례 |
|---|---|---|
| Float | 숫자 배열, 직관적 | 개발/디버깅, 수동 계산 |
| Base64 | 압축된 문자열, 효율적 | 저장/전송, API 응답 |
Example Use Cases:
- Semantic Search: 유사한 의미의 문서 찾기
- Similarity-Based Recommendations: 콘텐츠 추천 시스템
- Document Clustering: 유사한 문서 그룹화
- Duplicate Detection: 유사한 콘텐츠의 문서 식별
- Dimensions: 일부 모델만 차원 사용자 지정을 지원
- Encoding Format: API 응답 크기에 영향 (Base64는 대용량 데이터에 더 효율적임)
사용자 정의 API 테스트
사용자 정의 API는 HTTP 요청을 직접 구성하고 전송할 수 있는 고급 기능입니다. 이는 표준 모델 유형에 포함되지 않은 전문 API 또는 사용자 정의 엔드포인트를 테스트하는 데 특히 유용합니다.
컨텍스트
사용자 정의 API 테스트는 RESTful 아키텍처와 HTTP 프로토콜을 기반으로 합니다. 사용자는 HTTP 메서드(GET, POST 등), 헤더 및 본문을 수동으로 설정하여 모델 서버의 엔드포인트에 요청을 전송한 다음, 상태 코드와 응답 데이터를 분석하여 API 작동이 올바른지 확인합니다.
목적
사용자가 API 개발 중 엔드포인트 동작 및 응답 처리를 확인하여 요청/응답 구조를 신속하게 검증하고 디버깅할 수 있도록 합니다. 복잡한 요청은 GUI에서 쉽게 구성할 수 있습니다.
사용 방법
-
사용자 정의 API 유형 선택
-
미리 정의된 엔드포인트를 선택하거나 사용자 정의 URL 입력
-
요청 구성(필요에 따라 헤더, 본문 및 파일 설정)
-
Send Request을 클릭하고 결과를 검토하세요.
지원되는 엔드포인트
커스텀 API는 8개의 미리 정의된 엔드포인트와 커스텀 엔드포인트를 지원합니다.
| 엔드포인트 | 설명 | HTTP 메서드 | 본문 유형 |
|---|---|---|---|
| Chat Completions | 대화형 모델 API | POST | JSON |
| Text Completions | 텍스트 자동 완성 API | POST | JSON |
| Embeddings | 문장 벡터 변환 | POST | JSON |
| Image Generations | 텍스트-이미지 생성 API | POST | JSON |
| Audio Speech (TTS) | 텍스트-음성 변환 API | POST | JSON |
| Audio Transcriptions (STT) | 음성-텍스트 변환 API | POST | Form Data |
| Audio Translations | 음성 번역 API | POST | Form Data |
| Custom... | 사용자 정의 엔드포인트 | 선택 가능 | 선택 가능 |
요청 구성
Selecting HTTP Method| 메서드 | 설명 | 일반적인 사용 사례 |
|---|---|---|
| GET | 데이터 검색 | 모델 정보 확인, 상태 보기 |
| POST | 데이터 생성/처리 | 모델 추론, 파일 업로드 |
| PUT | 모든 데이터 업데이트 | 설정 업데이트 |
| DELETE | 데이터 삭제 | 리소스 제거 |
| PATCH | 부분 데이터 업데이트 | 특정 설정 변경 |
| HEAD | 헤더만 보기 | 상태 확인 |
| OPTIONS | 지원되는 메서드 확인 | CORS 사전 요청 |
- Automatic headers: Authorization, Content-Type, 및 X-Model-Name은 기본적으로 추가됩니다.
- Custom headers: 필요에 따라 추가 헤더를 추가하세요.
- API key management: Authorization 헤더에서 API 키를 쉽게 복사하세요.
| Body Type | Description | Use Case |
|---|---|---|
| None | 요청 본문 없음 | GET, HEAD, OPTIONS 요청 |
| JSON | JSON 형식의 데이터 | 대부분의 API 요청 |
| Form Data | Form 데이터 | 파일 업로드, 양식 제출 |
| Text | 일반 텍스트 | 간단한 텍스트 전송 |
- Supported formats: 모든 파일 유형
- Size limits: 브라우저 및 서버 설정에 따른 제한
- Multiple files: 여러 파일을 한 번에 업로드
응답 처리
Response Modes| Mode | Description | Use Case |
|---|---|---|
| Formatted | 구조화된 JSON 트리 뷰 | 복잡한 JSON 응답 분석 |
| Raw | 원본 텍스트 형식 | 간단한 응답 보기 |
- Auto-expand: 모든 노드는 기본적으로 확장되어 있습니다.
- Copy individual values: 특정 노드에서 데이터를 쉽게 복사
- Color coding by type: 문자열(초록색), 숫자(파란색), 불리언(보라색) 등
- Nested structures: 객체와 배열이 시각적으로 표현됨
| Item | Description | Display Format |
|---|---|---|
| HTTP Status | 응답 상태 코드 | 200, 404, 500 등 |
| Duration | 처리 시간 | 1.23초, 500밀리초 등 |
| Size | 응답 크기 | 1.2KB, 5.4MB 등 |
| Timestamp | 요청 시간 | 2024-01-15 14:30:25 |
고급 기능
cURL Command Generation- Auto-generation: 요청을 cURL 명령으로 변환할 수 있습니다.
- Clipboard copy: 생성된 cURL 명령을 한 번의 클릭으로 복사
- Real-time URL display: 구성하는 동안 최종 요청 URL을 확인
- URL copy: 완료된 URL을 클립보드에 복사
- Auto-injection: API 키가 자동으로 Authorization 헤더에 추가됩니다.
- Key copy: API 키만 따로 복사
- Development: API를 개발하는 동안 요청 및 응답 형식을 빠르게 확인
- Debugging: 예상치 못한 응답을 자세히 분석
- Documentation: 생성된 cURL 명령어로 API 사용 문서화
- Testing: 다양한 매개변수 조합에 따른 API 동작 검증
- API Key Security: API 키가 노출되지 않도록 주의하세요
- Request Limits: API 서버의 속도 제한을 주의하세요
- File Size: 대용량 파일 업로드를 위한 네트워크 상태를 확인하세요
- Endpoint Accuracy: 잘못된 엔드포인트는 404 오류를 초래할 수 있습니다
모델 사용 – 내부 연결 엔드포인트
내부 추론 서비스 엔드포인트는 GPU 클러스터 내에서만 사용할 수 있는 URL입니다. 배포된 모델에 따라 서로 다른 API 주소 패턴과 요청 형식을 가질 수 있으며, 클러스터 외부에서는 사용할 수 없습니다.
컨텍스트
모델이 배포된 동일 클러스터 내에서 실행 중인 다른 작업 부하로부터 빠르고 안전한 모델 호출을 가능하게 합니다 (예: 훈련 서버, 배치 서버).
목적
외부 노출 없이 모델 추론을 수행하여 클러스터 내 네트워크 지연을 최소화하고 보안을 보장합니다.
주요 기능
- GPU 클러스터 내에서만 사용할 수 있는 내부 추론 서비스 엔드포인트입니다.
- 배포된 모델 유형 및 런타임에 따라 여러 엔드포인트 패턴을 지원합니다.
- 별도의 API 키 인증이 필요하지 않습니다.
확인 방법
홈 페이지 또는 왼쪽 탐색 메뉴에서 모델 제공 > 추론 서비스 목록으로 이동할 때 표시되는 모델 목록의 엔드포인트 필드입니다.
주의 사항
- 내부 엔드포인트의 경우, 엔드포인트 URL 및 요청 형식은 배포 런타임, 모델 유형 및 구성에 따라 달라질 수 있습니다.
- GPU 클러스터 내에서만 사용할 수 있습니다.
모델 사용 – 외부 연결 엔드포인트
Playground에 표시된 외부 연결 엔드포인트는 모델이 배포된 클러스터 외부에서 접근 가능한 URL입니다. 이 엔드포인트는 OpenAI API와 호환되는 모델에 대해서만 작동하는 것이 보장됩니다.
컨텍스트
클러스터 외부의 웹 서비스, 모바일 앱 또는 개발 환경에서 모델 추론 API에 접근해야 할 때 사용됩니다.
목적
클러스터 외부에서 모델 API를 호출하여 외부 서비스와 통합하고, Playground와 동일한 방식으로 OpenAI 호환 API 통신을 수행하기 위함입니다.
주요 기능
- Playground를 통해 발견할 수 있고 클러스터 외부에서 접근 가능한 외부 액세스 URL입니다.
- OpenAI API와 호환되는 모델에 대해서만 작동하는 것이 보장됩니다.
- 접근을 위해 API 키가 필수입니다.
확인 방법
- Endpoint: 모델 서빙 > 추론 서비스 목록 > 작업에서 Playground를 열고, 사용자 정의 API 요청을 선택한 후 요청 구성에 표시된 엔드포인트를 확인합니다.
- API Key: 사용자 정의 API 요청 화면에서 헤더에서 인증 옆의 복사 버튼을 클릭합니다.
주의사항
- 외부 연결 엔드포인트를 사용할 때는 요청 본문에 배포된 모델을 구분하기 위해 모델 이름을 지정해야 합니다(OpenAI API 사양에 따라).
- OpenAI API 사양을 따르기 때문에 외부 연결 주소는 OpenAI에서 사용할 수 없는 엔드포인트를 지원하지 않습니다.