Test Models with Playground
Playground là một môi trường tương tác cho phép bạn kiểm tra các mô hình đã triển khai trong thời gian thực và xác minh hiệu suất của chúng.
Bạn có thể chạy các bài kiểm tra trực tiếp từ trình duyệt của mình mà không cần viết mã.
- Theo mặc định, nó hỗ trợ OpenAI Compatible API.
- Đối với các định dạng khác, bạn có thể sử dụng tính năng Custom API Request để thực hiện các bài kiểm tra.
Bắt đầu
Trong danh sách các mô hình đã triển khai, nhấp vào menu Hành động ở bên phải và chọn Playground.
- Playground chỉ hỗ trợ các mô hình đã được triển khai.
- Nếu mô hình của bạn chưa được triển khai, vui lòng hoàn thành quy trình triển khai bằng cách làm theo hướng dẫn người dùng đến Deploy a Model to a Cluster.
- Bạn chỉ có thể kiểm tra các mô hình trong Playground đã được triển khai hoàn toàn.
- Nếu Status trong Inference Service List không ở trạng thái
Running, nút Playground sẽ bị vô hiệu hóa.
Các tính năng chính của Playground
- Automatic Registration: Khi bạn chọn một loại mô hình, nó sẽ tự động được đăng ký trong Playground.
- Instant Testing: Kiểm tra phản hồi của mô hình mà không cần viết mã.
- Real-Time Responses: Đối với các mô hình chat và văn bản, phản hồi có thể được xem qua streaming.
- Supports Multiple Types: Tương thích với các mô hình Chat, Text, Embedding, Image, Audio, and Custom API.
- Parameter Adjustment: Bạn có thể cấu hình các cài đặt như Temperature, Max Tokens, và nhiều hơn nữa.
Quy trình kiểm tra
Bước 1: Chọn một mô hình
- Chọn mô hình bạn muốn kiểm tra từ Inference Service List.
- Trên trang chi tiết mô hình, nhấp vào Open in Playground.
Bước 2: Đăng ký mô hình
-
Mô hình sẽ được tự động đăng ký thông qua quy trình Model Registration.
-
Khi việc đăng ký hoàn tất, hãy nhấp vào Test Model.
-
Nếu bạn muốn hủy đăng ký, hãy nhấp vào Disconnect thay vào đó.
-
Bạn có thể nhấp vào “Đăng ký lại” để đăng ký mô hình một lần nữa.
- Nếu mô hình không hoạt động đúng cách, việc đăng ký có thể thất bại.
- Nếu mô hình đã được đăng ký, nút Test Model sẽ xuất hiện ngay lập tức.
Bước 3: Chọn Loại Mô Hình
Playground hỗ trợ bốn loại mô hình sau:
| Typea | Description |
|---|---|
| Chat | Mô hình hội thoại |
| Hoàn thành văn bản | Tự động hoàn thành văn bản |
| Nhúng | Chuyển đổi câu thành vector |
| API tùy chỉnh | Yêu cầu và kiểm tra API tùy chỉnh |
Nhấp vào loại phù hợp với mô hình của bạn và tiếp tục với bài kiểm tra.
Nếu bạn chọn một loại không phù hợp với mô hình của bạn, nó sẽ không phản hồi đúng cách.
Ví dụ: Sử dụng loại Chat cho mô hình Stable Diffusion → không chính xác
Bước 4: Điều Chỉnh Tùy Chọn Mô Hình (Tùy chọn)
Nếu cần, bạn có thể chỉnh sửa cài đặt và tham số của mô hình.
Không phải tất cả các mô hình đều hỗ trợ mọi cài đặt có sẵn.
Kiểm Tra Mô Hình Chat
Kiểm tra mô hình trò chuyện được sử dụng để xác thực các mô hình có cấu trúc hội thoại như GPT và LLaMA. Các mô hình trò chuyện được chuyên biệt hóa cho các kịch bản hội thoại nhiều lượt, ghi nhớ các trao đổi trước đó như ngữ cảnh và tạo ra các phản hồi phù hợp và nhất quán nhất cho các câu hỏi hiện tại của người dùng. Người dùng cũng có thể gán các vai trò hoặc hành vi cụ thể cho mô hình thông qua 'System Prompt'.
Ngữ cảnh
Các mô hình trò chuyện sử dụng lịch sử hội thoại làm ngữ cảnh và dựa vào Cơ chế Chú ý và System Prompt để tạo ra các phản hồi phù hợp và duy trì một nhân cách nhất quán.
Mục đích
Cho phép người dùng kiểm tra mô hình thông qua giao diện web để đánh giá độ chính xác, tính nhất quán, sự sáng tạo và để xác định vai trò của AI bằng cách sử dụng System Prompt.
Cách sử dụng
- Chọn loại mô hình trò chuyện và mở giao diện
- Nhập tin nhắn của bạn và gửi
- Nhấn Enter hoặc nhấp vào nút gửi
- Xem phản hồi của mô hình
Điều chỉnh tham số mô hình
Bằng cách nhấp vào nút cài đặt ở góc trên bên trái, bạn có thể tinh chỉnh các tham số khác nhau để kiểm soát các phản hồi của mô hình:
| Parameter | Range/Options | Mô tả | Recommended Value |
|---|---|---|---|
| System Prompt | Văn bản | Hướng dẫn xác định vai trò và hành vi của AI | - |
| Temperature | 0.0~2.0 | Kiểm soát sự sáng tạo và tính nhất quán (thấp hơn = nhất quán hơn) | 0.7 (trò chuyện chung) |
| Max Tokens | 100~20,000 | Số lượng tối đa các token để tạo ra (giới hạn độ dài) | 4,000 (độ dài trung bình) |
| Top P | 0.0~1.0 | Kiểm soát sự đa dạng (sử dụng với Nhiệt độ) | 0.9~1.0 |
| Frequency Penalty | -2.0~2.0 | Khuyến khích tránh sử dụng từ/cụm từ lặp lại | 0.1~0.3 |
| Presence Penalty | -2.0~2.0 | Khuyến khích giới thiệu các chủ đề mới | 0.0~0.2 |
| Stop Sequences | Mảng văn bản | Dừng việc tạo ra tại văn bản đã chỉ định (có thể đặt nhiều) | - |
| Seed | Số (tùy chọn) | Giá trị hạt giống cho kết quả có thể tái tạo | - |
| Metadata | Cặp khóa-giá trị | Thông tin bổ sung cho việc ghi log/phân tích (tùy chọn) | - |
- Max Tokens: Hãy cẩn thận không vượt quá giới hạn token tối đa cho mô hình của bạn.
- Stop Sequences: Nếu gặp bất kỳ chuỗi dừng nào, việc tạo ra sẽ dừng lại.
- Seed: Sử dụng cùng một đầu vào và hạt giống sẽ tạo ra kết quả có thể lặp lại.
Kiểm Tra Hoàn Thành Văn Bản
Hoàn thành văn bản được sử dụng để kiểm tra các mô hình tự động hoàn thành câu sau khi một lời nhắc được đưa ra. Các mô hình hoàn thành văn bản phân tích các mẫu và ngữ cảnh của văn bản đầu vào do người dùng cung cấp (lời nhắc) và liên tục tạo ra các từ và cụm từ tiếp theo có khả năng xảy ra nhất. Thông qua quá trình này, mô hình có thể tự động hoàn thành các câu, đoạn văn, hoặc thậm chí là các văn bản dài.
Ngữ Cảnh
Các mô hình hoàn thành văn bản dựa trên việc tạo ra tự động hồi quy, tạo ra token tiếp theo theo thứ tự bằng cách sử dụng phân phối xác suất token được mô hình dự đoán. Trong quá trình này, các tham số can thiệp vào việc lấy mẫu token để kiểm soát sự đa dạng của phản hồi—đây là cốt lõi lý thuyết.
Mục Đích
Người dùng nhập một lời nhắc để tự động tạo ra các câu tiếp theo và xác minh chất lượng của văn bản được tạo ra. Cụ thể, tham số Suffix có thể được sử dụng để thêm một hậu tố sau văn bản được tạo ra, cho phép các bài kiểm tra hướng dẫn việc hoàn thành văn bản theo một hướng cụ thể.
Cách Sử Dụng
-
Chọn loại Hoàn thành Văn bản.
-
Nhập lời nhắc của bạn.
-
Nhấp vào Generate và mô hình sẽ tự động tạo ra phần tiếp theo của lời nhắc của bạn.
-
Bạn có thể sao chép kết quả hoặc tái tạo khi cần.
Điều chỉnh Tham số Mô hình
Bằng cách nhấp vào nút cài đặt ở góc trên bên trái, bạn có thể tinh chỉnh các tham số phản hồi cho mô hình Text Completion.
| Parameter | Range/Options | Mô tả | Recommended Value |
|---|---|---|---|
| Temperature | 0.0~2.0 | Kiểm soát sự sáng tạo và tính nhất quán | 1.0 (sáng tạo) |
| Max Tokens | 100~4,000 | Số lượng tối đa các token để tạo ra | 1,000 (độ dài trung bình) |
| Top P | 0.0~1.0 | Kiểm soát sự đa dạng (sử dụng với Nhiệt độ) | 1.0 |
| Frequency Penalty | -2.0~2.0 | Khuyến khích tránh lặp lại từ/cụm từ | 0.0~0.3 |
| Presence Penalty | -2.0~2.0 | Khuyến khích giới thiệu các chủ đề mới | 0.0~0.2 |
| Suffix | Văn bản (tùy chọn) | Thêm một hậu tố vào văn bản được tạo ra | - |
| Stop Sequences | Mảng văn bản | Dừng việc tạo ra tại văn bản đã chỉ định | - |
| Stream | đúng/sai | Bật phát trực tiếp thời gian thực cho văn bản dài | đúng (được khuyến nghị) |
Ví dụ Sử dụng Hậu tố
| Trường hợp sử dụng | Ví dụ Hậu tố | Tác động |
|---|---|---|
| Yêu cầu tóm tắt | "Tóm lại:" | Hướng dẫn mô hình tạo ra một tóm tắt |
| Kết luận | "Cuối cùng," | Kết thúc văn bản với một kết luận hợp lý |
| Định dạng Cụ thể | "### Các Điểm Chính:" | Tạo ra văn bản theo định dạng có cấu trúc |
- Stop Sequences: Sử dụng
\\n\\n,###, hoặcendđể tạo ra các điểm dừng tự nhiên. - Stream: Bật phát trực tiếp để xem văn bản dài khi nó được tạo ra theo thời gian thực.
- Suffix: Sử dụng một hậu tố để hướng dẫn hướng hoàn thành của mô hình.
Kiểm Tra Tạo Nhúng
Nhúng được sử dụng để kiểm tra các mô hình chuyển đổi văn bản thành các giá trị vector có ý nghĩa. Mô hình chuyển đổi văn bản đầu vào thành một mảng số trong không gian nhiều chiều, nơi các giá trị vector này đại diện cho các đặc điểm ngữ nghĩa của văn bản. Các vector càng giống nhau, các văn bản gốc càng giống nhau về ý nghĩa.
Bối Cảnh
Nhúng dựa trên lý thuyết về đại diện phân tán, chuyển đổi ý nghĩa của từ hoặc câu thành các vector số trong một không gian nhiều chiều. Trong không gian này, các phép đo độ tương đồng như “Độ Tương Đồng Cosine” được sử dụng để tính toán độ tương đồng giữa các vector, chỉ ra sự tương đồng ngữ nghĩa giữa các văn bản gốc.
Mục Đích
Bằng cách nhập một hoặc nhiều câu, người dùng có thể kiểm tra và xác minh các giá trị vector được tạo ra bởi mô hình và sự tương đồng giữa các câu. Ngoài ra, các tham số như Định Dạng Mã Hóa và Kích Thước có thể được điều chỉnh để khám phá hình thức vector tối ưu cho môi trường dự kiến.
Cách Sử Dụng
-
Chọn loại Nhúng
-
Nhập một hoặc nhiều câu (tách các câu bằng cách xuống dòng)
-
Nhấp vào Generate Embeddings
-
Kiểm tra các giá trị vector và điểm tương đồng
Điều Chỉnh Tham Số Mô Hình
Bạn có thể tùy chỉnh các tham số cho việc tạo vector nhúng.
| Tham Số | Tùy Chọn/Phạm Vi | Mô Tả | Giá Trị Đề Xuất |
|---|---|---|---|
| Encoding Format | float / base64 | Định dạng mã hóa vector | float (mặc định) |
| Dimensions | 512, 1024, 1536, 3072 | Số lượng chiều vector (phụ thuộc vào mô hình) | Mặc định của mô hình |
| User Identifier | Văn bản (tùy chọn) | Định danh cho theo dõi/giám sát yêu cầu | - |
So sánh định dạng mã hóa
| Định dạng | Đặc điểm | Trường hợp sử dụng |
|---|---|---|
| Float | Mảng số, trực quan | Phát triển/gỡ lỗi, tính toán thủ công |
| Base64 | Chuỗi nén, hiệu quả | Lưu trữ/truyền tải, phản hồi API |
Example Use Cases:
- Semantic Search: Tìm tài liệu có ý nghĩa tương tự
- Similarity-Based Recommendations: Hệ thống gợi ý nội dung
- Document Clustering: Nhóm các tài liệu tương tự lại với nhau
- Duplicate Detection: Xác định tài liệu có nội dung tương tự
- Dimensions: Chỉ một số mô hình hỗ trợ tùy chỉnh kích thước
- Encoding Format: Ảnh hưởng đến kích thước phản hồi API (Base64 hiệu quả hơn cho dữ liệu lớn)
Kiểm tra API tùy chỉnh
API tùy chỉnh là một tính năng nâng cao cho phép bạn cấu hình và gửi các yêu cầu HTTP trực tiếp. Nó đặc biệt hữu ích cho việc kiểm tra các API chuyên biệt hoặc các điểm cuối tùy chỉnh không được bao phủ bởi các loại mô hình tiêu chuẩn.
Bối cảnh
Kiểm tra API tùy chỉnh dựa trên kiến trúc RESTful và giao thức HTTP. Người dùng thiết lập thủ công các phương thức HTTP (GET, POST, v.v.), tiêu đề và nội dung để gửi yêu cầu đến điểm cuối của máy chủ mô hình, sau đó phân tích mã trạng thái và dữ liệu phản hồi để xác minh hoạt động chính xác của API.
Mục đích
Nó cho phép người dùng nhanh chóng xác minh và gỡ lỗi cấu trúc yêu cầu/phản hồi trong quá trình phát triển API bằng cách kiểm tra hành vi điểm cuối và xử lý phản hồi trong môi trường API REST. Các yêu cầu phức tạp có thể dễ dàng được xây dựng trong một GUI.
Cách sử dụng
-
Chọn loại API tùy chỉnh
-
Chọn một điểm cuối đã định nghĩa trước hoặc nhập một URL tùy chỉnh
-
Cấu hình yêu cầu của bạn (cài đặt tiêu đề, nội dung và tệp theo nhu cầu)
-
Nhấp vào Send Request và xem lại kết quả
Các Điểm Cuối Hỗ Trợ
API tùy chỉnh hỗ trợ 8 điểm cuối được định nghĩa trước cũng như các điểm cuối tùy chỉnh.
| Điểm Cuối | Mô Tả | Phương Thức HTTP | Loại Nội Dung |
|---|---|---|---|
| Chat Completions | API mô hình hội thoại | POST | JSON |
| Text Completions | API tự động hoàn thành văn bản | POST | JSON |
| Embeddings | Biến đổi vector câu | POST | JSON |
| Image Generations | API tạo hình ảnh từ văn bản | POST | JSON |
| Audio Speech (TTS) | API chuyển đổi văn bản thành giọng nói | POST | JSON |
| Audio Transcriptions (STT) | API chuyển đổi giọng nói thành văn bản | POST | Dữ liệu Form |
| Audio Translations | API dịch giọng nói | POST | Dữ liệu Form |
| Custom... | Điểm cuối do người dùng định nghĩa | Có thể chọn | Có thể chọn |
Cấu Hình Yêu Cầu
Selecting HTTP Method| Phương Thức | Mô Tả | Trường Hợp Sử Dụng Thông Thường |
|---|---|---|
| GET | Lấy dữ liệu | Kiểm tra thông tin mô hình, xem trạng thái |
| POST | Tạo/xử lý dữ liệu | Suy diễn mô hình, tải lên tệp |
| PUT | Cập nhật tất cả dữ liệu | Cập nhật cài đặt |
| DELETE | Xóa dữ liệu | Xóa tài nguyên |
| PATCH | Cập nhật dữ liệu một phần | Thay đổi cài đặt cụ thể |
| HEAD | Chỉ xem tiêu đề | Kiểm tra trạng thái |
| OPTIONS | Kiểm tra các phương thức được hỗ trợ | Yêu cầu CORS preflight |
- Automatic headers: Authorization, Content-Type, và X-Model-Name được thêm vào mặc định.
- Custom headers: Thêm các tiêu đề bổ sung khi cần.
- API key management: Dễ dàng sao chép khóa API từ tiêu đề Authorization.
| Body Type | Description | Use Case |
|---|---|---|
| None | Không có nội dung yêu cầu | Yêu cầu GET, HEAD, OPTIONS |
| JSON | Dữ liệu định dạng JSON | Hầu hết các yêu cầu API |
| Form Data | Dữ liệu Form | Tải lên tệp, gửi biểu mẫu |
| Text | Văn bản thuần | Truyền tải văn bản đơn giản |
- Supported formats: Tất cả các loại tệp
- Size limits: Giới hạn dựa trên cài đặt trình duyệt và máy chủ
- Multiple files: Tải lên nhiều tệp cùng một lúc
Xử lý Phản hồi
Response Modes| Mode | Description | Use Case |
|---|---|---|
| Formatted | Cây JSON có cấu trúc | Phân tích các phản hồi JSON phức tạp |
| Raw | Dạng văn bản gốc | Xem các phản hồi đơn giản |
- Auto-expand: Tất cả các nút đều được mở rộng theo mặc định
- Copy individual values: Dễ dàng sao chép dữ liệu từ các nút cụ thể
- Color coding by type: Chuỗi (màu xanh lá), số (màu xanh dương), boolean (màu tím), v.v.
- Nested structures: Các đối tượng và mảng được thể hiện trực quan
| Item | Description | Display Format |
|---|---|---|
| HTTP Status | Mã trạng thái phản hồi | 200, 404, 500, v.v. |
| Duration | Thời gian xử lý | 1.23s, 500ms, v.v. |
| Size | Kích thước phản hồi | 1.2KB, 5.4MB, v.v. |
| Timestamp | Thời gian yêu cầu | 2024-01-15 14:30:25 |
Tính năng Nâng cao
cURL Command Generation- Auto-generation: Các yêu cầu có thể được chuyển đổi thành lệnh cURL
- Clipboard copy: Sao chép lệnh cURL đã tạo chỉ với một cú nhấp chuột
- Real-time URL display: Xem URL yêu cầu cuối cùng khi bạn cấu hình
- URL copy: Sao chép URL hoàn chỉnh vào clipboard của bạn
- Auto-injection: Khóa API được tự động thêm vào tiêu đề Authorization
- Key copy: Sao chép riêng biệt chỉ khóa API
- Development: Xác minh nhanh chóng định dạng yêu cầu và phản hồi trong khi phát triển API
- Debugging: Phân tích các phản hồi không mong đợi một cách chi tiết
- Documentation: Tài liệu sử dụng API với các lệnh cURL được tạo ra
- Testing: Xác thực hành vi API qua các tổ hợp tham số khác nhau
- API Key Security: Hãy cẩn thận không để lộ khóa API của bạn
- Request Limits: Theo dõi giới hạn tần suất của máy chủ API
- File Size: Kiểm tra trạng thái mạng cho các tệp tải lên lớn
- Endpoint Accuracy: Các điểm cuối không chính xác có thể dẫn đến lỗi 404
Sử dụng Mô hình – Điểm kết nối Nội bộ
Điểm kết nối Dịch vụ Suy diễn nội bộ là một URL chỉ có thể được sử dụng trong Cụm GPU. Tùy thuộc vào mô hình đã triển khai, nó có thể có các mẫu địa chỉ API và định dạng yêu cầu khác nhau, và không thể được sử dụng từ bên ngoài cụm.
Bối cảnh
Để cho phép gọi mô hình nhanh chóng và an toàn từ các khối công việc khác đang chạy trong cùng một cụm nơi mô hình được triển khai (ví dụ: máy chủ đào tạo, máy chủ theo lô).
Mục đích
Giảm thiểu độ trễ mạng trong cụm và đảm bảo an ninh bằng cách thực hiện suy diễn mô hình mà không có sự tiếp xúc bên ngoài.
Chức năng chính
- Một điểm kết nối Dịch vụ Suy diễn nội bộ chỉ có thể sử dụng bên trong cụm GPU.
- Hỗ trợ nhiều mẫu điểm kết nối tùy thuộc vào loại mô hình đã triển khai và thời gian chạy.
- Không yêu cầu xác thực khóa API riêng biệt.
Cách kiểm tra
Trường Điểm kết nối trong danh sách mô hình hiển thị khi bạn điều hướng đến Dịch vụ Mô hình > Danh sách Dịch vụ Suy diễn từ trang chính hoặc menu điều hướng bên trái.
Biện pháp phòng ngừa
- Đối với các điểm kết nối nội bộ, URL điểm kết nối và định dạng yêu cầu có thể thay đổi tùy thuộc vào thời gian chạy triển khai, loại mô hình và cấu hình.
- Chỉ có thể sử dụng trong cụm GPU.
Sử Dụng Mô Hình – Điểm Kết Nối Ngoại Tuyến
Điểm kết nối ngoại tuyến được hiển thị trong Playground là một URL có thể truy cập từ bên ngoài cụm nơi mô hình được triển khai. Điểm kết nối này được đảm bảo chỉ hoạt động cho các mô hình tương thích với API OpenAI.
Bối Cảnh
Được sử dụng khi bạn cần truy cập API suy diễn mô hình từ các dịch vụ web bên ngoài, ứng dụng di động hoặc môi trường phát triển bên ngoài cụm.
Mục Đích
Để gọi API mô hình từ bên ngoài cụm nhằm tích hợp với các dịch vụ bên ngoài, và thực hiện giao tiếp API tương thích với OpenAI theo cách giống như trong Playground.
Chức Năng Chính
- Một URL truy cập ngoại tuyến có thể phát hiện qua Playground và có thể truy cập từ bên ngoài cụm.
- Được đảm bảo chỉ hoạt động cho các mô hình tương thích với API OpenAI.
- Một khóa API là bắt buộc để truy cập.
Cách Kiểm Tra
- Endpoint: Mở Playground từ Model Serving > Danh Sách Dịch Vụ Suy Diễn > Hành Động, chọn Yêu Cầu API Tùy Chỉnh, sau đó kiểm tra điểm kết nối được hiển thị trong Cấu Hình Yêu Cầu.
- API Key: Trên màn hình Yêu Cầu API Tùy Chỉnh, trong Headers, nhấp vào nút sao chép bên cạnh Authorization.
Biện Pháp Cảnh Báo
- Khi sử dụng điểm kết nối ngoại tuyến, bạn phải chỉ định tên mô hình trong thân yêu cầu để phân biệt các mô hình đã triển khai (theo thông số kỹ thuật API OpenAI).
- Bởi vì nó tuân theo thông số kỹ thuật API OpenAI, địa chỉ kết nối ngoại tuyến không hỗ trợ các điểm kết nối không có sẵn trong OpenAI.