Inference Service List

Màn hình Inference Service List cho phép các quản trị viên hệ thống xem, lọc và quản lý tất cả các Dịch vụ Suy diễn trong hệ thống.

Truy cập Màn hình Inference Service List

Từ Bảng điều khiển Quản trị Hệ thống, nhấp vào Model trong điều hướng chính. Sau đó, trong điều hướng bên trái, chọn Inference Service List..

Bạn có thể sử dụng chức năng Search để nhanh chóng tìm mô hình cụ thể. Việc tìm kiếm có thể được thực hiện dựa trên các bộ lọc dưới đây:

Name: Lọc theo tên Triển khai.
Status: Lọc theo trạng thái của mô hình (ví dụ: Đang chạy, Chưa sẵn sàng, Đã dừng)
Namespace: Lọc theo không gian tên.
Cluster: Lọc theo cụm.

Hệ thống tự động cập nhật danh sách mô hình theo thời gian thực khi người dùng chọn tiêu chí hoặc nhập giá trị.

Người dùng có thể xem Danh sách Mô hình Đã triển khai với các thông tin sau:

Deployment name
Cluster: Tên của cụm
Namespace: Không gian tên cho việc triển khai
Deployed model: Tên của mô hình đã triển khai
- Orange: Tên dự án
- Blue: Phiên bản (thẻ) của mô hình
Framework: Khung phục vụ
Status: Trạng thái của mô hình (ví dụ: Đang chạy, Chưa sẵn sàng, Đã dừng, Không xác định)
Resources:
- Blue: Thông tin CPU
- Purple: Thông tin RAM
- Green/ Orange/ Outline: Tên của hồ sơ tài nguyên GPU
  - Xanh: GPU đầy đủ
  - Cam: MIG
  - Đường viền: Không có GPU
- Light cyan: Số lượng hồ sơ tài nguyên GPU
- Gray: Tên Hồ bơi
Endpoint: URL của mô hình
Created at: Thời gian tạo triển khai

Cho phép người dùng thử nghiệm các mô hình đã triển khai trong thời gian thực và xác minh hiệu suất của chúng.

Khi nhấp vào, người dùng sẽ được chuyển đến màn hình Chi tiết Triển khai.

Khi nhấp vào, người dùng sẽ được chuyển đến màn hình Chi tiết Triển khai.