Chuyển tới nội dung chính

Log Lifecycle

Cloud ZCP cung cấp khả năng ghi nhật ký toàn diện để theo dõi và quản lý các ứng dụng của bạn cũng như nền tảng. Hệ thống ghi nhật ký dựa trên OpenSearch Stack (OpenSearch, Fluentd, OpenSearch DashBoards). Hiểu về vòng đời nhật ký liên quan đến cách mà nhật ký được thu thập, xử lý, lưu trữ, truy vấn và quản lý theo thời gian.

Nền tảng quản lý nhiều loại nhật ký, bao gồm Application Logs và Audit Logs.

Thu Thập Nhật Ký​

Việc thu thập nhật ký trong Cloud ZCP liên quan đến việc thu thập nhật ký từ nhiều nguồn khác nhau trên nền tảng:

  • Application Logs: Các thành phần Fluent-bit được cài đặt dưới dạng Daemonsets trên mỗi nút của Cụm Dữ Liệu để thu thập nhật ký từ các container đang chạy. Fluent-bit thu thập nhật ký từ các container ứng dụng của người dùng và tất cả các thành phần hệ thống đang chạy trên mỗi nút.
  • Audit Logs: Nhật ký Kiểm Toán quản lý ba loại nhật ký: Console, Kubernetes và Keycloak. Bạn có thể cấu hình các cài đặt để thu thập những nhật ký này. Đối với nhật ký Kubernetes, bạn cần chọn các cụm được quản lý và cấu hình cài đặt cho từng cụm một cách riêng biệt.

Xử Lý Nhật Ký​

Sau khi được thu thập, nhật ký sẽ trải qua quá trình xử lý trước khi lưu trữ:

  • Data Plane Processing: FluentD được cài đặt trên các Cụm Dữ Liệu để xử lý và gửi các nhật ký đã thu thập đến Cụm Điều Khiển. FluentD này thực hiện xử lý sơ bộ.
  • Control Plane Processing: Một FluentD bổ sung được triển khai trong Cụm Điều Khiển để tổ chức đường ống nhật ký giữa Cụm Dữ Liệu và Cụm Điều Khiển. FluentD này thực hiện xử lý thứ cấp các nhật ký được chuyển từ FluentD trong Cụm Dữ Liệu trước khi chúng được lưu trữ trong Opensearch.
  • Integrated Management: OpenSearch được áp dụng để quản lý nhật ký của tất cả các Cluster Data Plane đã đăng ký trong Dịch vụ Quản lý Container một cách tích hợp.

Lưu trữ Nhật ký​

Các nhật ký đã xử lý được tập trung để lưu trữ và quản lý:

  • Centralized Storage: Tất cả các nhật ký được lưu trữ trong kho lưu trữ trung tâm Opensearch trong Cluster Control Plane.
  • Deployment: Opensearch được triển khai trên ba nút làm việc dành riêng cho việc ghi nhật ký trong Cluster Control Plane để cung cấp tính khả dụng cao.
  • Integrated Management: OpenSearch được áp dụng để quản lý nhật ký của tất cả các Cluster Data Plane đã đăng ký trong Dịch vụ Quản lý Container một cách tích hợp.
  • Indexing Strategy: Các chỉ mục lưu trữ nhật ký là created per project. Các nhật ký được truyền từ Fluent-bit trong Data Plane được lập chỉ mục theo định dạng [Realm].[Project-Name].[Cluster-Name]-%Y.%m.%d. Định dạng lập chỉ mục này hỗ trợ việc cô lập và lưu trữ nhật ký của từng dự án trong một chỉ mục riêng biệt, hỗ trợ tính năng bảo mật cho dữ liệu nhật ký đa dự án.

Truy vấn và Hiển thị Nhật ký​

Việc truy cập và phân tích các nhật ký đã lưu trữ chủ yếu được thực hiện thông qua OpenSearch Dashboards, mà bạn có thể truy cập qua menu Logging trong Bảng điều khiển ZCP.

  • Discover: Đây là màn hình chính để truy vấn và xem nhật ký. Bạn có thể sử dụng các từ khóa tìm kiếm hoặc bộ lọc để thu hẹp các nhật ký trong một khoảng thời gian xác định.
  • Dashboard: Cho phép xem nhiều hình ảnh trực quan và bảng thông tin đồng thời.
  • Visualize: Cho phép tạo ra nhiều hình ảnh trực quan khác nhau (như biểu đồ, bảng, chỉ số) từ dữ liệu nhật ký.
  • Dev Tools: Cung cấp một giao diện để gọi các API Rest của OpenSearch.
  • Audit Log Viewing: Các nhật ký kiểm toán đã thu thập có thể được xem. Bạn có thể lọc các nhật ký này theo Nguồn sự kiện (Console, Keycloak, Kubernetes) và theo khoảng thời gian. Các nhật ký kiểm toán chi tiết, bao gồm thông tin payload (nếu được bật trong quá trình thu thập), có thể được xem cho từng mục riêng lẻ.

Quản lý và Giữ lại Nhật ký​

Quản lý khối lượng và việc giữ lại dữ liệu nhật ký là rất quan trọng.

Quản lý Chỉ mục​

OpenSearch Dashboards cung cấp một màn hình Index Management với các menu để quản lý các chỉ mục. Bạn có thể tạo, sửa đổi và xóa các chính sách quản lý các chỉ mục (Chính sách Chỉ mục). Bạn cũng có thể xem các chỉ mục đã lưu và áp dụng các chính sách cho chúng.

Quản lý Ngăn xếp​

Stack Management: Màn hình Stack Management bao gồm các menu để quản lý cài đặt của OpenSearch Dashboard, bao gồm Index Patterns.

Các Mẫu Chỉ mục xác định các chỉ mục mục tiêu để tìm kiếm trong OpenSearch Dashboards. Bạn có thể tạo Các Mẫu Chỉ mục dựa trên định dạng chỉ mục nhật ký [Realm].[Project-Name].[Cluster-Name]-%Y.%m.%d.

Chính sách Giữ lại Nhật ký Kiểm toán​

Chính sách giữ lại được tạo từ chính sách quản lý Trạng thái. Chỉ có quản trị viên mới có thể xem và quản lý chúng từ OpenSearch Dashboards.

Hệ thống xác định hai trạng thái: hot và delete. Các chỉ mục vẫn ở trạng thái hot trong 10 ngày, sau đó chúng chuyển sang trạng thái delete, nơi hành động xóa được kích hoạt.

Bảo mật và Quyền hạn:​

OpenSearch hỗ trợ Index Policy cho việc quản lý nhật ký và quản lý Quyền và Vai trò cho bảo mật. Menu Bảo mật của OpenSearch Dashboard cho phép thiết lập xác thực, kiểm soát truy cập, vai trò, người dùng, quyền và người thuê để quản lý và ủy quyền dữ liệu nhật ký trong Multi Cluster. Người thuê, được phân loại theo các đơn vị dự án, rất quan trọng để chia sẻ an toàn quyền truy cập vào dữ liệu nhật ký và các đối tượng đã lưu.