Feature Store

Tại sao cần Feature Store?

Trong phần Phân tích dự đoán, chúng tôi có trình bày các bước để thực hiện một phân tích dự đoán như sau:

Tìm hiểu yêu cầu (Business Understanding)
Tìm hiểu dữ liệu (Data Understanding)
Chuẩn bị dữ liệu (Data Preparation)
Xây dựng mô hình (Modeling)
Đánh giá mô hình (Evaluation)
Triển khai mô hình (Deployment)

Bước số 2 và 3 là các bước chuẩn bị dữ liệu cho mô hình, gọi là feature engineering, thường chiếm tới 80% toàn bộ thời gian thực hiện dự án. Để cải thiện vấn đề này, các doanh nghiệp nên xây dựng một cơ sở dữ liệu cho học máy, gọi là Feature Store.

Feature Store là gì?

Dữ liệu thô mà chúng ta thu thập ít khi có ý nghĩa về mặt dự đoán, mà cần tổng hợp để xây dựng thành các đại lượng có ý nghĩa làm đầu vào cho các thuật toán và chúng ta thường gọi là features.

Feature Store là một cơ sở dữ liệu của các features để sử dụng làm đầu vào cho học máy và các phân tích khác.

Feature Store thực hiện các chức năng sau:

Thực hiện các luồng xử lý tự động để tổng hợp, biến đổi dữ liệu thô thành các features.
Lưu trữ và quản lý các features.
Cung cấp features cho huấn luyện mô hình (train model) và vận hành mô hình (inference); và cho các phân tích khác.

Đối với mỗi doanh nghiệp, điều quan trọng là đội ngũ dữ liệu cần xác định được các features có ý nghĩa quan trọng đối với phân tích kinh doanh cho doanh nghiệp của mình và các features đó được xây dựng từ dữ liệu của doanh nghiệp như thế nào.

Lợi ích của Feature Store:

Feature Store cho phép tập hợp tất cả các thông tin có ý nghĩa cho phân tích kinh doanh đang nằm rải rác tiềm ẩn ở các nguồn dữ liệu silos của doanh nghiệp.
Feature Store là cơ sở dữ liệu các features chung của doanh nghiệp được chia sẻ cho toàn bộ đội ngũ dữ liệu và phục vụ cho tất cả các đơn vị cần sử dụng dữ liệu.
Tối ưu được công sức để phát triển, vận hành, sửa chữa; thay vì mỗi dự án, mỗi cá nhân tự phát triển các features cho dự án riêng lẻ của mình và không thể kế thừa các features của nhau.
Quá trình xử lý dữ liệu tự động và đảm bảo tính sẵn sàng, chất lượng của features, tránh được những rủi ro. Nhờ đó, các phân tích và mô hình có thể được xây dựng nhanh chóng (thậm chí trong vài giờ) để đáp ứng yêu cầu kinh doanh; features cũng sẵn sàng cho việc vận hành các mô hình.
Cho phép thêm mới các features, do đó nội dung các features sẽ ngày càng phong phú để đáp ứng cho phân tích.

Các doanh nghiệp muốn phát triển phân tích bài bản thì không thể thiếu Feature Store.

Hãy liên hệ với BigBangData để có được tư vấn và giải pháp dữ liệu tốt nhất cho doanh nghiệp của quý khách hàng!

Page updated

Google Sites

Report abuse