Trong kỷ nguyên dữ liệu, việc biến dữ liệu thô thành tài nguyên có giá trị là bước nền tảng trước khi triển khai phân tích và trí tuệ nhân tạo. Từ bài toán thực tế này, sinh viên FPT Cranes đã phát triển hệ thống tiền xử lý dữ liệu Airbnb với pipeline tự động và khả năng tạo dữ liệu sẵn sàng cho Machine Learning.

Tổng quan dự án và đội ngũ thực hiện

Dự án “Hệ thống tiền xử lý dữ liệu Airbnb (Airbnb Data Preprocessing System)” được thực hiện bởi Group 03 – Data Engineering Team, lớp I1.2510.E0, dưới sự hướng dẫn của giảng viên Nguyễn Hạ Vy. Nhóm gồm Phạm Quang Duy (Leader), Lương Chí Đại, Âu Đức và Trần Ái Nghĩa. Đây là đồ án học kỳ 1 thuộc chương trình Data Science & AI-ML tại FPT Cranes, tập trung vào xây dựng một hệ thống Data Preprocessing hoàn chỉnh, tích hợp giao diện người dùng (GUI) và pipeline xử lý tự động.

Lý do chọn đề tài: Khi dữ liệu thô chưa thể tạo ra giá trị

Các nền tảng như Airbnb tạo ra khối lượng dữ liệu khổng lồ mỗi ngày, từ thông tin listing, chủ nhà đến đánh giá người dùng. Tuy nhiên, dữ liệu thô này thường chứa nhiều vấn đề như thiếu dữ liệu, nhiễu, trùng lặp và sai định dạng, khiến việc phân tích hoặc đưa vào mô hình Machine Learning trở nên khó khăn.

Nhóm sinh viên lựa chọn đề tài này nhằm giải quyết trực tiếp bài toán data cleaning và preprocessing – một bước quan trọng nhưng thường bị xem nhẹ trong pipeline dữ liệu. Đồng thời, dự án hướng tới việc xây dựng một hệ thống tự động hóa xử lý dữ liệu, giảm thiểu sai sót thủ công và tạo nền tảng ML-ready cho các bài toán phân tích và dự đoán.

Mục tiêu dự án: Xây dựng pipeline xử lý dữ liệu toàn diện

Dự án được định hướng phát triển như một hệ thống tiền xử lý dữ liệu end-to-end, trong đó toàn bộ pipeline được tự động hóa từ làm sạch, chuẩn hóa đến biến đổi dữ liệu. Mục tiêu không chỉ dừng lại ở dataset Airbnb mà còn hướng tới khả năng tái sử dụng cho nhiều nguồn dữ liệu khác.

Thông qua hệ thống này, dữ liệu đầu ra được chuẩn hóa, đồng nhất và sẵn sàng cho các mô hình Machine Learning, giúp rút ngắn đáng kể thời gian chuẩn bị dữ liệu trong các dự án thực tế.

Quy trình triển khai: Từ dữ liệu thô đến dataset ML-ready

Nhóm bắt đầu bằng việc thu thập và phân tích dataset Airbnb, bao gồm các thông tin về listing, host và review. Sau khi đánh giá cấu trúc và chất lượng dữ liệu, nhóm tiến hành xây dựng pipeline xử lý với các bước rõ ràng.

Dữ liệu được làm sạch thông qua việc xử lý missing values, loại bỏ nhiễu và dữ liệu trùng lặp. Tiếp theo là các bước biến đổi như chuẩn hóa kiểu dữ liệu, định dạng lại thông tin và mã hóa dữ liệu. Ở mức nâng cao, nhóm áp dụng các kỹ thuật như phát hiện outlier bằng IQR, chuẩn hóa dữ liệu bằng StandardScaler và encoding bằng LabelEncoder.

Một điểm nổi bật của dự án là phần feature engineering, nơi nhóm xây dựng các đặc trưng có ý nghĩa thực tiễn như tỷ lệ giá theo khu vực, chỉ số phổ biến, mức độ “booking friction” và chỉ báo chủ nhà chuyên nghiệp. Những đặc trưng này giúp nâng cao giá trị dữ liệu và hỗ trợ tốt hơn cho các mô hình phân tích.

Toàn bộ hệ thống được tích hợp với giao diện GUI, cho phép người dùng tương tác trực tiếp với dữ liệu và kích hoạt pipeline xử lý một cách thuận tiện.

Thách thức thực tế và cách giải quyết

Trong quá trình triển khai, nhóm đối mặt với nhiều thách thức, đặc biệt là việc xử lý dữ liệu thiếu và không đồng nhất theo từng ngữ cảnh. Việc phát hiện và xử lý outlier cũng đòi hỏi sự cân nhắc kỹ lưỡng để không làm sai lệch kết quả phân tích.

Để giải quyết, nhóm áp dụng các phương pháp thống kê như Median, Mode và IQR, kết hợp với kỹ thuật xử lý dữ liệu theo nhóm (group-based imputation) nhằm đảm bảo tính hợp lý. Pipeline được xây dựng theo từng bước rõ ràng và liên tục được kiểm thử, giúp đảm bảo dữ liệu đầu ra đạt chất lượng cao.

Kết quả đạt được và điểm nổi bật của hệ thống

Sau quá trình phát triển, hệ thống đã hoàn thiện với một pipeline preprocessing toàn diện, có khả năng xử lý dữ liệu một cách tự động và chính xác. Dữ liệu đầu ra đạt trạng thái ML-ready, có thể sử dụng trực tiếp cho các mô hình Machine Learning.

Điểm nổi bật của sản phẩm nằm ở khả năng xử lý missing data theo ngữ cảnh, feature engineering mang tính thực tiễn cao và giao diện GUI thân thiện với người dùng. Đây là những yếu tố giúp hệ thống không chỉ phục vụ mục đích học tập mà còn có tiềm năng ứng dụng trong thực tế doanh nghiệp.

Giá trị học tập và năng lực sinh viên

Thông qua dự án, sinh viên đã nắm vững kiến thức về Data Preprocessing và Data Engineering, đồng thời nâng cao kỹ năng xây dựng pipeline dữ liệu chuyên nghiệp. Quan trọng hơn, nhóm phát triển được tư duy xử lý dữ liệu theo ngữ cảnh – yếu tố cốt lõi trong các dự án dữ liệu thực tế.

Bên cạnh đó, kỹ năng làm việc nhóm, quản lý dự án và giải quyết vấn đề cũng được cải thiện rõ rệt, giúp sinh viên sẵn sàng tham gia vào các dự án Data Analytics và AI trong môi trường doanh nghiệp.

Đánh giá từ giảng viên hướng dẫn

Theo giảng viên Nguyễn Hạ Vy, dự án có pipeline xử lý dữ liệu chi tiết và mang tính thực tiễn cao, thể hiện rõ tư duy Data Engineering của sinh viên. Việc áp dụng các kỹ thuật preprocessing nâng cao và xây dựng dataset chất lượng là điểm mạnh nổi bật. Dù vẫn có thể cải thiện thêm về UI/UX và mở rộng khả năng xử lý real-time hoặc tích hợp Machine Learning, nhưng tổng thể đây là một đồ án xuất sắc, có tiềm năng phát triển thành hệ thống thực tế.

Hệ thống tiền xử lý dữ liệu Airbnb là minh chứng rõ ràng cho năng lực triển khai Data Engineering của sinh viên FPT Cranes ngay từ giai đoạn đầu đào tạo. Từ dữ liệu thô phức tạp, nhóm đã xây dựng thành công một pipeline tự động, tạo ra dữ liệu có giá trị và sẵn sàng cho phân tích nâng cao. Đây không chỉ là một đồ án học kỳ mà còn là bước đệm quan trọng để sinh viên tiến sâu hơn vào lĩnh vực Data Analytics và trí tuệ nhân tạo trong tương lai.

Cùng xem video demo đồ án nhóm bên dưới nhé!

Nguyễn Phát Tài – Giảng viên FPT Cranes