Nghiên cứu xây dựng kho dữ liệu phục vụ hỏi đáp hiện thân đa phương thức

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo, lĩnh vực AI hiện thân (Embodied AI) đang thu hút sự chú ý đặc biệt, nhằm phát triển các hệ thống có khả năng tương tác trực tiếp với thế giới thực. Hỏi đáp hiện thân (Embodied Question Answering - EQA) là một nhiệm vụ AI mới đầy thách thức, yêu cầu tác nhân không chỉ hiểu ngôn ngữ và nhận dạng thị giác mà còn phải điều hướng thông minh trong môi trường 3D để thu thập thông tin từ nhiều góc nhìn. Tuy nhiên, các bộ dữ liệu EQA hiện có thường bị hạn chế bởi góc nhìn đơn lẻ và thiếu sự tương tác đa phương thức. Nghiên cứu này nhằm giải quyết những hạn chế đó bằng cách xây dựng một kho dữ liệu quy mô lớn, đa phương thức, hỗ trợ việc phát triển các mô hình AI hiện thân tiên tiến, mở rộng khả năng nghiên cứu và ứng dụng trong lĩnh vực này.

Nghiên cứu sinh, giảng viên, và chuyên gia trong các lĩnh vực Trí tuệ nhân tạo, Thị giác máy tính, Xử lý ngôn ngữ tự nhiên, Robot học và Khoa học dữ liệu quan tâm đến hệ thống hỏi đáp hiện thân và phát triển kho dữ liệu đa phương thức.

Nghiên cứu này tập trung vào việc giải quyết những thách thức cố hữu của các hệ thống Hỏi đáp hiện thân (Embodied Question Answering - EQA) hiện có, vốn thường bị giới hạn bởi các bộ dữ liệu có quy mô nhỏ và thiếu tính đa phương thức. Để khắc phục điều này, chúng tôi đề xuất và xây dựng một kho dữ liệu mới, quy mô lớn, hỗ trợ nghiên cứu EQA, đặc biệt nhấn mạnh khả năng tương tác đa phương thức và đa góc nhìn. Bộ dữ liệu được thiết kế để bao gồm tám nhiệm vụ EQA mới, đòi hỏi tác nhân thực hiện các suy luận phức tạp dựa trên các yếu tố đầu vào đa phương thức và mối quan hệ không gian. Các nhiệm vụ này bao gồm dự đoán sự tồn tại của đối tượng, xác định đối tượng, đếm đối tượng và truy vấn thuộc tính. Về phương pháp, kho dữ liệu được xây dựng bằng cách tổng hợp, chọn lọc và gán nhãn lại từ các nguồn dữ liệu hiện có như EmbodiedQA, Matterport3D và ALFRED. Điều đặc biệt là việc tích hợp các biểu hiện phi ngôn ngữ như ánh mắt và cử chỉ chỉ tay, được tạo ra theo quy trình bằng động học nghịch đảo, giúp mô phỏng chân thực hơn các tương tác trong thế giới thực. Bộ dữ liệu được phân chia thành ba tập (huấn luyện, kiểm chứng, đánh giá) và được thử nghiệm trên các mô hình ngôn ngữ thị giác khác nhau như Dual Encoder, CLIP và ViLT. Kết quả thực nghiệm cho thấy tính hữu ích và khả năng ứng dụng rộng rãi của kho dữ liệu, dù vẫn còn thách thức trong các tác vụ đếm đối tượng. Kho dữ liệu này cung cấp một nền tảng vững chắc để phát triển các tác nhân AI hiện thân với khả năng tương tác tinh vi hơn trong môi trường 3D phức tạp, mở ra hướng nghiên cứu mới trong AI hiện thân.