Một mô hình truy vấn ảnh sử dụng đồ thị tri thức và túi từ thị giác

Các hệ thống tìm kiếm hình ảnh dựa trên đặc trưng thị giác truyền thống đang bộc lộ nhiều hạn chế, đặc biệt trong việc biểu diễn mối quan hệ ngữ nghĩa giữa các đối tượng trong ảnh, dẫn đến khó khăn trong việc hiểu nội dung ở mức độ khái niệm cao. Để khắc phục, nhiều nghiên cứu gần đây đã tích hợp tri thức bên ngoài, sử dụng đồ thị ngữ cảnh và đồ thị tri thức để cải thiện khả năng diễn giải ngữ nghĩa. Đồng thời, các phương pháp biểu diễn đặc trưng hình ảnh như túi từ thị giác (BoVW) và các mô hình phát hiện đối tượng tiên tiến như YOLOv8 cũng đóng vai trò quan trọng. Nghiên cứu này đề xuất một mô hình tích hợp để giải quyết những thách thức này.

Nghiên cứu này hướng tới các nhà nghiên cứu, kỹ sư và chuyên gia trong lĩnh vực thị giác máy tính, trí tuệ nhân tạo, và xử lý thông tin, đặc biệt là những người quan tâm đến các hệ thống tìm kiếm và truy vấn hình ảnh thông minh dựa trên ngữ nghĩa. Nó cũng có thể hữu ích cho các ứng dụng thực tế trong chẩn đoán hình ảnh y khoa, giám sát an ninh, và quản lý cơ sở dữ liệu đa phương tiện cần khả năng hiểu và giải thích nội dung hình ảnh ở mức độ sâu sắc hơn.

Trong bối cảnh nhu cầu ngày càng tăng về truy vấn ảnh dựa trên hiểu biết về nội dung và ngữ nghĩa, các kỹ thuật truyền thống dựa trên đặc trưng thị giác thuần túy đã chứng tỏ những giới hạn, đặc biệt là trong việc nắm bắt các mối quan hệ ngữ nghĩa phức tạp giữa các thực thể trong ảnh. Nghiên cứu này giới thiệu một mô hình tích hợp tiên tiến nhằm giải quyết những thách thức này, bao gồm ba thành phần chính: phát hiện đối tượng hiệu quả bằng YOLOv8, biểu diễn đặc trưng thị giác cấu trúc thông qua mô hình túi từ thị giác (BoVW), và tổ chức thông tin cũng như suy luận ngữ nghĩa bằng đồ thị tri thức. Các thực thể được YOLOv8 phát hiện sẽ được chuyển đổi thành các “từ” thị giác trong BoVW, từ đó hình thành các bộ ba quan hệ ngữ nghĩa để xây dựng và ánh xạ vào đồ thị tri thức. Khi người dùng thực hiện truy vấn, hệ thống sẽ tạo các bộ ba tương ứng từ ảnh đầu vào để thực hiện tìm kiếm ngữ nghĩa trong đồ thị tri thức, không chỉ dựa trên sự tương đồng hình ảnh mà còn xem xét mối liên hệ logic giữa các đối tượng. Mô hình đã được đánh giá kỹ lưỡng trên hai bộ dữ liệu ảnh tiêu chuẩn rộng rãi là OpenImagesV7 và MS-COCO. Kết quả thực nghiệm cho thấy độ chính xác đáng kể, đạt 84,1% trên OpenImagesV7 và 89,6% trên MS-COCO, chứng minh tính hiệu quả, độ tin cậy và khả thi vượt trội của mô hình đề xuất so với nhiều phương pháp truyền thống.