Chúc mừng nhóm sinh viên Nguyễn Vũ Khai Tâm, Lê Trần Gia Bảo, Trần Kim Ngọc Ngân, Hoàng Ngọc Khánh, Phạm Hoàng Lê Nguyên – những thành viên của Team Q (CLB An toàn thông tin Wanna.W1n) và nhóm nghiên cứu InSecLab đã có bài nghiên cứu về Lifelog Event Retrieval (Truy vấn sự kiện trong video) được chấp nhận đăng tại Hội nghị khoa học quốc tế The 13th Symposium on Information and Communication Technology (SOICT 2024).
Tên bài báo: “MAVERICS: Multimodal Advanced Visual Event Retrieval with Integrated CPU-Optimized Search”
Sinh viên thực hiện:
- Hoàng Ngọc Khánh – An toàn thông tin Hệ Tài năng (ATTN2023)
- Nguyễn Vũ Khai Tâm – Trí tuệ nhân tạo Hệ Chính quy (KHNT2022)
- Lê Trần Gia Bảo – Khoa học máy tính Hệ Chính quy (KHMT2022)
- Trần Kim Ngọc Ngân – Khoa học máy tính Hệ Tài năng (KHTN2022)
- Phạm Hoàng Lê Nguyên – Khoa học máy tính Hệ Chính quy (KHMT2022)
– Giảng viên hướng dẫn:
- TS. Phạm Văn Hậu
- ThS. Phan Thế Duy
- CN. Nguyễn Hữu Quyền
Bài báo khoa học là kết quả của quá trình nghiên cứu và xây dựng giải pháp truy vấn hiệu quả thông tin sự kiện cuộc sống thường nhật từ dữ liệu video trong Hội thi Thử thách trí tuệ nhân tạo Tp. HCM năm 2024 (AI Challenge 2024). Đây là thành quả đáng khích lệ bước đầu của các Thành viên TeamQ khi thực hiện những nghiên cứu khoa học, tham gia các cuộc thi học thuật về các ứng dụng của Trí tuệ nhân tạo (AI) trong các lĩnh vực đời sống tại Phòng thí nghiệm An toàn thông tin (InSecLab) thông qua Khóa huấn luyện WannaQuest Q2023.02 vừa qua.
Tóm tắt bài báo:
“The increasing volume of visual data in news archives and media sources poses significant challenges for efficient event retrieval. This paper presents a multimodal approach to tackle the problem of Event Retrieval from Visual Data. Our system integrates several techniques to process diverse query types, including text, image, and video. For image-text retrieval, the BLIP2 model is used to embed both images and text descriptions. In cases where queries are in Vietnamese, we employ the pre-trained VietAI/envit5-translation model to translate prompts into English before processing them with BLIP2. Object detection is handled by YOLOWorldv2, and text extraction from images utilizes PP-OCRv3 and VGG Transformer. Additionally, WhisperX is employed for audio-to-text conversion. Embeddings from textual data, whether derived from OCR or audio, are generated using sentence-transformers/all-MiniLM-L6-v2. These embeddings are indexed using Usearch, enabling fast and efficient retrieval. Furthermore, we developed a high-speed temporal search mechanism that calculates scores and combinations for consecutive related frames to improve performance in temporal queries. The system is capable of running efficiently on CPUs, with a maximum query processing time of 2 seconds for advanced queries, such as Temporal search, which require multiple models to run consecutively, making it a scalable solution for large-scale video data retrieval. Additionally, we have built a user-friendly interface using Streamlit, enabling users to easily interact with and utilize the system”.
Thông tin chung về Hội nghị:
SOICT 2024 là hội nghị khoa học quốc tế chuyên ngành công nghệ thông tin và truyền thông, bao gồm các lĩnh vực nghiên cứu quan trọng: Nền tảng AI và Dữ liệu lớn, Các công nghệ mạng và truyền thông, Xử lý hình ảnh và ngôn ngữ tự nhiên, Kỹ thuật phần mềm, Trí tuệ nhân tạo và Công nghệ kỹ thuật số, An toàn thông tin, Truy vấn Thông tin sự kiện từ Video.
Hội nghị SOICT 2024 sẽ diễn ra tại TP. Đà Nẵng do Trường Công nghệ thông tin và truyền thông – ĐH Bách Khoa Hà Nội, Trường ĐH Khoa học Tự nhiên – ĐHQG TP. HCM, Trường ĐH Bách Khoa – ĐH Đà Nẵng phối hợp tổ chức vào ngày 13 – 15/12/2024.
Nguồn: Trường Đại học Công nghệ Thông tin, ĐHQG TPHCM.
