Tổng quan

Trong khóa luận này, chúng tôi muốn đề xuất một hệ thống điểm danh thông minh áp dụng cho các phòng học tại các trường đại học, sử dụng các công nghệ nhận dạng gương mặt và Bluetooth năng lượng thấp.

Hệ thống điểm danh này hướng đến việc khắc phục các khuyết điểm về mặt thời gian, tính minh bạch của các phương pháp điểm danh đang được áp dụng thời điểm hiện tại. Chúng tôi muốn hệ thống đề xuất khi vận hành sẽ đảm bảo được các yếu tố sau: xác minh sinh viên thực sự hiện diện tại phòng học, phát hiện khi sinh viên rời phòng học/vào lại phòng học, tính toán tổng thời gian sinh viên thực sự góp mặt vào
buổi học.

Hệ thống bao gồm các thiết bị Internet of Things (IoT) được triển khai tại mỗi phòng học để liên tục thu thập thông tin liên quan đến sự hiện diện của mỗi cá nhận sinh viên trong buổi học, bao gồm: hình ảnh khuôn mặt và tín hiệu Bluetooth từ điện thoại cá nhân. Các dữ liệu này sẽ liên tục được đưa gửi phía server để xử lý và dựa vào đó, xác minh rằng sinh viên có tham gia buổi học hay không.

Điểm nhấn của hệ thống đề xuất là khả năng lấy dữ liệu khuôn mặt từ nhiều góc độ, khoảng cách trong phạm vi toàn bộ phòng học và thực hiện nhận dạng gương mặt một cách liên tục. Kết hợp với việc sử dụng dữ liệu tín hiệu Bluetooth thu thập từ thiết bị di động của từng cá nhân sinh viên làm yếu tố xác minh thứ hai. Qua đó, đảm bảo được được trạng thái có mặt của sinh viên có thể được đánh giá một cách minh bạch, căn cứ vào nhiều nguồn dữ liệu. Bên cạnh đó, kết quả điểm danh của một sinh viên sẽ được đánh giá từ dữ liệu của quá theo dõi suốt buổi học, thay vì chỉ điểm danh qua một lần duy nhất như các phương pháp truyền thống.

Mục tiêu nghiên cứu

• Thiết lập và cấu hình các thiết bị IoT trong phòng học.
• Chuẩn bị dataset phù hợp và huấn luyện mô hình nhận diện khuôn mặt hoạt động tốt trong môi trường triển khai.
• Triển khai và cấu hình Kafka phục vụ xử lý dữ liệu lớn và phân tán.
• Đề xuất phương pháp tính toán để đánh giá một cách hợp lý trạng thái hiện diện của sinh viên trong lớp dựa trên dữ liệu thu thập.
• Xây dựng ứng dụng web cho phép giảng viên quản lý và lập lịch các phiên điểm danh, cũng như người dùng tra cứu thông tin kết quả điểm danh.

Phạm vi nghiên cứu

• Ví trí lắp đặt thiết bị: phòng Lab E3.1 tại trường Đại học Công Nghệ Thông tin.
• Phạm vi nghiên cứu: hệ thống điểm danh thông minh cho lớp học sử dụng dữ liệu nhận diện khuôn mặt từ camera và tín hiệu BLE từ smartphone để liên tục theo dõi trạng thái có mặt của sinh viên trong suốt thời lượng buổi học. Kết quả điểm danh hoàn chỉnh sau buổi học được tính toán, lưu trữ và có thể được tra cứu qua ứng dụng web.

Nội dung đề tài

Đối với hệ thống điểm danh thông minh đề xuất, dữ liệu đầu vào là vô cùng quan trọng. Mục tiêu đầu tiên chính là dữ liệu phải được thu thập đầy đủ nhất có thể và gửi đến server một cách nhanh chóng.

Để thu thập được đầy đủ các thông tin cần thiết cho hệ thống tại một phòng học, đồng thời tiết kiệm tài nguyên, chi phí vận hành và thời gian triển khai, chúng tôi đưa ra những tiêu chí như sau cho việc lựa chọn và lắp đặt thiết bị:

• Phù hợp với ngữ cảnh thực tế khi triển khai khắp các phòng học:
  ⋄ Nhỏ gọn: dễ lắp đặt, tiêu hao ít tài nguyên.
  ⋄ Khả năng cấu hình linh hoạt: đáp ứng nhiều mục tiêu khác nhau.
  ⋄ Khả năng tích hợp với module: tăng cường hiệu quả thu thập dữ liệu.
  ⋄ Hỗ trợ giao thức truyền thông băng thông thấp: hoạt động trong môi
  trường mạng nhiều người dùng, yêu cầu độ trễ thấp để xử lý chính xác.
• Yêu cầu thu thập thông tin đầy đủ:
  ⋄ Dữ liệu khuôn mặt: camera có độ phân giải tương đối tốt, hoạt động tốt với thiết bị nhúng, số lượng và góc đặt sao cho thu thập được hình ảnh toàn bộ sinh viên có mặt trong phòng.
  ⋄ Dữ liệu BLE: module phải hỗ trợ BLE, có chức năng quét tìm thiết bị lân cận (scanning), phạm vi hoạt động tương đối tốt, số lượng và góc đặt sao cho thu thập được tín hiệu từ tất cả thiết bị di động trong phạm vi phòng học.

Đối với mỗi phiên điểm danh cho một buổi học, hệ thống sẽ hoạt động như sau:

• Bước 1: Lớp học bắt đầu, các thiết bị IoT trong phòng học được đặt lịch chạy phiên điểm danh tiến hành chạy chương trình.
• Bước 2: Các frame ảnh lớp học được đọc từ camera, sau đó đưa vào mô hình phát hiện khuôn mặt và cuối cùng các hình ảnh khuôn mặt có trong frame ảnh được cắt ra và gửi đến server. Đồng thời, các BLE stations quét các địa chỉ Bluetooth MAC từ thiết bị Smartphone của học sinh lân cận, các địa chỉ này cũng được gửi đến server. Quá trình này được diễn ra liên tục cho đến khi buổi học kết thúc.
• Bước 3: Các hình ảnh khuôn mặt khi đến phía server sẽ được đưa vào mô hình nhận diện khuôn mặt, sau đó đối tượng sinh viên được nhận diện tương ứng sẽ được ghi nhận vào database trạng thái có mặt tại thời điểm đó. Tương tự với các địa chỉ Bluetooth MAC. Quá trình này diễn ra liên tục cho đến khi buổi học kết thúc
• Bước 4: Buổi học kết thúc, các chương trình trên các thiết bị dừng thực thi. Lúc này, trong database đã ghi nhận lại trạng thái có mặt của từng sinh viên trong các khoảng thời gian. Cuối cùng, các dữ liệu này được xử lý và tính toán để đưa ra kết quả điểm danh cuối cùng cho các thành viên của buổi học này. Dữ liệu cũng sẽ được lưu vào database.
• Bước 5: Khi người dùng truy cập vào ứng dụng web sau khi hệ thống đã hoàn tất xử lý cho buổi học sẽ được truy cập đến dữ liệu trên database có thể xem thông tin điểm danh cho buổi học.

Kết luận

Sau khi thực hiện khóa luận tốt nghiệp với đề tài “NGHIÊN CỨU, PHÁT TRIỂN HỆ THỐNG ĐIỂM DANH CHO LỚP HỌC THÔNG MINH SỬ DỤNG CÔNG NGHỆ BLUETOOTH NĂNG LƯỢNG THẤP VÀ NHẬN DIỆN GƯƠNG MẶT”, chúng tôi đạt được một số kết quả sau:

• Thu thập dữ liệu và huấn luyện thành công mô hình nhận dạng khuôn mặt. Mô hình hoạt động tương đối tốt trong với những yếu tố về ánh sáng, khoảng cách, góc quay trong môi trường thực nghiệm.
• Áp dụng thành công dữ liệu BLE làm dữ liệu bổ trợ cho những ngữ cảnh hạn chế của quá trình nhận diện khuôn mặt, giúp kết quả điểm danh hợp lý hơn.
• Thiết kế và triển khai thành công một hệ thống IoT kết nối tốt với nhau và hoạt động tông suốt, hệ thống bao gồm các thành phần chính: End-user device, Capture device, Edge device, Message Queue, Virtual Private Cloud.
• Ứng dụng web phục vụ tương đối đầy đủ chức năng, giao tiếp tốt và đồng bộ với hệ thống.