Tổng quan
Việc sử dụng công nghệ tiên tiến đã tạo ra một phương pháp điều khiển máy bay không người lái mới, với sự trợ giúp của thị giác máy tính và các mô hình học tăng cường sâu, đang mở ra những triển vọng đáng kể trong lĩnh vực điều khiển thiết bị bay không người lái, cho phép điều khiển chúng theo cách hiệu quả hơn.
Thị giác máy tính, trong ngữ cảnh này, tập trung vào khả năng cho máy tính nhận diện, hiểu và xử lý hình ảnh một cách thông minh. Nó dạy các hệ thống máy tính diễn giải và hiểu hình ảnh theo cách tương tự như cách con người nhìn và xử lý chúng. Máy bay không người lái sử dụng các mô hình học sâu để tự động hóa quá trình ra quyết định và do đó tăng mức độ chính xác và hiệu quả tổng thể. Mô hình học tăng cường sâu giúp thiết bị bay tự động hóa quyết định và thích ứng dựa trên dữ liệu thị giác.
Sự kết hợp giữa học tăng cường sâu và thị giác máy tính để điều khiển máy bay không người lái có thể mang lại lợi ích to lớn cho nhiều ứng dụng khác nhau. Đồng thời, nghiên cứu này đặt ra nhiều thách thức, từ việc thiết kế mô hình học tăng cường sâu phù hợp đến việc tối ưu hóa hiệu suất và độ chính xác của các ứng dụng thực tế.
Tóm lại, nghiên cứu về thị giác máy tính và mô hình học tăng cường sâu để điều khiển máy bay không người lái, cho nó khả năng né tránh vật cản sẽ có hứa hẹn mang lại nhiều đóng góp quan trọng cho lĩnh vực điều khiển thiết bị bay không người lái và các ứng dụng liên quan.
Đối tượng và phạm vi nghiên cứu
– Drone: Không chế tạo vật lý, phần mềm điều khiển bay sử dụng phần mềm có sẵn, sử dụng và tùy chỉnh phần mềm điều khiển có sẵn để đáp ứng yêu cầu cụ thể.
– Thị giác máy tính: Khảo sát và áp dụng các mô hình thị giác máy tính tự xây dựng, xây dựng và tối ưu hóa tập dữ liệu liên quan đến thị giác máy tính.
– Học tăng cường: Tìm hiểu sâu về học tăng cường và ứng dụng nó vào việc tạo ra các hệ thống tự động hóa, tìm cách tối ưu hóa học tăng cường cho ứng dụng điều khiển Drone.
Sử dụng Drone có sẵn khung, các phần mềm có chức năng điều khiển có sẵn, và triển khai các giải pháp. Xây dựng môi trường xung quanh Drone sử dụng cảm biến và hình ảnh. Từ các nghiên cứu có sẵn áp dụng mô hình học sâu để định hướng cho Drone và đào tạo mô hình học tăng cường để Drone có thể học cách tối ưu hóa hành vi dựa trên môi trường và mục tiêu nhiệm vụ.
Tổng quan mô hình
˗ Sử dụng phương pháp học tăng cường có nhiều hướng đi khác nhau. Nhưng trong đề tài khóa luận của chúng tôi, chúng tôi sẽ giới hạn trong phạm vi nhất định. Chúng tôi chia tác vụ thành trình tự như sau:
Hình 3.3. Sơ đồ trình tự của chuỗi hành động của Drone
˗ Đầu vào của mô hình sẽ là dữ liệu quan sát từ môi trường, đầu ra sẽ là một hành động của Drone. Chúng tôi có trình tự như sau:
Hình 3.4. Đầu vào và đầu ra của mô hình
Chúng tôi sẽ trình bày tổng quan về phương pháp xây dựng môi trường rèn luyện cũng như thuật toán, công nghệ mà chúng tôi sử dụng. Mô hình của chúng tôi gồm hai phần chính:
– Xây dựng môi trường mô phỏng trên Gym-pybullet-drones
– Áp dụng thuật toán huấn luyện lên Drone mô phỏng
Gym-pybullet-drones cung cấp một môi trường mô phỏng, có thể được sử dụng để thực hiện huấn luyện mô hình học tăng cường sâu bằng cách sử dụng các thư viện như TensorFlow hoặc PyTorch cùng với các thuật toán DRL như DQN (Deep Q Network), PPO (Proximal Policy Optimization)
– Drone là thành phần được tích hợp sẵn bên trong Gym-pybullet-drones. Mục tiêu của môi trường mô phỏng là cung cấp một môi trường khí động lực học để mô phỏng và phát triển các ứng dụng về Drone.
– Trong Gym-pybullet-drones, chúng tôi có thể tạo và điều khiển các Drone thông qua các mô hình có sẵn. Các tính năng chính bao gồm điều khiển các cánh quạt của Drone (Quadcopter) theo vị trí, vận tốc, lực hoặc các góc. Điều này cho phép mô phỏng các hoạt động khác nhau và kiểm tra các thuật toán điều khiển Drone trước khi chúng trong thực tế.
Hình 3.5. Các Drone trong môi trường mô phỏng
Kết luận
Dựa trên các kết quả thực nghiệm chi tiết được trình bày trong các chương trước, khoá luận này làm rõ tính khả thi và những điểm mạnh của mô hình được xây dựng trên nền tảng thuật toán học tăng cường sâu. Qua quá trình thử nghiệm, chúng tôi đã chứng minh rằng việc điều khiển Drone thông qua mô hình của chúng tôi mang lại độ chính xác cao, đủ để có thể triển khai ứng dụng thực tế.
Ngoài tính chính xác, mô hình còn thể hiện sự linh hoạt và thích ứng tốt trong nhiều tình huống khác nhau. Điều này giúp nó trở thành một công cụ linh hoạt có thể sử dụng trong nhiều ứng dụng khác nhau, từ giám sát môi trường đến nhiệm vụ cứu hộ khẩn cấp. Ngoài ra, khóa luận này còn là cơ sở để phát triển các lĩnh vực tương tự, góp phần tạo tính đa dạng cho đề tài nói riêng và lĩnh vực nghiên cứu khoa học, công nghệ nói chung.
