TRANG THÔNG TIN LUẬN ÁN TIẾN SĨ

 Tên đề tài luận án tiến sĩ:

PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG (NGÃ) SỬ DỤNG CẢM BIẾN ĐEO

Chuyên ngành:                    Kỹ thuật máy tính

Mã số:                                 9.48.01.06

Họ và tên NCS:                  Nguyễn Tuấn Linh

Người hướng dẫn khoa học:

1.   TS. Vũ Văn Thoả 

2.  PGS.TS. Phạm Văn Cường

Đơn vị đào tạo: Học viện Công nghệ Bưu chính Viễn thông Cơ sở đào tạo: Học viện Công nghệ Bưu chính Viễn thông

 NHỮNG KẾT QUẢ MỚI CỦA LUẬN ÁN:

 Xây dựng được tập dữ liệu mới về vận động bất thường bao gồm 8 vận động ngã theo các hướng khác nhau và 8 vận động giống như ngã (bao gồm cả các vận động không xác định) sử dụng các cảm biến quán tính.

Đề xuất được phương pháp kết hợp các cảm biến đeo đơn giản, hiệu quả cho bài toán phát hiện ngã: Với việc sử dụng các cảm biến đeo, bao gồm cảm biến gia tốc, con quay hồi chuyển và từ kế, luận án đã tiến hành các thử nghiệm phát hiện ngã trên từng cảm biến riêng lẻ và kết hợp sử dụng các cảm biến. Kết quả luôn chỉ ra rằng phát hiện vận động ngã trong trường hợp sử dụng kết các cảm hợp biến với phương pháp đề xuất luôn cao hơn so với việc chỉ sử dụng một cảm biến, độ chính xác trong phát hiện ngã trong trường hợp sử dụng kết hợp các cảm biến đạt được là 94% bằng mô hình RF.

Đề xuất sử dụng thuật toán hàm nhân phi tuyến hồi quy để huấn luyện các mô hình học máy, giải quyết vấn đề khó khăn trong việc thiếu dữ liệu và dữ liệu mất cân bằng đối với các hệ thống phát hiện vận động bất thường: Các thử nghiệm trên một tập dữ liệu có độ phức tạp cao đã được tiến hành để đánh giá hiệu quả của phương pháp đề xuất, với 20 hoạt động bao gồm các hoạt động bình thường và các vận động bất thường khác nhau, điểm F1 trung bình đạt của mô hình là 78%.

Đề xuất mô hình mạng học sâu nhân chập kết hợp (CNN) với mạng bộ nhớ dài ngắn (LSTM) để nâng cao hiệu suất của các hệ thống phát hiện VĐBT, đặc biệt là các VĐBT phức tạp: Luận án đã

tiến hành các thử nghiệm phát hiện vận động bất thường bằng mạng học sâu nhân chập và mạng bộ nhớ dài ngắn trên cùng các tập dữ liệu, tiến hành so sánh kết quả với kiến trúc đề xuất. Sự kết hợp CNN-LSTM đã tận dụng được đặc tính không-thời gian của dữ liệu cảm biến để tự động học và biểu diễn các đặc trưng hiệu quả trên dữ liệu cảm biến không thuần nhất cho kết quả tốt hơn đáng  kể so với chỉ sử dụng riêng mạng học sâu nhân chập hay mạng bộ nhớ dài ngắn cho phát hiện VĐBT.

Đề xuất một mô hình kết hợp dữ liệu khung xương và dữ liệu quán tính ở cấp đặc trưng sử dụng các mạng nhân chập theo thời gian (TCN) để nhận dạng các hoạt động và VĐBT phức tạp ở người. Các đặc trưng đã được học và được biểu diễn thông qua các lớp nhân chập được đưa vào hai lớp được kết nối đầy đủ để tạo ra các xác suất nhãn hoạt động. Các thử nghiệm được tiến hành trên hai tập dữ liệu công khai đa mô hình cảm biến CMDFALL và UTD-MHAD, kết quả cho thấy kiến trúc được đề xuất của NCS có thể đạt được 83% điểm F1 trên tập dữ liệu CMDFALL và 96,98% trên tập dữ liệu UTD-MHAD, cao hơn các phương pháp khác đã công bố trên cùng tập dữ liệu. Nghiên cứu đề xuất có thể sẽ hữu ích cho các ứng dụng thực tế như các dịch vụ cần xác định các hoạt động bình thường và bất thường của con người để đưa ra cảnh báo.

CÁC ỨNG DỤNG VÀ KHẢ NĂNG ỨNG DỤNG TRONG THỰC TIỄN HOẶC NHỮNG VẤN ĐỀ CÒN BỎ NGỎ CẦN TIẾP TỤC NGHIÊN CỨU:

Luận án sẽ tiếp tục cải tiến mô hình học sâu để nâng cao hiệu quả phát hiện vận động bất thường. Đồng thời, sẽ tiếp tục nghiên cứu theo hướng đề xuất các mô hình chưng cất tri thức để (knowledge distillation) học hiệu quả hơn trong khi lại tiêu thụ ít tài nguyên hơn (lightweight).

Tiếp tục nghiên cứu đề xuất mô hình teacher model hướng dẫn mô hình student model học hiệu quả trên các bộ trọng số từ mô hình teacher. Từ đó, luận án sẽ cung cấp tri thức có tính chất  nền tảng hướng đến việc xây dựng hoàn chỉnh các ứng dụng có thể chạy trực tiếp trên thiết bị đeo với chi phí phù hợp để hỗ trợ theo dõi người bệnh Parkinson, bệnh về vận động và người cao tuổi.

Xác nhận của đại diện tập thể Người hướng dẫn khoa học

PGS.TS. Phạm Văn Cường

Nghiên cứu sinh

Nguyễn Tuấn Linh

INFORMATION OF THE DOCTORAL THESIS

 Thesis title:

RECOGNIZING ABNORMAL (FALL) ACTIVITIES USING WEARABLE SENSORS

Speciality:          Computer Engineering Code of specialty:       9.48.01.06

Name of PhD candidate: Nguyen Tuan Linh Committees:

1. Doctor: Vu Van Thoa

2. Associate Professor, Doctor: Pham Van Cuong

Academic Institution: Posts and Telecommunications Institute of Technology

NEW FINDINGS OF THE THESIS

This thesis has proposed a simple yet effective fusion method to combine wearing sensors for fall detection. The sensors, including accelerometer, gyroscope and magnetometer, are combined with those weights showing the importance to contribute to the performance. The results of an empirical experiment, 94,18% accuracy achieved with the Random Forest model, indicates that the fusion of sensors have significantly improved the performance compared to the single sensor. In addition, we proposed to use the regression of nonlinear multiplication function algorithm to train machine learning models to tackle the challenge of data shortage and imbalance data for abnormal motion detection systems. Experiments on a complex data set were conducted to evaluate the effectiveness of the proposed method with 20 activities covering different normal and anomalous movements.

Next, the thesis has proposed a model of deep learning, a combination of convolutional neural networks (CNN) with short long-term memory networks (LSTM) to improve the performance of the system. The CNN-LSTM architecture takes the advantage of the time-spatial characteristics of the sensor data to automatically learn and represent the feature map over heterogeneous sensor data. The experiment results have shown a significantly results compared to other methods. Moreover, a framework for fine-grained human normal and abnormal activity recognition by fusing skeleton and inertial data at feature level using deep temporal convolutional networks (TCN) is proposed. The

features learnt and represented through convolutional layers are fed into two fully connected layers for the production of the activity label probabilities. An extensive experiment is conducted on two public multi-modal datasets, CMDFALL and UTD-MHAD, to evaluate the TCN architecture. The results demonstrate that our TCN can achieve 83% F1-score on the CMDFALL dataset and 96.98% accuracy on the UTD-MHAD dataset. With the effectiveness of the proposed framework, it can be a fundamental component for practical applications such as situated services that acquired fine-grained human normal and abnormal activities as well as a complementary method for sequential heterogeneous sensor data modeling and feature learning.

APPLICATION AND USED IN THE REAL WORLD OR FUTURE WORKS

Improvement of the proposed deep learning models is one of our plans. In addition, we will utilize knowledge distillation models to learn more efficiently while consuming less resources (lightweight) by proposing a teacher model which guides the student model to effectively learn weight sets from those of the teacher model. By doing that, the thesis will provide background knowledge towards the end-to-end applications that can be run directly on wearable devices at reasonable costs to support the monitoring of Parkinson’s patients and the elderly with motor diseases.

Confirmation of representative

Assoc. Prof. Pham Van Cuong, PhD

PhD. Candidate Scientific supervisor                         

Nguyen Tuan Linh

 Luận án tiến sĩ

Tóm tắt Luận án tiến sĩ

Trang Thông tin Luận án tiếng việt 

Trang Thông tin Luận án Tiếng Anh