XAI를 활용한 골프 스윙 피드백 모델 개발

👷‍♂️ 인공지능 시스템의 실용화를 위한 딥러닝 안정성 알고리즘 개발

• 주관: 김캐디
• 연구 목표: 이 연구는 기존 골프 스윙 분석 연구에서 개별 관절과 클럽 정보의 영향을 충분히 고려하지 못한 한계를 극복하고자 한다. 골프는 정확한 신체 움직임이 볼의 궤적에 상당한 영향을 미치는 스포츠임에도 불구하고, 기존 연구들은 대부분 신체 움직임만을 분석했을 뿐 클럽의 역학적 특성이나 개별 관절 차원의 세부적인 역학을 간과해왔다. 따라서 본 연구는 스켈레톤 데이터와 클럽 키포인트를 통합한 새로운 골프 스윙 분석 프레임워크를 개발하여, 그래프 네트워크를 활용해 스윙 동작과 볼 비행 간의 관계를 정량적으로 분석하는 것을 목표로 한다. 더 나아가 설명 가능한 AI 기법을 적용하여 각 키포인트의 중요성을 분석하고, 이를 바탕으로 개별 골퍼에게 맞춤형 스윙 개선 피드백을 제공하는 시스템을 구축하고자 한다.
• 연구 내용: 본 연구의 핵심 내용은 골프 스윙의 복합적 특성을 포괄적으로 분석하기 위한 통합 시스템 개발에 있다. 먼저 골프 클럽의 위치를 정확히 감지하고 이를 기존 스켈레톤 데이터에 통합하는 클럽 추적 시스템을 구축한다. 이를 위해 Club-Head와 Club-Grip 키포인트를 수동으로 라벨링하여 YOLO 기반 객체 탐지 모델을 학습시키고, 인간 자세 추정을 통해 스윙 비디오에서 17개의 신체 키포인트를 추출한다. 얼굴 키포인트 중에서는 가려짐 문제를 고려하여 코 키포인트만을 사용하며, 최종적으로 15개의 키포인트를 활용한다. 추출된 키포인트들은 그래프 구조로 조직화되어 ST-GCN과 STGAT 모델을 통해 공간-시간적 관계를 분석한다. 이 과정에서 Spin Axis, Launch Direction, Ball Speed라는 세 가지 주요 볼 특성을 예측 타겟으로 설정한다. 마지막으로 Integrated Gradients 기법을 적용하여 각 키포인트가 스윙 결과에 미치는 영향을 정량화하고, 스윙을 8개 단계로 나누어 단계별 키포인트 중요도를 분석한다.
• Keywords: Explainability, AI Application, Multimodal, Deep learning, Domain Adaptation