완료 한국연구재단 Optimization Stability

인공지능 시스템의 실용화를 위한 딥러닝 안정성 알고리즘 개발

지원 기관
한국연구재단기본연구 사업
연구 기간
2022.06 – 2025.022년 9개월
상태
완료
연구 분야
Trustworthy AIOptimization Stability
1차년도

적응 가능한 표현 학습

Wasserstein 거리 기반 클래스 의존 표현 학습, 지식 전이를 통한 다중 도메인 통합 모델 구축

2차년도

적대적 노이즈 강건성

잠재 공간 내 오분류까지의 최소 거리로 안정성 측정, margin과 smoothness를 동시에 만족하는 모델 개발

3차년도

제약 있는 데이터 학습

반복 pseudo 라벨링 기반 noisy label 학습, 접근 불가 데이터를 활용한 모델 구축

연구 목표

본 연구진은 총 3년 동안의 연구를 통하여 최종 목표인 인공지능 시스템 실용화를 위한 안정적인 딥러닝 알고리즘을 개발함. 우선 1차년도에는 새로운 데이터에 적응할 수 있는 표현 학습 방법론을 개발함. 이 기간에는 우선 Wasserstein 거리를 활용하여 데이터에서 같은 클래스를 가지는 샘플들의 임베딩이 비슷하게 가까이 위치하도록 하는 클래스 의존적 표현 학습 방법론을 개발함. 이를 활용하면 분포가 다른 새로운 데이터에서도 모델이 안정적으로 작동할 것으로 예상됨. 또한 1차년도에서는 데이터 변형 및 지식 전이를 활용하여 다중 도메인에 적용될 수 있는 알고리즘을 개발함. 이를 활용하면 다양한 도메인들에 적용 가능한 일반화된 통합적 모델을 구축할 수 있을 것으로 예상됨. 2차년도에서는 노이즈에 강건한 모델을 위해 적대적 노이즈를 활용한 연구를 진행함. 우선 먼저 인공지능 모델의 안정성을 효율적으로 측정할 수 있는 지표를 개발함. 새로운 데이터에 노이즈가 추가되었을 때, 그 데이터가 잠재 공간에서 다른 샘플로 오분류될 수 있는 최소 거리를 측정하여 개발함. 또한 이를 활용하여 적대적 노이즈에 영향을 받지 않는 학습 알고리즘을 개발함. 추가적으로 본 연구진이 예비 연구를 통해 밝혀낸 강건한 모델의 두 핵심 요소인 margin과 smoothness를 동시에 만족하는 모델을 개발함. 마지막으로 3차년도에서는 제약조건이 존재하는 데이터에서 안정적으로 학습 가능한 알고리즘을 개발함. 첫 번째로 반복적 pseudo 라벨링을 통하여 noisy 라벨 데이터를 학습할 수 있는 알고리즘을 개발함. 실제 산업 현장에서는 데이터의 라벨링이 불완전하게 되어 있는 경우가 많아 이러한 알고리즘 연구가 필수적임. 두 번째로 개인정보 보호를 위해 접근이 불가능한 데이터를 활용하여 모델을 구축하는 알고리즘을 개발함. 1차년도에서 연구한 데이터 변형 방법론을 적용하여 새로운 알고리즘을 개발함. 본 연구진은 일반화를 위한 표현학습 방법론, 강건성을 위한 알고리즘, 제약 조건이 있는 데이터에서의 학습 알고리즘을 통하여 딥러닝의 안정성을 다각도로 접근하여 실용화된 인공지능을 촉진함.

연구 그림

3개년 추진 체계와 연차별 추진 전략그림 확대 보기
연구 그림