Flower SuperGrid : 협력형 AI와 분산 학습의 미래
분산학습의 형태를 가진 협력형 AI(Collaborative AI)이라는 흥미로운 개념이 제시되어 간단하게 정리하여 소개해 봅니다..이 내용은 다음의 영상에서 소개되었습니다.“Flower SuperGrid : 협력형 AI와 분산 학습의 미래”
https://www.youtube.com/watch?v=C5oYk1bn4_o
개념
- (1) 중앙 집중식 방식에서 벗어나 개별 데이터가 있는 곳에서 학습이 진행되도록 하는 방식입니다.
- (2) Flower SuperGrid 플랫폼, 협력형 에이전트, Supergrid Frontier 파이프라인으로 구성됩니다.
- (3) 전 세계에 퍼져있는 방대한 데이터들을 안전하게 연결하여 인공지능의 성능을 끌어올리는 방식입니다.
원리 : 데이터가 있는 곳으로 연산(Computation)을 보내는 분산형 학습(연합 학습) 구조
- (1) 초기 모델 배포: 데이터가 없는 중앙 코디네이터(Superlink)가 사전 훈련된 초기 모델을 데이터가 저장된 개별 슈퍼 노드(Super Nodes)로 전송합니다.
- (2) 로컬 데이터 학습: 각 슈퍼 노드는 중앙 서버로 데이터를 보내지 않고, 전달받은 모델을 자신들의 로컬에 있는 자체 데이터만 사용하여 학습시킵니다.
- (3) 업데이트된 모델 반환: 훈련이 끝나면 슈퍼 노드는 원본 데이터가 아닌, 데이터 학습을 통해 얻은 업데이트된 모델(가중치 등 학습 결과)만을 코디네이터에게 다시 전송합니다.
- (4) 모델 집계(Aggregation): 중앙 코디네이터는 여러 슈퍼 노드로부터 전달받은 약간씩 다른 모델의 업데이트 결과들을 하나로 집계(병합)하여 개선된 단일 모델을 생성합니다.
- (5) 지속적인 반복 수행: 이렇게 하나로 집계된 모델은 다시 각 슈퍼 노드로 배포되며, '모델 분배 -> 로컬 학습 -> 결과 반환 -> 집계'로 이어지는 과정이 계속해서 반복됩니다.
특성
- (1) 데이터 보안 : 데이터가 로컬 환경을 전혀 벗어나지 않았음에도 불구하고 네트워크에 연결된 모든 로컬 데이터를 전부 학습한 것과 동일한 효과를 얻게 됩니다.
- (2) 작업 수락 및 거부의 자유: 중앙 코디네이터(Superlink)가 메시지를 보낼 때, 개별 슈퍼 노드는 해당 메시지(작업)를 수락할지 거부할지 스스로 결정합니다.
- (3) 결과 전송의 최종 차단 권한: 로컬에서 학습한 후, 만약 도출된 결과에 민감한 정보가 포함되어 있다면 슈퍼 노드 운영자가 전송을 차단(거절)할 수 있습니다.
- (4) 슈퍼 노드들은 무조건적으로 중앙 코디네이터의 지시를 따르는 것이 아니라, 철저하게 슈퍼 노드 운영자가 사전에 구성한 원칙에 따라서만 메시지를 전송하고 협업합니다.