Google로 로그인
By inforience in AI_Dive —

AI를 연구하는 AI 과학자를 직접 만들어 보자. (1)

찾아낸 연구문제와 가설들

이 글은 무엇에 관한 이야기인가

연구자가 새로운 연구 주제를 정하는 과정에서 가장 먼저 하는 일은 자신의 연구 분야에서 아직 해결되지 않은 문제를 찾는 것입니다. 수백, 수천 편의 논문을 읽고 머릿속으로 지도를 그려야 하지요. 누가 무엇을 시도했고, 아직 풀리지 않은 문제가 무엇이며, 서로 모순된 결과를 제시한 연구들은 없는지, 어떤 새로운 가설을 세워야 할 지에 대해 분석해 가면서요. 이 과정은 오랜 시간이 걸리는 작업이며, 시간을 오래 쓰고서도 중요한 것들을 빠뜨리게 될 가능성도 있습니다. 항상 좋은 결과를 얻는 것도 아닙니다. 사실, 박사학위 과정이 몇년 씩 걸리는 가장 큰 이유들 중의 하나도 이러한 과정의 어려움 때문일 지도 모릅니다.

이 글은 AI 분야의 연구 문제 및 가설 발굴 과정을 AI로 자동화해 본 이야기입니다. 다만 현재는 새로운 기술을 개발한다기 보다는 이미 검증된 여러 기법들을 잘 찾아서 엮어보는 단계입니다. 재미있는 것은, 이미 공개된 방법들을 찾아 적용하는 과정에서, AI를 연구하는 AI 과학자를 구현하는데 필요한 새로운 문제와 아이디어를 실시간으로 찾아내고 있고, 구현 중인 시스템으로 새로운 가설도 직접 추출해 나가고 있다는 점입니다.

어떤 자료를 모아서 쓰는가

현재 우리가 구현하고 있는 시스템은 문제/가설의 발굴 과정에서 성격이 다른 여러 자료를 함께 모아서 활용합니다.

  • AI 분야의 해외 학술 논문: 가장 기본이 되는 자료입니다. 컴퓨터과학, AI 분야의 국제 학술 논문들을 폭넓게 모아서 활용합니다.
  • 전자/컴퓨터 분야의 국내 대학 연구자들의 논문: 국내 대학 소속 연구자들이 발표한 논문 정보들을 따로 수집하여, "이 주제를 국내에서 누가 연구하고 있는가"를 확인하는 데 씁니다.
  • 공개된 코드 저장소(예: GitHub): 논문 속 아이디어가 실제로 코드/데이터로 구현되어 쓰이고 있는지 확인하는 자료입니다. 이 데이터는 가설 생성 이후의 실험단계에서도 활용됩니다.
  • 글로벌 AI 커뮤니티: 전 세계 사람들이 실제로 기술을 쓰면서 겪는 문제나 개선점을 실시간으로 확인할 수 있는 자료입니다. 아직 연구의 대상으로 선택되지 않았지만 실제 현장에서 이미 느껴지고 있는 문제들을 찾아내는 데 씁니다.
  • AI 관련 유튜브 영상: AI와 관련된 생생한 소식을 전하는 영상들의 내용을 모아 AI 분야의 관심이 어디로 향하는지 파악합니다.
  • AI 블로그: AI분야에서 활동하는 실무자들이 직접 작성하는 블로그 및 Google, OpenAI, Anthropic, Meta, DeepSeek, Qwen, Mistral 등과 같은 AI 기술 회사들의 기술 블로그들로부터 기술과 문제의 흐름을 확인합니다.

이렇게 성격이 다른 자료를 힘들게 모으는 이유는, 논문만 활용할 경우 학술적인 문제들만 파악하는 한계가 생기기 때문입니다. 아직 학술 분야에서 주목하고 있지는 않은, 그럼에도 불구하고 현장에서 제기되고 있는 이슈들까지 함께 봐야, 실용적인 문제까지 찾을 수 있습니다.

단계별 구성

이번 글에서는 우리의 작업이 어떤 단계로 구성되어 있는지 간략하게 설명하겠습니다. 각 단계의 세부적인 내용이나 기술적인 구조에 대해서는 차차 이어질 후속 글들에서 언급해 보기로 하고요.

1단계 — 모은 자료를 하나의 "지도"로 정리하기

수십만 편의 자료들을 그냥 쌓아두기만 하면 아무런 소용이 없습니다. 그래서 가장 먼저 하는 일은, 각 자료에서 무엇을 다뤘고, 어떤 방법을 썼고, 어떤 결과가 나왔는지를 뽑아내서 하나의 큰 지도로 연결하는 것입니다. 이걸 흔히 지식그래프라고 부릅니다.

지하철 노선도를 떠올려 봅시다. 역과 그 역들을 잇는 선이 있죠. 지식그래프도 비슷합니다. "A 방법은 B 문제를 다룬다", "C 방법은 D 데이터로 평가됐다", "E 결과는 F 결과와 상반된다" 등과 같은 내용들이 모여 문제, 연구 방법, 데이터, 평가방법 등을 서로 연결하는 큰 지도를 만들어 냅니다.

물론 이 지도를 만들 때 아무거나 다 집어넣지 않고, 미리 정해둔 몇 가지 특별한 정보만 사용합니다. 무엇을 풀려는 문제인지, 어떤 방법을 썼는지, 어떤 데이터로 검증했는지, 어떤 지표로 평가했는지, 어떤 결과가 나왔는지, 그리고 아직 못 푼 것은 무엇인지 등등이죠. 이렇게 범위를 미리 정해두면 지도가 깔끔해지고, 나중에 그래프 상에서 빠진 부분을 찾기도 쉬워집니다.

앞서 언급한 코드 저장소나 온라인 커뮤니티 같은 자료들도 같은 지도 위에 함께 연결합니다. 예를 들어, 코드 저장소를 활용하면 "G 방법을 실제로 구현한 도구가 있다"는 연결선이 논문에서 제시한 방법과 이어질 수 있습니다.

2단계 — 지도에서 "빈틈"을 찾기

이렇게 지도가 만들어지면, 이제 "아직 안 풀린 문제"를 다음과 같은 네 가지 다른 방식으로 추적합니다.

  1. 공백: 어떤 방법이 특정 문제는 다뤘는데, 비슷한 다른 상황에서는 아직 시도가 안 된 경우가 있을 수 있습니다. 예를 들어 "이 방법을 A데이터를 써서 검증했는데, B 데이터로는 아무도 안해봤네?"와 같은 것들이 대표적이죠. 뚫린 구멍을 찾는 것입니다.
  2. 모순: 서로 다른 연구가 같은 방법, 같은 상황을 놓고 정반대의 결론을 낸 경우가 있을 수 있습니다. 둘 다 맞을 순 없으니, 이건 다시 확인해볼 가치가 있겠지요.
  3. 수요: 실제 현장(온라인 커뮤니티 같은 곳)에서 사람들이 계속 문제를 제기하는데, 정작 학술적으로는 별로 다뤄지지 않은 주제가 이것에 해당합니다.
  4. 한계: 여러 자료들이 공통적으로 "이건 아직 한계다"라고 스스로 인정했는데, 그 뒤로 아무도 그 한계를 해결하지 못한 경우도 있을 수 있습니다.

여기서 흥미로운 지점이 하나 있습니다. 지도를 그리다 보면 간단한 계산만으로도 찾아낼 수 있는 빈틈이 있습니다. 예를 들어 "A와 B가 연결되어 있고, B와 C가 연결되어 있는데, A와 C는 아직 연결이 안 됐다면 그 빠진 연결선 자체가 하나의 주요 문제가 된다."라는 발상입니다. 이건 사실 1980년대에 처음 제안된 아주 오래된 아이디어Literature-Based Discovery)인데, 지금도 여전히 유효하게 쓰일 수 있습니다.

3단계 — 빈틈을 "검증 가능한 가설"로 바꾸기

문제를 찾았다고 끝이 아닙니다. "이 부분이 안 풀렸다"는 건 문제 제기일 뿐, 그 자체로는 누가 뭘 해야 할지 알 수 없습니다. 그래서 문제마다 검증 가능한 가설을 만들어 냅니다.

가설이란 "이걸 이렇게 하면, 저게 이렇게 좋아질 것이다"처럼, 맞는지 틀리는지 나중에 직접 확인해볼 수 있는 형태의 예측 문장이라고 할 수 있습니다. 막연히 "더 잘 될 것 같다"로 끝내지 않고, 항상 세 가지를 같이 포함합니다.

  • 무엇을 하자는 제안인지
  • 그렇게 하면 어떤 결과가 나올 거라고 예상하는지
  • 그 예상이 맞았는지 어떻게 확인할 수 있는지(검증 방법)

예를 들어 2단계에서 설명한 "공백" 방식으로 "이 방법은 A 상황에서는 시도되었는데, 구조가 비슷한 B 상황에서는 아직 아무도 시도하지 않았다"는 빈틈을 찾았다고 해봅시다. 여기서 나오는 가설은 대략 이런 형태가 될 수 있습니다.

"이 방법을 B 상황에 적용하면 기존 방법보다 성능이 나아질 것이다. A와 B는 구조적으로 유사하기 때문이다. 이는 B 상황에서 흔히 쓰이는 표준 평가 방식으로 확인할 수 있다."

막연한 감이 아니라, 이 문장 하나만으로 나중에 누군가 실제로 시도해봤을 때 "맞았다/틀렸다"를 판단할 수 있는 형태라는 점이 핵심입니다.

같은 빈틈에서 서로 다른 각도의 가설이 여러 개 나올 수도 있습니다. 그리고 이 가설들은 아무 근거 없이 지어내는 것이 아니라, 앞선 2단계에서 찾아낸 "공백, 모순, 수요, 한계"후보들을 실마리로 활용하여 만들어집니다. 이런 과정을 거쳐야 그럴듯하게 들리기만 하는 말이 아닌 실제 지도 위의 진짜 빈틈에 발을 딛고 서 있는 튼튼한 가설이 될 수 있습니다.

4단계 — AI가 추출한 가설들을 어떻게 걸러내는가

여러 가설이 만들어지면, 시스템이 스스로 3가지의 점검 과정을 자동으로 수행하여 가설들을 평가합니다.

여러 심사위원에게 동시에 물어보기

추출된 가설들을 평가할 때, 하나의 AI에게만 "이 가설 괜찮아?"라고 물으면 그 하나의 판단에 전적으로 의존하게 됩니다. 그래서 서로 다른 여러 AI 모델에게 각각 독립적으로 채점시키고, 그 결과를 다수결이나 중간값으로 합칩니다. 사람 심사위원 여러 명이 각자 채점하고 평균을 내는 것과 비슷한 발상이지요.

근거를 실제로 대조해보기

가설을 뒷받침하는 문장에 "이건 [어느 논문]을 근거로 한다"는 표시가 붙는데, 이게 실제로 논문의 내용과 일치하는지 하나하나 대조하여 확인합니다. 그럴듯하게 들리지만 실제로는 근거 논문에 없는 내용을 지어낸 건 아닌지 걸러내는 과정입니다.

정말 새로운 아이디어인지 재검색하기

이미 누군가 똑같은 걸 했는데 시스템이 모르고 "새로운 아이디어"라고 착각하는 일이 생기는 것을 막기 위해, 생성된 가설 문장으로 다시 검색해서 비슷한 기존 연구가 있는지 재확인합니다.

5단계 — 찾아낸 가설과 관련된 연구를 수행하는 국내 연구자 찾기

가설을 만드는 데서 끝나지 않고, "이 주제를 이미 연구하고 있는 국내 연구자가 있는지"도 같이 찾아 붙여줍니다. 논문 초록을 바탕으로 의미가 비슷한 연구자를 찾는 방식과, 핵심 키워드가 겹치는 연구자를 찾는 방식 두 가지를 함께 써서 서로의 약점을 보완하게 했습니다. 오래 전에 그 분야를 연구하기는 했지만 지금은 다른 연구를 하고 있는 연구자보다는, 최근에도 해당 분야에서 활발하게 연구하는 연구자를 우선적으로 찾아내도록 합니다.

그런데 말입니다.

추출된 가설에는 AI가 자체적으로 매기는 점수가 부여됩니다. 당연히 "점수가 높은 가설이 더 좋은 가설이겠지"라고 생각하기 쉽습니다. 그래서 이 점수를 실제로 믿어도 되는지 별도로 점검해봤습니다. 특정 시점 이전의 자료들만 활용하여 추출한 가설들을, 그 시점 이후에 실제로 나온 자료들과 하나하나 맞춰본 것입니다. 나중에 나온 자료들에서 실제로 연구된 가설일 수록 좋은 가설로 볼 수 있으니까요.

이 점검과정을 구현할 때 크게 신경 써야 하는 게 더 있습니다. 가설의 평가 대상으로 선택한 (특정 시점 이후에 나온) 정답지 자료들을 AI가 사실은 학습 과정에서 이미 본 적이 있어서 가설 추출 시에 이미 활용한 것은 아닌가 하는 의심입니다. 만약 AI가 이미 본 내용을 바탕으로 가설로 추출하고 마치 이것이 후속 자료들에서 연구된 것처럼 평가한다면, 검증자체가 의미 없어집니다. 이를 막기 위해 두 가지를 병행했습니다.

  • 가장 엄격하게 볼 때는, 정답지로 쓸 자료들을 AI가 학습을 마친 시점 이후에 나온 것들 중에서만 골랐습니다. 이러면 애초에 AI가 그 자료들을 볼 기회 자체가 없었던 게 됩니다.
  • 조금 더 범위를 넓혀봤는데, 날짜만으로는 안심할 수 없어서, 자료의 제목만 주고 초록 내용을 맞혀보게 하여 AI가 그 자료의 내용을 이미 기억하고 있는지 직접 확인했습니다. 여러 차례 테스트에서 이런 식으로 "이미 알고 있어서 맞힌" 사례는 한 건도 나오지는 않았습니다.

그런데, 시스템이 스스로 "이건 새롭다"고 판단한 가설들보다, 오히려 "이미 있는 것 같다"고 판단한 가설들이 나중에 실제 후속 연구로 이어진 비율이 더 높았습니다. 만약 "종합 점수"가 정말 쓸모 있는 지표라면, 후속 연구로 이어진 가설들의 평균 점수가 그렇지 못한 가설들보다 눈에 띄게 높아야 합니다. 그래야 점수가 높은 가설을 활용하면 좋다고 생각할 수 있으니까요. 그런데 실제로 측정해보니, 후속 연구로 이어진 가설들과 그렇지 않은 가설들의 점수가 뒤섞여서 거의 구분이 되지 않았습니다. 오히려 후속 연구로 이어진 가설들의 평균 점수가 그렇지 않은 가설들보다 살짝 낮게 나온 경우도 있었습니다.

사실 이러한 현상을 우리만 발견한 것은 아닙니다. 최근 여러 연구들에서 유사한 현상이 독립적으로 보고되고 있습니다. AI가 매긴 "참신함" 점수와 사람이 매긴 점수가 정반대로 나온 사례, AI가 "새롭다"고 본 가설일수록 오히려 나중에 영향력이 낮았던 사례, 가설 자체의 점수와 그걸 실제로 실행했을 때의 결과가 서로 관련이 별로 없었던 사례까지 있었습니다.

그래서 우리는 점수로 미리 걸러내는 방식을 신뢰하지 않기로 하고 일단 "결국 직접 실행해봐야 안다"는 원칙을 잠정적으로 세워 봤습니다. 이건 다음 단계 작업으로 이어지는 지점이라, 방향만 정해둔 상태입니다. 이 발견은, "AI가 좋다고 했으니 좋겠지"라고 그냥 믿으면 안 된다는 걸 스스로 확인한 셈이기도 합니다. 그래서 이 시스템이 만든 문제/가설 생성 보고서에는 항상 "이 점수는 예측력이 검증되지 않았다"는 경고가 함께 표시됩니다.

지금 어디까지 됐고, 앞으로 뭘 더 할 건가

지금까지 설명한 것(지식그래프 만들기 → 빈틈 찾기 → 가설 만들기 → 여러 방식으로 검증하기 → 관련 연구자 찾기)은 이미 동작하고 있습니다. 사람의 개입이 전혀 없이 계속 스스로 문제와 가설을 발굴해 쌓아가는 무인 모드도 만들어서 실제로 검증까지 마쳤습니다.

그러나 아직 더 나아가야 할 것들이 있습니다. 가설을 실제로 실행해서 맞는지 틀리는지 직접 확인하는 과정은 구현만 되어 있고 치밀한 검증과정은 아직 거치지 않았습니다. 외부 기준을 적용하여 이 시스템 전체의 작동 품질을 객관적으로 측정하는 작업은 최근에 진행 중이고, 사람이 직접 검수하고 확인하는 절차는 아직 보류 중입니다.

이 외에도 앞으로 해보려고 계획 중인 것들이 있습니다.

(1) 더 나은 가설을 고르는 눈을 다듬기

앞서 밝혔듯이 점수를 활용해서는 좋은 가설을 고를 수 없습니다. 그래서 "이 가설이 근거 하나에만 지나치게 기대고 있지는 않은지"와 같은 새로운 확인 질문을 추가하는 등, 판단 자체를 더 정교하게 만드는 방법을 검토하고 있습니다.

(2) 국내 연구자를 찾는 범위를 넓히기

지금은 미리 확보해 둔 국내 연구자들의 풀에서만 관련 연구자를 찾는데, 국가가 운영하는 연구정보 데이터베이스와 연결하면 우리의 시스템에 등록되어 있지 않은 연구자나, 아직 논문으로 나오지 않고 진행 중인 국가 연구과제까지 찾아볼 수 있을 것으로 기대해 보고 있습니다.

(3) 발견한 가설/데이터를 활용하여 실제 연구를 수행하는 과정을 테스트하기

좋은 연구문제와 가설을 찾아야 좋은 연구결과를 얻을 수 있다고 믿기 때문에, 현재까지는 연구할 가치가 있는 문제와 가설을 찾는 과정을 구현하는데에 주로 집중해 왔지만, 진정한 AI 과학자라면 스스로 연구를 기획하고 수행하는 능력까지 가져야 합니다. 이 과정도 이미 구현완료하여 이것저것 테스트해 보고 있기는 하지만 아직 손볼 곳이 남아 있습니다.

참고문헌

이 시스템을 만들면서 직접 참고하거나 방법을 차용한 논문들입니다.

지식그래프의 뼈대로 삼은 연구

가설을 만드는 방식에 참고한 연구

AI가 스스로 매긴 점수를 믿으면 안 되는 이유를 확인해준 연구

품질 검증(여러 심사위원·근거 대조) 방식에 참고한 연구

"실제로 얼마나 잘 맞히는지" 객관적으로 재는 방법에 참고한 연구