Google로 로그인
By Inforience in AI_Dive —

AI가 스스로 "연구 문제"를 찾아준다면? — AI 과학자 분야를 대상으로 실험해봤다

AI가 논문을 읽고 "다음 연구 문제"를 뽑아준다는 것

최근 논문 몇 편만 알려주면 AI가 "이 분야에서 아직 안 풀린 문제가 뭔지", "그 문제를 풀려면 어떤 가설을 세워야 하는지"까지 자동으로 정리해주는 도구를 실험하고 있다. 사람이 수십 편의 논문을 일일이 읽고 빈틈을 찾는 대신, AI가 논문들 사이의 관계를 그래프로 엮어서 "여기 아직 답이 없네", "이 두 논문 결과가 서로 안 맞네" 하는 지점을 짚어주는 방식이다.

이번에는 이 도구를 흥미로운 주제에 써봤다 — 다름 아닌 "AI가 스스로 과학 연구를 하는 기술"(AI for Science, Agentic Scientist, AI 과학자) 그 자체다. AI에게 "AI 과학자를 만드는 과정에서 어떤 문제와 가설이 있는지 찾아봐"라고 시킨 셈이다. 논문 19편을 분석해서 연구 문제 6개와 가설 5개를 뽑아냈는데, 그 결과를 그대로 옮기기보다 어느 게 진짜 말이 되고, 어느 게 억지로 짜맞춘 건지 하나하나 따져봤다. AI가 만든 결과를 AI가(그리고 사람이) 검증하는 이중 점검인 셈이다.

먼저 밝혀둘 게 있다. 이 도구는 스스로 만든 결과에 자체 점수를 매기는데(인용 충실도, 사실성), 이번 결과의 전체 평균은 **인용 충실도 83%, 사실성 59%**였다. 즉 "이 문제가 실제 논문 내용과 얼마나 정확히 들어맞는가"를 도구 스스로 채점했을 때도 절반 가까이는 근거가 흔들린다는 뜻이다. 그래서 아래에서는 각 문제를 소개하면서, 어디가 튼튼하고 어디가 약한지도 같이 짚었다.

배경 — 왜 "AI 과학자"인가

AI for Science는 인공지능이 단순한 계산 도구를 넘어 스스로 가설을 세우고, 실험을 설계하고, 결과를 해석해 논문까지 쓰는 과정을 자동화하려는 분야다. 사람이 감당하기 어려울 만큼 쏟아지는 논문과 복잡한 문제를 AI의 힘으로 더 빠르게 뚫어보자는 취지다. 이 분야에서 자주 등장하는 개념은 세 가지다 — 스스로 목표를 세우고 행동하는 AI 에이전트, 검증해야 할 주장인 가설, 그리고 이 모든 과정이 사람이 나중에 확인할 수 있도록 투명해야 한다는 감사 가능성·재현성이다.

연구 문제는 어떻게 4가지 유형으로 나뉘는가

아래 목록에는 문제마다 [한계]·[공백]·[모순]·[수요] 같은 꼬리표가 붙어 있다. 이건 AI가 논문 더미에서 "어떤 근거로 이걸 문제라고 판단했는가"를 알려주는 표시다. 네 가지 유형은 이렇게 정의된다.

  • [한계] 한계(limitation): 여러 논문이 입을 모아 "이건 아직 못 풀었다"고 스스로 인정한 약점. 저자들이 직접 한계로 못 박은 내용을 근거로 삼는다.
  • [공백] 공백(gap): 어떤 방법이 비슷한 상황에서는 이미 쓰였는데, 정작 특정 대상(예: 특정 데이터셋·특정 분야)에는 아직 적용·검증된 적이 없는 "빈 자리".
  • [모순] 모순(contradiction): 똑같은 방법을 똑같은 대상에 적용했는데, 서로 다른 논문(혹은 같은 논문 안)에서 상반된 결과가 나온 경우.
  • [수요] 수요(demand): 실제 현장(블로그·커뮤니티 등에서 나오는 실무자들의 목소리)에서는 계속 문제 삼는데, 정작 논문들은 이 문제를 충분히 다루지 않고 있는 경우.

이 네 가지 중 공백·수요·한계 세 유형은 AI의 "감"에만 맡기지 않는다. 논문들의 관계를 그래프로 미리 계산해서, "이런 조합이 비어 있다", "이런 요구가 반복되는데 논문이 부족하다", "이런 한계를 여러 논문이 공통으로 인정했다"는 후보를 알고리즘이 먼저 뽑아 AI에게 참고 자료로 건네준다. 반면 모순은 이런 사전 계산 없이, AI가 triple들을 읽으면서 스스로 판단한다 — 그래서인지 이번 결과에서도 모순으로 분류된 문제(3번)가 실제로는 모순이 아닐 수 있다는 게 드러났다.

여기에 하나 더, 정식 유형은 아니지만 알고리즘이 참고 자료로 쓰는 "전이(transfer)"라는 다섯 번째 힌트도 있다. "A 방법과 B 방법이 같은 데이터셋을 쓰는데, B 방법은 어떤 과업 하나를 더 다루고 A 방법은 그 과업을 아직 안 다뤄봤다" 같은 패턴을 찾아서 "A 방법도 그 과업에 적용해볼 만하다"는 힌트를 만든다. 이건 공백과 결이 비슷한 발상이라, 최종적으로 문제에 꼬리표가 붙을 때는 대개 [공백]으로 흡수된다 — 그러니까 화면에 "[전이]"라는 꼬리표가 직접 보이는 일은 없다.

네 유형 다 "논문에서 자동으로 문제를 뽑아내는" 나름의 정당한 전략이지만, 아래에서 보듯 실제로 적용해보면 유형별로 결과물의 신뢰도 차이가 꽤 크게 났다.

찾아낸 6개의 연구 문제, 하나씩 뜯어보기

1. [한계] AI 과학자가 좋은 소식만 좋아한다는 문제

문제 요약: 지금의 LLM(거대 언어 모델) 기반 과학자 시스템은 기존에 알려진 "긍정적인" 사실들을 조합하는 데는 능숙하지만, "이 관계는 존재하지 않는다"는 식의 부정적인 지식을 만들어내는 데는 서툴다. 이 편향을 고치지 않으면 AI가 만드는 가설의 범위 자체가 좁아진다.

근거 논문: Contemporary AI lacks the imagination to diverge or negate in science — 12만 편 이상의 과학 논문을 분석해, AI가 긍정적 주장은 잘 재조합하지만 "관계가 없다"는 부정적 지식은 잘 못 만든다는 걸 확인한 논문.

딸린 가설: 가설을 만들 때 처음부터 "영가설"(아무 효과도 없다는 가정)을 명시적으로 포함시키면, 포함하지 않았을 때보다 더 객관적인 결과가 나올 것이다.

평가: 방향은 합리적이다. 다만 근거 논문의 실제 발견은 "AI가 부정적 지식을 잘 못 만든다"는 더 좁고 구체적인 이야기인데, 이걸 "증거 편향"이라는 더 넓은 표현으로 바꿔 쓴 감이 있다. 딸린 가설도 검증 방법이 살짝 어긋난다 — "영가설을 잘 구분해내는 분류기의 정확도"를 재는 건, "가설 생성 과정 자체가 더 객관적으로 바뀌었는가"를 재는 것과는 다른 이야기다. 방향은 맞지만 증명 방법이 원래 주장을 딱 맞게 검증하지는 못한다.

2. [공백] "누가 했는지"와 "어디서 왔는지"를 착각한 문제

문제 요약: 여러 AI가 협업해서 논문을 자동으로 쓰는 시스템(AutoResearch)이 신뢰받으려면, 이미 다른 협업 도구(Clarus)에서 성공적으로 쓰인 "신원 확인" 기법을 가져다 써야 한다는 주장.

근거 논문: AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery — 연구 자동화를 사람 전담부터 AI 자율까지 5단계로 분류하며, 증거 보존·재현성·책임성이 아직 남은 과제라고 지적한 논문. Clarus: Coordinating Autonomous Research Agents toward Web-Scale Scientific Collaboration — 여러 자율 연구 에이전트가 신원을 확인하며 협업할 수 있는 구조를 제안한 논문.

평가: 이번 6개 문제 중 가장 근거가 약했다(도구 자체 채점으로 사실성 33% — 최저). 딸린 가설조차 만들어지지 않았다("채택된 가설 없음"). 이유를 들여다보면, Clarus가 푸는 문제는 "이 작업을 누가 했는지 확인하는 것"(신원 확인)이고, AutoResearch의 진짜 약점은 "이 결과가 어떤 근거에서 나왔는지 추적하는 것"(출처 추적)이다. 둘 다 "신뢰"라는 큰 단어로는 묶이지만, 사실은 서로 다른 종류의 문제다. 누가 썼는지 아는 것과, 그 내용이 어디서 왔는지 아는 것은 다른 이야기다 — 이 둘을 그냥 이어붙인 게 이 문제의 약점이다.

3. [모순] 같은 논문 안의 "모순"이라는데, 정말 모순일까

문제 요약: AI 에이전트가 실험 피드백을 얼마나 잘 활용하는지에 대해 같은 논문 안에서 "효율을 높였다"는 결과와 "피드백 활용에 자주 실패한다"는 결과가 동시에 나왔으니, 이를 해소해야 한다는 주장.

근거 논문: Compressing the Validation Bottleneck: An Agentic Self-Driving Lab for Scientific Discovery — LLM이 다음 실험을 제안하고, 저렴한 신호로 값비싼 측정을 미리 예측해 실험 횟수와 비용을 함께 줄이는 자율 실험실을 제안한 논문.

딸린 가설: 피드백에 둔감한 모델에 "사전 지식"을 더해주면 실패율이 줄고 실험 비용이 낮아질 것이다.

평가: "모순"이라는 표현부터 다시 볼 필요가 있다. 원 논문을 보면, 비용 절감은 "저렴한 신호로 미리 결과를 예측하는" 기법에서 온 것이고, "피드백 활용 실패"는 그와는 다른 구성요소(다음 실험을 제안하는 부분)의 이야기다. 즉 이 둘은 애초에 서로 다른 부품에 대한 서로 다른 이야기일 뿐, 논리적으로 모순되는 주장이 아닐 가능성이 크다. 딸린 가설은 도구 스스로도 "근거 약함(원 논문에 이런 조합을 뒷받침하는 언급이 없음)"이라고 표시했는데, 실제로 그렇다 — 다소 임의로 조합된 가설이다.

4. [수요] "빨리 하고 싶다"는 전제는 어디서 왔나

문제 요약: 연구 속도를 높이려는 수요가 있는데, 스스로 실험하는 "자율 주행 실험실"은 한 가지 형태(예: 특정 지형)에서 배운 걸 다른 형태로 옮기는 능력(기하학적 전이)이 부족해 이 수요를 못 채우고 있다는 주장.

근거 논문: AI CFD Scientist: Toward Open-Ended Computational Fluid Dynamics Discovery with Physics-Aware AI Agents — 물리 법칙을 이해하는 AI 에이전트가 유체 역학을 스스로 탐구해, 특정 지형(주기적 언덕)에서는 성능을 높였지만 다른 지형으로 옮기면 성능이 떨어지는 걸 확인한 논문.

딸린 가설: 여러 AI 에이전트가 협업하는 방식을 쓰면, 혼자 하는 방식보다 이 전이 성능이 좋아질 것이다.

평가: 절반은 탄탄하고 절반은 허술하다 — "형태가 바뀌면 성능이 떨어진다"는 부분은 실제 논문이 확인한 내용이라 근거가 있다. 하지만 "연구 속도를 높이고 싶다"는 전제는 인용 없이 그냥 당연한 통념처럼 붙어 있다("수요"형 문제에서 자주 보이는 상투적인 서두다). 딸린 가설도 도구 스스로 "근거 없음"이라 표시했다 — 원 논문은 다중 에이전트가 전이 성능을 높인다는 이야기를 하지 않는다.

5. [한계] 혼자보다 여럿이 낫다는, 가장 튼튼한 조합

문제 요약: AI 과학자가 혼자 처리할 수 있는 생각의 양에는 한계("인지적 병목")가 있는데, 여러 AI가 역할을 나눠 협력하는 방식이 이를 완화하는지 검증하고 확장해야 한다는 주장.

근거 논문: AI Scientists as Engines of Discovery: A Case for Development within Reformed Institutions — 여러 AI 에이전트가 연구 그룹처럼 협력하는 다중 에이전트 시스템(Denario)이 단일 모델의 인지적 한계를 넘어 더 넓은 가설 공간을 탐색할 수 있음을 보여준 논문.

딸린 가설: 단일 모델 대신 생성·비평·검증 등 역할을 나눈 다중 에이전트 시스템을 쓰면 가설의 품질이 좋아질 것이다.

평가: 이번 6개 중 가장 근거가 탄탄한 조합이다(도구 자체 채점으로 사실성 100%, 가설도 "직접 지지"). 근거 논문이 실제로 "단일 모델의 한계"와 "다중 에이전트의 개선 효과"를 함께 다루고 있어서, 문제와 가설이 논문 내용과 정확히 맞아떨어진다. 다만 아쉬운 점도 있다 — 참신함 점수가 5점 만점에 1점으로 매우 낮다. 비슷한 연구가 이미 여러 건 있어서, "맞는 말이지만 새로운 이야기는 아니다"에 가깝다.

6. [공백] 투자 리스크 관리 기법을 연구 윤리에 가져다 쓴다는 발상

문제 요약: 자율 연구 시스템의 윤리적 문제와 책임 소재 불분명 문제를 해결하려면, 불확실한 상황에서의 의사결정을 다루는 수학적 모델(POMDP)의 "불확실성 관리" 기능을 통합해야 한다는 주장.

근거 논문: AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery — 문제 2에서도 인용된 논문. Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation — 불확실한 상황에서의 의사결정 과정을 단계별로 검증하는 POMDP 기반 방법을, 투자 포트폴리오 관리에 적용해 손실을 줄인 논문.

딸린 가설: 이 불확실성 정량화 기법을 자율 연구 시스템의 판단 과정에 넣으면 윤리적 위험이나 오류로 인한 실패율이 줄어들 것이다.

평가: 문제 2와 같은 패턴의 약점을 갖고 있다. 근거로 인용된 POMDP 논문이 실제로 검증한 분야는 투자 포트폴리오 관리다 — 자율 연구 시스템의 윤리와는 전혀 무관한 영역이다. "다른 분야에서 잘 통한 기법이니 여기서도 통할 것이다"라는 추론인데, 이 정도로 멀리 떨어진 분야 간의 이전이 실제로 통할지는 검증된 바가 없다. 아이디어 자체는 흥미롭지만, 근거로 삼기엔 거리가 멀다.

종합 — AI가 찾아낸 문제 중 뭘 믿을 수 있을까

여섯 개를 다 훑어보니 뚜렷한 패턴이 보인다.

  • "공백"형 문제(2번·6번)가 구조적으로 가장 약했다. 둘 다 서로 다른 논문 두 편을 억지로 이어 붙인 형태였고, 도구 자체 점수로도 나란히 최하위권이었다. 문헌에 없는 조합을 스스로 찾아 메우려는 시도는 흥미롭지만, 이번 결과를 보면 "서로 무관한 두 개념을 그럴듯하게 연결"하는 실수로 이어지기 쉬웠다.
  • "한계"형 문제(1번·5번)는 상대적으로 근거가 탄탄했다. 하나의 논문이 실제로 다룬 내용에서 직접 도출된 문제일수록 안정적이었다.
  • 가설 단계에서 근거가 약해지는 경우가 많았다. 문제 자체는 그럴듯해도, 거기서 파생된 가설이 원 논문에 없는 내용을 임의로 조합한 사례가 세 건(1-1, 3-1, 4-1)이나 됐다. 다행히 이런 경우는 도구가 스스로 "근거 약함"이라고 표시해뒀다 — 완전히 무비판적으로 결과를 내놓지는 않는다는 뜻이다.
  • 가장 근거가 탄탄했던 문제(5번)조차 참신함은 낮았다. 이건 오히려 자연스러운 트레이드오프에 가깝다 — 근거가 확실하다는 건 이미 많이 연구된 안전한 영역이라는 뜻이기도 하니까.

결론적으로, AI가 논문 더미에서 "연구 문제"와 "가설"을 자동으로 뽑아주는 건 확실히 시간을 아껴주는 출발점이 될 수 있다. 하지만 이번 실험이 보여주듯, 그 결과를 곧이곧대로 믿기보다는 "이 문제가 정말 근거 논문이 말한 그대로인가"를 한 번은 사람이(혹은 이번처럼 또 다른 검증 과정이) 다시 확인하는 게 여전히 중요하다. 특히 서로 다른 논문·분야를 이어 붙여 "빈틈"을 메우려는 문제일수록 더 꼼꼼히 봐야 한다는 게 이번 실험의 가장 뚜렷한 교훈이다.