교육현장에서 AI의 활용 빈도와 범위가 점점 넓어지고 있음에도 불구하고, AI의 환각(Hallucination) 현상은 사라지지 않고 있습니다. 아니, 어쩌면 AI의 환각 현상은 피할 수 없는 것인지도 모릅니다. 따라서 환각이 학생들의 학습 과정과 결과에 어떤 영향을 미치는지 많은 사람들이 연구해 왔습니다. 

이 글은 최근 발표된 사회/교육 관련 논문들을 분석하여, 아직 해결되지 않은 AI 관련 연구문제들과 가설들을 찾아보고 정리한 내용을 담고 있습니다.

이 글에서 언급하는 문제와 가설들은 인포리언스가 직접 개발하고 있는 “AI를 연구하는 AI 과학자 시스템(https://info.shadowego.com/ai_scientist_1/)”의 문제/가설 발굴 과정을 활용하여 추출한 결과입니다.

풀리지 않은 연구 문제 1 :  [공백] 아바타 표현(Avatar Representation)이 AI 환각으로 인한 학습의 착각(Illusion of learning)을 감소시키는지 검증해야 한다. [1]

가상의 캐릭터(아바타)를 사용하는 것이 AI가 틀린 정보를 알려줄 때 학습자가 착각에 빠지는 것을 막을 수 있는지 확인해야 합니다. 

최근 교육 현장에서는 가상의 캐릭터(아바타)를 활용하면 학습 참여도나 흥미를 높일 수 있다는 요구가 계속되고 있습니다. 하지만 AI를 이용해 공부할 때는 AI가 사실이 아닌 내용을 지어내는 환각 때문에 문제가 생깁니다. 이로 인해 학습자는 자신이 제대로 배웠다고 착각하는 '학습의 착각(Illusion of learning; 실제로는 배우지 못했는데 배운 것 같은 느낌)'에 빠질 위험이 있습니다.

이 문제는 AI가 틀린 정보를 줄 때, 화면 속 가상 캐릭터(아바타)를 보여주면 학습자가 속지 않고 올바르게 공부할 수 있는지 묻습니다. 즉, 캐릭터가 있다면 학생들이 AI의 말을 무비판적으로 받아들이는 것을 줄여줄 수 있는지 알아보려는 것입니다. 결국 캐릭터가 AI의 오류로부터 학습자를 보호하는 도구가 될 수 있는지 확인하는 것입니다.

기존 연구에서는 생성형 AI가 교육에 쓰일 때 발생하는 오류와 환각을 학생들의 비판적 사고를 키우는 기회로 삼아야 한다고 지적했습니다[4]. 하지만 아직까지는 AI 환각이 학습의 착각을 일으킨다는 문제점만 강조되었을 뿐입니다. 또한 아바타 표현을 개입시키면 그런 착각을 줄일 수 있는지는 아직 검증되지 않았습니다.

근거 논문  

The Pedagogy of AI Mistakes: Fostering Higher-Order Thinking [1]

개요: 이 논문은 생성형 AI가 교육에 통합되면서 발생하는 오류와 환각을 단순한 한계가 아니라, 학생들의 비판적 사고와 고차원적 사고력을 키울 수 있는 기회로 활용하는 방법을 탐구합니다. AI를 학습 도구로 적절히 활용하여 학생들이 단순히 답을 받아먹는 것을 넘어, 스스로 분석하고 평가하는 능력을 기르게 하는 것이 중요하기 때문입니다.

연구 방법: 연구자는 데이터베이스 설계 수업의 커리큘럼을 재설계하여, 일부러 AI가 틀린 답을 내놓게 하거나 불완전한 결과를 제시하도록 설정했습니다. 학생들은 이 AI의 결과물을 검토하고 수정하는 활동을 통해, 블룸의 분류학에서 말하는 분석, 평가, 종합 같은 고차원적 사고 과정을 직접 경험하도록 유도했습니다.

핵심 결과: 연구 결과, 사후 테스트 점수의 중앙값(약 6.5점)이 사전 테스트(약 4.5점)보다 유의미하게 상승했고, 점수 분포도 더 좁아져 학생들의 성취도가 향상되었음을 보여주었습니다. 또한 학생들은 데이터베이스 주제 중 ER 스키마 설계에 대해 가장 높은 자기 효능감(중앙값 4.0)을 보였으며, 전반적으로 과제 수행 능력이 개선되었습니다.

도출 근거

실무적 관점에서는 아바타 활용이 참여, 학습, 심리적 몰입의 증대와 자기 정체성에 대한 향상 효과를 가져올 것이라는 예측이 반복 제기되었으나 학술적 연구에서는 환각으로 인해 학습의 착각이 발생한다는 한계만 지적되고 아바타의 개입 효과가 검증되지 않았습니다.

정리하면, 인공지능이 틀린 정보를 주는데도 학습자가 마치 제대로 배운 것처럼 착각하는 문제를 해결해야 합니다. 실제 현장에서는 학습 참여도를 높이기 위해 아바타를 활용하자는 요구가 많지만, 아바타가 이런 학습 착각을 줄이는지는 아직 밝혀지지 않았습니다. 따라서 아바타 표현이 인공지능 환각으로 인한 오해를 줄이는 효과가 있는지 연구할 필요가 있습니다. 이는 아바타가 단순한 재미를 넘어 학습의 정확성을 높이는 도구가 될 수 있는지 확인하는 과정입니다.

풀리지 않은 연구 문제 #2 : [공백] 경고 메시지(warning message)가 환각이 발생하는 심리학(Psychology) 및 연구(Research) 과업에서의 학습 효과와 환각 탐지율에 미치는 영향을 검증해야 한다. [2][3]

이 연구는 'AI가 틀릴 수도 있다는 경고 메시지(warning message)를 띄우면, 학생들이 공부를 더 잘하게 되고 AI가 거짓말을 하는지 더 잘 알아챌 수 있게 되는가?'를 묻고 있습니다. 쉽게 말해, AI의 실수 가능성을 미리 알려주는 것이 학생들이 AI를 더 똑똑하게 쓰게 만드는지 알아보려는 것입니다.

수학 문제를 풀 때 AI의 실수 가능성을 경고하면 학생들이 AI를 맹신하지 않아 환각에 의한 문제가 줄어든다는 사실은 이미 다른 논문에 의해 밝혀졌습니다[2]. 하지만 학생들이 겪는 AI 환각의 유형을 분석한 연구[1]에 따르면, 심리학 분야 및 연구 과업에서는 이러한 경고의 효과가 아직 구체적으로 평가되지 않았습니다.

근거 논문

AI Hallucination from Students' Perspective: A Thematic Analysis [2]

개요: 이 논문은 학생들이 겪는 AI 환각 현상에는 어떤 유형이 있는지 파악하여 AI 활용의 문제점을 분석하려는 시도를 했습니다.

연구 방법: 63명의 학생이 남긴 152개의 댓글을 수집하여, 내용을 분석하고 주제별로 분류하는 방식을 사용했습니다. 이를 통해 AI 환각이 발생하는 상황과 유형을 체계적으로 정리했습니다.핵심 결과: 학생들의 57%가 환각 문제를 가장 많이 언급했으며, 그 중 26%는 '없거나 틀린 출처 인용'을, 21%는 '정보 조작'을 주된 문제로 꼽았습니다. 또한 54%의 학생이 별도 검증 없이 자신의 판단만으로 환각을 식별한다고 답했습니다.

Warning About AI Fallibility Increases Help-Seeking in an Intelligent Tutoring System [3]

개요: 이 논문은 AI 튜터링 시스템이 학습자에게 '실수할 수 있다'고 경고했을 때, 학생들의 문제 해결 방식이 어떻게 달라지는지를 알아보고자 했습니다. AI가 틀린 정보를 줄 수 있다는 점을 알리는 것이 학생들이 AI를 맹신하지 않고 더 비판적으로 태도를 갖게 하는지 확인하는 것이 중요한 포인트입니다.

방법: 연구진은 252명의 중학생을 두 그룹으로 나누어 실험했습니다. 한 그룹에는 AI 튜터가 실수할 수 있으니 메시지를 신중하게 읽으라는 경고 팝업을 띄우고, 다른 그룹에는 경고 없이 문제를 풀게 한 뒤 두 그룹의 행동을 비교했습니다.

핵심 결과: 그 결과, 경고를 본 학생들은 그렇지 않은 학생들에 비해 힌트 요청(도움 요청) 빈도가 유의미하게 더 높았습니다(평균 1.09회 vs 0.75회). 반면, 문제 풀이의 오류율이나 걸린 시간에는 두 그룹 간에 큰 차이가 없었습니다.

도출 가설

환각 관련 경고 메시지를 제공하면 심리학 및 연구 과업 수행 시 학습자의 환각 탐지율이 개선될 것이다. [2][3]

예상 결과: 경고 메시지 제공 그룹이 통제 그룹에 비해 환각된 정보를 식별하는 정확도가 유의미하게 높을 것입니다.
검증 방법: 심리학 및 연구 과업 데이터셋(환각 포함)을 활용하여 환각 탐지 정확도 및 신뢰도 지표를 측정합니다.

환각이 발생할 수 있다는 경고 메시지를 보여주면 학습자들이 거짓 정보를 더 잘 찾아낼 것이라고 예상합니다. 경고를 본 그룹은 아무런 알림이 없는 그룹보다 틀린 정보를 정확하게 구별할 것으로 보입니다. 이를 확인하기 위해 심리학 및 연구 과제 데이터를 사용하여 정보 식별 정확도를 측정합니다. 연구 결과는 경고 메시지가 환각 탐지 능력을 실제로 높여주는지 검증하는 근거가 될 것입니다.

풀리지 않은 연구 문제 #3 :  [한계] AI 환각(AI hallucination)으로 인한 인지적 하역(Cognitive offloading)과 자동화 편향(Automation bias)을 동시에 완화하는 교육적 개입 방법을 개발해야 한다. [2][4][1][5]

AI가 틀린 정보를 만들어내더라도 학습자가 스스로 생각하는 능력을 잃지 않도록 돕는 교육 방법이 필요합니다. 

최근 AI를 활용한 학습이 늘어나고 있지만 AI의 환각으로 인해 학습자가 AI에게 지나치게 의존하게 되어 스스로 판단하는 힘을 잃을 위험이 있습니다. 이 문제는 결국 'AI가 내놓는 잘못된 정보에 속지 않고, 학습자가 올바르게 판단할 수 있게 가르치는 방법은 무엇인가?'를 묻습니다. AI가 모든 것을 대신해주도록 내버려 두면(인지적 하역 - 머리 쓰는 일을 기계에 맡김), AI가 틀려도 무조건 믿는 습관이 생기게 되어 자동화 편향이 발생할 수 있습니다. 따라서 이러한 나쁜 습관을 동시에 예방할 수 있는 교육책이 필요합니다.

여러 연구에서 AI 환각이 해결되지 않은 주요한 문제라고 지적되었습니다[2, 1, 5]. 특히 AI가 틀린 정보를 내놓는 상황은 학습자가 AI에게 지나치게 의존하는 인지적 하역과 자동화 편향을 더 강하게 만들어[4], 비판적 사고를 방해한다고 보고되었습니다[1].

따라서 AI 환각으로 인해 발생하는 두 가지 의존 현상을 동시에 줄여줄 수 있는 구체적인 교육 방법이 실제로 효과가 있는지 검증되어야 합니다.

근거 논문

Trust and Reliance on AI in Education: AI Literacy and Need for Cognition as Moderators [4]

개요: 이 연구는 학생들이 교육용 AI를 얼마나 믿는지가 올바른 의존(맞는 제안은 받아들이고 틀린 제안은 거절)에 어떤 영향을 미치는지, 그리고 개인의 특성이 이 관계를 어떻게 조절하는지 알아내려 했습니다. AI를 너무 맹신하거나 무시하는 오류를 줄여 학습 효과를 높이는 데 중요한 시사점을 주기 때문입니다.

방법: 학생들에게 파이썬 코딩 문제를 풀게 하면서, AI가 맞는 제안과 틀린 제안을 섞어서 제시하는 실험을 진행했습니다. 실험 후 학생들의 신뢰도를 조사하고, 이 신뢰도가 실제로 올바른 의존을 얼마나 했는지와 어떤 관계가 있는지 통계 분석(회귀 분석 등)을 통해 확인했습니다.

핵심 결과: 분석 결과, AI에 대한 신뢰가 높을수록 올바른 의존 비율이 낮아지는 음(-)의 상관관계가 나타났습니다(상관계수 -0.42). 특히 학생들은 틀린 제안을 잘못 받아들이는 과도한 의존(86.03%)을 자주 보였고, 맞는 제안을 거절하는 과소 의존(2.37%)은 드물었습니다.

From Diagnosis to Inoculation: Building Cognitive Resistance to AI Disempowerment [6]

개요: 이 논문은 AI가 인간의 인지 능력을 약화시키는 현상을 막기 위해, '백신 이론'을 AI 교육에 적용하는 방법을 제안하는 이론적 틀을 구축하고자 합니다. AI로 인한 인간의 무력화를 방지하고 사용자가 AI를 올바르게 신뢰하도록 돕는 것이 중요하기 때문입니다.

방법: 저자는 AI 왜곡에 맞서기 위해 백신 이론을 적용한 교육적 틀을 제시하고, 8가지 학습 성과를 조작 가능한 개입 수단으로 제안하는 방법을 사용했습니다. 또한, 실제 사례 연구를 통해 이 이론이 어떻게 적용될 수 있는지를 설명하며, 교육적 접근과 실증적 분석이 수렴될 수 있음을 보였습니다.

핵심 결과: 이 논문은 두 가지 독립적인 접근 방식(교육적 틀과 실증적 분석)이 AI 상호작용의 문제를 중복되게 설명한다는 수렴을 보여주는 개념적 기여를 했습니다. 하지만 통제 그룹이 없는 시범 과정과 사후적 분석의 한계로 인해, 제안된 내용은 향후 통제된 연구를 통해 실증적 검증이 필요하다고 결론지었습니다.

Auditing Student-AI Collaboration: A Case Study of Online Graduate CS Students [5]

개요: 이 연구는 대학원생들이 실제로 AI를 어떻게 사용하고 있는지, 그리고 그들이 원하는 자동화 수준과는 어떤 차이가 있는지를 파악하려 했습니다. 이는 학생들과 AI가 협력하는 방식을 이해하고 교육에 더 잘 활용하게 하는 중요한 과정입니다.

방법: 연구자는 컴퓨터 과학 대학원생 12명을 대상으로 다양한 과제에서 AI를 사용하는 이유와 실제 사용 정도를 조사했습니다. 그리고 학생들이 원하는 자동화 수준과 실제 사용 수준을 비교하여 그 차이를 분석했습니다.

핵심 결과: 모든 과제에서 학생들이 원하는 AI 자동화 수준이 실제 사용 수준보다 높게 나타났으며, AI를 사용하는 가장 큰 이유는 '시간 절약'이었습니다. 또한, 실제 사용량은 크지 않아도 AI를 통해 수행하고자 하는 수준 높은 과제들이 있어 추가적인 AI 활용 가능성이 보였습니다.

도출 가설

AI의 오류 가능성을 사전에 경고하는 예방 접종(inoculation) 교육을 실시하면 인지적 하역과 자동화 편향이 감소될 것이다. [4][6]

AI의 오류 가능성을 미리 경고하는 교육을 하면, 사람들이 AI에게 지나치게 의존하거나 AI 답변을 무조건 믿는 경향이 줄어들 것이다.

배경 : 이 가설은 아무런 교육이 없는 상태(표준 비교 대상)와 비교하여, AI가 틀릴 수 있다고 미리 알려주는 '예방 접종(심리적 면역; 잘못된 정보에 맞서 미리 경험해 저항력을 갖는 것)' 교육의 효과를 확인하려는 맥락에서 나왔습니다. 이 가설은 AI가 실수할 수 있다고 미리 경고하는 교육이, 사람들이 스스로 생각하지 않고 AI에게만 의지하는 '인지적 하역(뇌 사용 줄이기; 생각의 노고를 줄이기 위해 기계에 맡기는 것)'과 AI를 맹신하는 '자동화 편향(자동 믿음; 기계가 하니까 무조건 맞다고 여기는 것)'을 줄여주는지 검증합니다. 미리 경고를 받으면 사람들이 AI 답변을 더 꼼꼼하게 따져볼 것이기 때문에 그럴듯합니다. 이 가설은 AI 환각문제를 해결하기 위해, 기존 연구에서 제안한 예방 접종 이론을 AI 교육 상황에 적용하여 두 가지 인지적 오류를 동시에 잡으려는 연구 문제와 직접 연결됩니다.

예상 결과: 예방 접종 교육을 받은 학생들이 AI 답변을 무비판적으로 수용하는 비율이 통제 그룹보다 낮을 것입니다.
검증 방법: AI 조력을 사용하는 과업에서 인지적 하역 지표와 자동화 편향 척도를 활용하여 교육 효과를 측정합니다.

인공지능이 틀릴 수도 있다는 점을 미리 알려주는 예방 접종 교육을 하면 무비판적인 수용 태도가 줄어들 것입니다. 교육을 받은 학생들은 그렇지 않은 학생들보다 인공지능 답변을 덜 맹신하고 의문을 가질 것으로 예상됩니다. 이를 확인하기 위해 인공지능 조력을 사용하는 과제에서 편향 정도를 측정하여 교육의 효과를 검증할 것입니다. 이 가설은 사전 경고가 학습자의 독립적인 사고를 얼마나 지켜주는지 보여줄 수 있습니다.

참고 문헌

[1] (arxiv, 2026) The Pedagogy of AI Mistakes: Fostering Higher-Order Thinking — https://arxiv.org/abs/2605.05472 

[2] (arxiv, 2026) AI Hallucination from Students' Perspective: A Thematic Analysis — https://arxiv.org/abs/2602.17671 

[3] (arxiv, 2026) Warning About AI Fallibility Increases Help-Seeking in an Intelligent Tutoring System — https://arxiv.org/abs/2606.03822 

[4] (arxiv, 2026) Trust and Reliance on AI in Education: AI Literacy and Need for Cognition as Moderators — https://arxiv.org/abs/2604.01114 

[5] (arxiv, 2026) Auditing Student-AI Collaboration: A Case Study of Online Graduate CS Students — https://arxiv.org/abs/2601.08697 

[6] (arxiv, 2026) From Diagnosis to Inoculation: Building Cognitive Resistance to AI Disempowerment — https://arxiv.org/abs/2602.15265