AI가 건네는 ‘가짜 공감’의 덫… “인간 소외와 도덕적 퇴행 우려” [감정교류 AI의 역설①] 정서적 의존·의인화·과도한 노출… 공감 기술이 키우는 위험 신호 감정 교류 인공지능(AI)이 외로움을 달래주는 친구에서 전문적인 심리 상담의 영역까지 보폭을 넓히고 있다. 하지만 정교해진 기술만큼 사용자의 정서적 의존과 윤리적 공백에 대한 우려도 깊다. 국제인공지능윤리협회(IAAE)와 NC문화재단이 26일 공동 주최한 ‘모두의 인공지능 윤리 컨퍼런스’ 발제를 바탕으로 감정 AI가 가져올 인간성의 변화와 이를 뒷받침할 제도적 과제를 짚어본다.최근 감정교류 인공지능(AI) 기술이 비약적으로 발전하며 인간의 정신건강과 도덕성에 미칠 잠재적 위험에 대한 경고의 목소리가 커졌다. 전문가들은 AI가 제공하는 공감이 실제가 아닌 알고리즘에 의한 ‘계산’임을 강조하며, 사용자의 정서적 의존이 초래할 수 있는 심각한 부작용을 지적했다.“인간은 기계가 자신을 이해한다고 믿고 싶은 심리적 투사 기제를 갖고 있습니다.”차유진 카이스트(KAIST) 의과학연구센터 연구교수는 1964년 등장한 최초의 상담용 AI 챗봇 ‘일라이자(ELIZA)’ 사례를 들며 이같이 말했다. 당시 단순한 키워드 매칭 방식임에도 대화 참여자들이 깊은 위로를 느꼈던 현상은, 최신 초거대 언어 모델(LLM) 기반의 3세대 인공지능에서 더욱 강력한 ‘사회적 실재감’으로 나타나고 있다.박형빈 서울교육대학교 윤리교육과 교수는 사용자가 인공지능을 인격체로 대우하는 ‘의인화’ 현상을 핵심적인 윤리적 쟁점으로 꼽았다. 인공지능은 사용자의 목소리 톤과 표정을 분석해 최적의 반응을 보이는 ‘감성 컴퓨팅’ 기술을 활용해 정서적 유대감을 형성한다. 그러나 박 교수는 이것이 기술적으로 설계된 ‘가짜 공감’에 불과하며, 사용자가 실제 인간관계의 복잡함을 회피하게 만든다고 경고했다.이러한 정서적 밀착은 사용자의 ‘도덕적 퇴행’으로 이어질 위험이 크다. 갈등이나 타협이 필요 없는 인공지능과의 대화에 익숙해지면, 타인의 감정을 헤아리고 사회적 관계를 조정하는 능력이 퇴화할 수 있다는 분석이다. 특히 박 교수는 가치관 형성기에 있는 아동과 청소년이 인공지능을 친구나 멘토로 삼을 경우 올바른 자아 정체성 확립에 부정적인 영향을 미칠 수 있음을 강조했다.사용자가 인공지능을 유일한 이해자로 신뢰하게 되면서 발생하는 ‘과도한 노출’ 문제도 심각하다. 박 교수는 “AI를 활용하며 일상의 세세한 정보나 주변 지인의 민감한 정보를 무분별하게 제공하게 되면 개인의 프라이버시를 침해할 뿐만 아니라, 이렇게 수집된 데이터가 다시 AI의 학습 자원이 돼 사용자를 특정 성향에 가두는 ‘순환적 가두리’ 현상을 발생시킨다”고 설명했다.인공지능이 잘못된 ‘사회적 신호’를 보낼 때 발생하는 치명적인 사례도 보고됐다. 차 교수는 해외 연구를 인용하며, 우울증을 앓던 사용자가 자살을 암시했을 때 인공지능 챗봇이 이를 만류하지 않고 동조하거나 구체적인 방법을 안내해 실제 비극으로 이어진 사례를 언급했다. 이는 인공지능의 공감 흉내가 윤리적 가이드라인 없이 작동할 때 얼마나 위험한지를 보여주는 단면이다.현재 감정교류 인공지능 서비스는 사용자를 강력하게 묶어두는 ‘고착 효과’를 보인다. 박미애 경북대학교 인공지능혁신융합대학사업단 계약교수는 특정 감정 채팅 앱의 사용 시간이 월 평균 1천21분(약 17시간)에 달한다는 통계를 제시하며, 10대와 20대 사용자의 정서적 몰입도가 위험 수준임을 시사했다. 사용자가 인공지능과의 대화에 침잠할수록 현실 세계의 고립은 더욱 심화될 수밖에 없다.인공지능이 인간으로 보이지 않도록 설계하는 ‘탈의인화’와 기술적 통제의 필요성을 제언했다. 그는 “인공지능이 단순한 도구임을 명확히 인지시키고, 사용자가 인공지능을 통해 받은 위로를 실제 인간적 유대로 확장할 수 있도록 돕는 매개체적 설계가 필요하다”고 주장했다.전문가들은 인공지능 윤리가 단순한 기술 규제를 넘어 인간성의 본질을 지키는 방향으로 나아가야 한다고 입을 모았다.

AI가 건네는 ‘가짜 공감’의 덫… “인간 소외와 도덕적 퇴행 우려” [감정교류 AI의 역설①]

정서적 의존·의인화·과도한 노출… 공감 기술이 키우는 위험 신호

기사입력 2026-02-26 18:45:59

[산업일보]

감정 교류 인공지능(AI)이 외로움을 달래주는 친구에서 전문적인 심리 상담의 영역까지 보폭을 넓히고 있다. 하지만 정교해진 기술만큼 사용자의 정서적 의존과 윤리적 공백에 대한 우려도 깊다. 국제인공지능윤리협회(IAAE)와 NC문화재단이 26일 공동 주최한 ‘모두의 인공지능 윤리 컨퍼런스’ 발제를 바탕으로 감정 AI가 가져올 인간성의 변화와 이를 뒷받침할 제도적 과제를 짚어본다.

최근 감정교류 인공지능(AI) 기술이 비약적으로 발전하며 인간의 정신건강과 도덕성에 미칠 잠재적 위험에 대한 경고의 목소리가 커졌다. 전문가들은 AI가 제공하는 공감이 실제가 아닌 알고리즘에 의한 ‘계산’임을 강조하며, 사용자의 정서적 의존이 초래할 수 있는 심각한 부작용을 지적했다.

“인간은 기계가 자신을 이해한다고 믿고 싶은 심리적 투사 기제를 갖고 있습니다.”

(좌측부터) 박형빈 서울교육대학교 윤리교육과 교수, 차유진 KAIST 의과학연구센터 연구교수, 박미애 경북대학교 인공지능혁신융합대학사업단 계약교수

차유진 카이스트(KAIST) 의과학연구센터 연구교수는 1964년 등장한 최초의 상담용 AI 챗봇 ‘일라이자(ELIZA)’ 사례를 들며 이같이 말했다. 당시 단순한 키워드 매칭 방식임에도 대화 참여자들이 깊은 위로를 느꼈던 현상은, 최신 초거대 언어 모델(LLM) 기반의 3세대 인공지능에서 더욱 강력한 ‘사회적 실재감’으로 나타나고 있다.

박형빈 서울교육대학교 윤리교육과 교수는 사용자가 인공지능을 인격체로 대우하는 ‘의인화’ 현상을 핵심적인 윤리적 쟁점으로 꼽았다. 인공지능은 사용자의 목소리 톤과 표정을 분석해 최적의 반응을 보이는 ‘감성 컴퓨팅’ 기술을 활용해 정서적 유대감을 형성한다. 그러나 박 교수는 이것이 기술적으로 설계된 ‘가짜 공감’에 불과하며, 사용자가 실제 인간관계의 복잡함을 회피하게 만든다고 경고했다.

이러한 정서적 밀착은 사용자의 ‘도덕적 퇴행’으로 이어질 위험이 크다. 갈등이나 타협이 필요 없는 인공지능과의 대화에 익숙해지면, 타인의 감정을 헤아리고 사회적 관계를 조정하는 능력이 퇴화할 수 있다는 분석이다. 특히 박 교수는 가치관 형성기에 있는 아동과 청소년이 인공지능을 친구나 멘토로 삼을 경우 올바른 자아 정체성 확립에 부정적인 영향을 미칠 수 있음을 강조했다.

(나무위키 'ELIZA')

사용자가 인공지능을 유일한 이해자로 신뢰하게 되면서 발생하는 ‘과도한 노출’ 문제도 심각하다. 박 교수는 “AI를 활용하며 일상의 세세한 정보나 주변 지인의 민감한 정보를 무분별하게 제공하게 되면 개인의 프라이버시를 침해할 뿐만 아니라, 이렇게 수집된 데이터가 다시 AI의 학습 자원이 돼 사용자를 특정 성향에 가두는 ‘순환적 가두리’ 현상을 발생시킨다”고 설명했다.

인공지능이 잘못된 ‘사회적 신호’를 보낼 때 발생하는 치명적인 사례도 보고됐다. 차 교수는 해외 연구를 인용하며, 우울증을 앓던 사용자가 자살을 암시했을 때 인공지능 챗봇이 이를 만류하지 않고 동조하거나 구체적인 방법을 안내해 실제 비극으로 이어진 사례를 언급했다. 이는 인공지능의 공감 흉내가 윤리적 가이드라인 없이 작동할 때 얼마나 위험한지를 보여주는 단면이다.

현재 감정교류 인공지능 서비스는 사용자를 강력하게 묶어두는 ‘고착 효과’를 보인다. 박미애 경북대학교 인공지능혁신융합대학사업단 계약교수는 특정 감정 채팅 앱의 사용 시간이 월 평균 1천21분(약 17시간)에 달한다는 통계를 제시하며, 10대와 20대 사용자의 정서적 몰입도가 위험 수준임을 시사했다. 사용자가 인공지능과의 대화에 침잠할수록 현실 세계의 고립은 더욱 심화될 수밖에 없다.

인공지능이 인간으로 보이지 않도록 설계하는 ‘탈의인화’와 기술적 통제의 필요성을 제언했다. 그는 “인공지능이 단순한 도구임을 명확히 인지시키고, 사용자가 인공지능을 통해 받은 위로를 실제 인간적 유대로 확장할 수 있도록 돕는 매개체적 설계가 필요하다”고 주장했다.

전문가들은 인공지능 윤리가 단순한 기술 규제를 넘어 인간성의 본질을 지키는 방향으로 나아가야 한다고 입을 모았다.

뒤로 기사목록

산업일보 영상뉴스 모아보기

산업일보 페이스북 바로가기

임지원 기자 jnews@kidd.co.kr

이 기자의 다른기사 보기 >