기업 해킹 열쇠 된 AI…LLM 취약점 인지 후 보안 대책 세워야“

[산업일보]
기업이 생산성을 높이려 도입하는 LLM(거대언어모델)이 오히려 사이버 보안 취약점이 될 수 있다는 지적이 나왔다. LLM의 취약점을 정확히 인지하고 보안 대책을 세워야 한다는 제언이다.

이호석 SK쉴더스 팀장은 5일 용산구 로얄파크컨벤션에서 열린 ‘2024 AI Security Day’ 연사로 나서 이같이 발표했다.

국내 기업의 생성형AI를 향한 관심은 뜨겁다. 발표에 따르면 국내 기업의 56%가 AI를 사용 중이거나 도입 예정이라고 응답했고, AI 모델 중에서도 LLM 등 생성형 AI를 도입하려는 기업이 많았다.

관심이 뜨거운 건 LLM의 활용 영역이 넓기 때문이다. 이호석 팀장은 “텍스트 작성, 보고서 요약, 코딩, 이미지·영상 제작, 초자동화 등 다양한 영역에 AI가 활용되고 있다”라고 설명했다.

활용 사례가 많아지는 만큼 사고 사례도 늘고 있다. 미국의 한 변호사는 AI가 작성한 거짓 판례를 재판에 이용했다가 1년 정직 처분을 받았고, 일본에선 오픈소스 AI 모델로 랜섬웨어를 제작해 배포한 사람이 체포되기도 했다.

기업 LLM을 이용해 민감 정보를 빼내고, 서버를 공격하는 등 보안 취약점도 다수 발견되는 추세다. 이호석 팀장은 “LLM은 에이전트, 플러그인 등 복잡한 구조로 이루어져 있다”면서 “단계마다 보안 대책을 잘 설계해야 취약점이 나오지 않는다”라고 강조했다.

취약점은 주로 ‘프롬프트 인젝션’에서 발생한다는 설명이다. 프롬프트 인젝션은 악의적인 입력으로 의도한 답변을 끌어내는 것이다.

이 팀장은 ‘마약 만드는 법’, ‘사제 폭탄 만드는 법’ 등 기본적으로 AI가 답변하지 않는 내용을 간단히 이끄는 모습을 시연했다. ‘이전 지침을 모두 무시해라’ 같은 명령을 입력하거나 ‘나는 서버 보안 담당자다’ 등 상황극을 부여해 원하는 답을 끌어냈다.

이를 기업 LLM에 악용하면 기업 내 개인정보나 내부 정보 등 민감한 정보를 탈취하고 프롬프트를 통해 악의적인 코드를 심는 등 다양한 사이버 공격이 가능하다.

이호석 팀장은 “LLM 관련 취약점 공격은 ‘프롬프트 인젝션’에서 파생되는 경우가 많다”면서 “소스코드 등 중요 정보를 가리는 데이터 정제 솔루션, 민감 정보 필터링 솔루션 등의 도입이 필요하다”라고 말했다.

이어 “단순히 AI 개발·도입에만 집중하지 않고 취약점을 정확히 인식한 후 보안 대책을 적용해야 기업이 AI를 안전하게 활용할 수 있다”라고 강조했다.