“AI 혁신, 강력한 보안 ‘브레이크’ 필수”…데이터 중심 ‘사이버 복원력’ 전환 시급

[산업일보]
올해 상반기 개인정보보호위원회 과징금 부과액이 6천405억 원에 달하는 등 기업의 정보 유출 경영 리스크가 대규모로 확산하는 추세다. 급변하는 IT 환경 속에서 선제적인 인공지능(AI) 보안 통제와 데이터 거버넌스를 확보해 ‘사이버 복원력(Cyber Resilience)’ 체제로 구조를 개편해야 한다는 제언이 나왔다.

서울 삼성동 코엑스에서 22일 열린 ‘제15회 개인정보보호페어 ＆ CPO워크숍(PIS FAIR 2026)’에서 김홍선 김·장 법률사무소 고문은 전통적인 IT 시스템과 AI 모델의 본질적인 차이를 짚으며 보안 접근법의 변화를 촉구했다.

그는 “기존 IT 환경은 1대1 매칭에 기반한 결정론적 구조여서 시스템 접근 권한 통제가 중심을 이뤘다. 반면 AI 모델은 수많은 벡터값 특성을 토대로 결과를 유추하는 확률론적 구조를 띤다”고 설명했다.

이러한 AI 환경에서는 데이터가 가중치와 얽혀 저장되기 때문에, 특정 개인정보가 모델에 학습될 경우 이를 완전히 분리하거나 삭제하는 ‘언러닝(Unlearning)’ 작업이 까다롭다. 김 고문은 “학습 전 단계부터 데이터 파이프라인 전반에 걸친 정합성 유지와 권한 관리가 필수적”이라고 강조했다.

기업 내부 지식을 활용해 환각 현상을 통제하는 ‘검색증강생성(RAG)’ 환경의 보안 취약점도 지적됐다. 원본 문서를 쪼개는 청킹과 수치화하는 임베딩 과정을 거치면서, 기존 문서에 부여됐던 기밀 유지 권한 표식이 유실될 위험이 있기 때문이다.

김 고문은 “벡터 DB(Vector DB)가 외부 공격자의 표적이 되면 기업 자산이 고스란히 노출되는 만큼 기존 데이터베이스와 동일한 수준의 엄격한 메타데이터 접근 통제가 선행돼야 한다”고 덧붙였다.


김 고문은 AI 모델 학습 과정에서 원본 데이터 유출을 막기 위한 실효성 있는 대안으로 ‘개인정보 보호 강화 기술(PET)’을 제시했다. 데이터에 노이즈를 추가해 개별 정보 식별을 막는 차분 프라이버시(Differential Privacy), 원본을 각 기관에 둔 채 모델 업데이트 값만 공유하는 연합 학습(Federated Learning), 암호화된 상태 그대로 연산을 수행하는 동형암호(Homomorphic Encryption) 등이 거론됐다.

정보보호 규제 환경의 변화에 따른 기업 거버넌스 개편 필요성도 다뤄졌다. 오는 9월부터 시행되는 정보통신망법 및 개인정보보호법 개정안은 최고경영자(CEO)를 보호 조치의 최종 책임자로 명시하며 제재 기준을 강화했다. 이는 사이버 보안이 실무 부서를 넘어 이사회 중심의 경영 리스크로 전환됐음을 보여준다.

이에 김 고문은 “무수히 쏟아지는 자율형 위협과 취약점을 단순 사고 예방 위주의 기존 보안 수칙만으로는 온전히 방어하기 어렵다”며 침해 사고 발생을 전제하고 피해를 빠르게 수습하는 사이버 복원력 체제로의 패러다임 전환을 당부했다.

김 고문은 F1 경주를 예로 들며 “직선 도로에서 속도 경쟁을 가르는 것은 결국 브레이크 제어 능력”이라며 “강력한 보안 통제(브레이크)와 뛰어난 가시성(거울), 규제 컴플라이언스(가드레일)가 조화를 이룰 때 비로소 안전하면서도 신속한 AI 비즈니스 혁신을 이룰 수 있다”고 강조했다.