본문 바로가기

‘AI는 왜 그런 판단을 내렸을까’…신뢰성 요구 높아져

설명 가능한 AI(XAI) 기술, AI 판단의 신뢰성 ↑, 적용 확대 견인할 것

[산업일보]
“자율주행차, 금융, 의료, 보안과 같은 작은 실수가 업무 수행 전체에 치명적인 영향을 끼칠 수 있는 미션 크리티컬(Mission Critical) 시스템에서의 인공지능(AI) 기술 적용이 확산되면서 AI 신뢰성 증대 요구의 목소리가 더욱 높아지고 있다.”고 한국인터넷진흥원(KISA) 오동환 보안산업단장은 말했다.

2일, 서울 롯데호텔월드와 온라인으로 동시 진행한 ‘제3회 AI Security Day 세미나’의 개회사 통해 이 같이 밝힌 오동환 단장은 “AI가 내린 판단을 믿을 수 없기에 사람이 다시 개입하는 상황이 발생하고 있다. 이는 산업현장에서의 AI 도입의 애로사항으로 작용하고 있다.”고 지적했다.
‘AI는 왜 그런 판단을 내렸을까’…신뢰성 요구 높아져
▲한국인터넷진흥원(KISA)의 오동환 보안산업단장
(자료=제3회 AI Security Day 세미나 캡쳐)

이어 “유럽연합(EU)은 2018년부터 GDPR(개인정보보호 규정)에 의거해 알고리즘에 의해 자동으로 결정한 사안에 대해서는 회사에서 설명을 제공하도록 강요하고 있다.”며 “미국에서는 (알고리즘에 의한)신용카드 발급, 주택담도 대출 등에 대한 주요 금융 결정에 대해 이유를 제시하도록 법적으로 강제하고 있다.”며 주요 선진국들의 AI 신뢰성 요구 동향에 대해 짚었다.

오 단장은 앞으로 AI 시스템이 어떻게 작동하고, 왜 그런 판단을 내리는지에 대한 이해가 보안적인 관점에서 더욱더 중요해질 것이라며, 설명 가능한 AI(XAI : eXplainable AI) 기술은 AI 판단의 신뢰성을 높이고 적용 확대를 위한 불가결한 요소라고 덧붙였다.

그는 미국 DARPA에서 이미 이러한 이유로 2017년부터 글래스박스(Glass Box) 과제를 선도적으로 추진하며, 설명 가능한 모델, 관련 인터페이스 개발 등 AI의 설명 가능성 확보에 힘쓰고 있다며, 우리나라도 과학기술정보통신부를 중심으로 설명 가능한 AI 연구센터를 설립해 고려대, 카이스트 등 세계적 수준의 XAI 연구를 진행하고 있다고 밝혔다.
‘AI는 왜 그런 판단을 내렸을까’…신뢰성 요구 높아져
▲ 과학기술정보통신부 정은수 정보보호산업과장
(자료=제3회 AI Security Day 세미나 캡쳐)

과학기술정보통신부 정은수 정보보호산업과장은 축사를 통해 “앞으로 5년간 AI 보안 기업 총 60개사를 선정해 육성할 것”이라며, “이 기업들은 세계 AI 보안 시장에서 글로벌 기업들과 경쟁하게 될 것이다.”고 말했다.

또한 “과기정통부와 한국인터넷진흥원은 AI 데이터 확보로 어려움을 겪는 국내 기업을 위해 사이버 보안 AI 데이터셋을 구축했다. 악성코드, 침해사고 2개 분야로 나눠 구축했으며 총 8억 건 이상을 목표로 올해 연말까지 구축을 완료해 내년 초 일반 국민들이 사용할 수 있도록 할 예정”이라고 덧붙였다.

이어진 기조강연에서는 카이스트(KAIST) 고기혁 팀장이 ‘인공지능은 왜 그렇게 판단하는가?’에 대해, 매트 터크(Matt Turek) DARPA 정보혁신 오피스 프로그램 매니저는 DARPA의 XAI 관해 발표했다.

또한 세부 트랙에서는 의료, 보안, OT 분야 등에서의 XAI 활용에 대한 전문가 발표가 이어졌다.

한편, 이번 세미나와 함께 AI 활용한 아이디어 확산을 위한 'AI 보안 제품·서비스 개발 지원사업 성과 공유회'와 'AI+Security 우수논문·아이디어 공모전 시상식'도 함께 개최했다.
‘AI는 왜 그런 판단을 내렸을까’…신뢰성 요구 높아져

(자료=제3회 AI Security Day 세미나 캡쳐)
김원정 기자 sanup20@kidd.co.kr

제조기업 강국이 되는 그날까지, 공장자동화 스마트팩토리에 대한 뉴스를 기획·심층 보도하겠습니다.

이 기자의 다른기사 보기 >
ad광고추천제품

0 / 1000

추천제품

1/9

가상화폐 시세

loader
Bitcoin logo icon

비트코인

%
Ethereum logo icon

이더리움

%
Ripple logo icon

리플

%
Provided by Bithumb logo icon