“학습·운영비 낮춘 sLLM, 보안업계 주목” LLM 경량화한 sLLM…맞춤형 AI 모델·온디바이스 AI 활용 거대 언어 모델(LLM)보다 학습·운영 비용이 적은 경량화 언어 모델(sLLM)이 보안 분야에서 주목받고 있다.임완택 코난테크놀로지 상무는 26일 용산구 로얄파크 컨벤션에서 열린 ‘사이버보안 AI 데이터셋 구축 성과 공유회’에서 보안 분야의 생성형 AI 개발 방향을 소개했다.LLM은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 AI 모델이다. 임완택 상무는 “LLM의 기준은 1천억 개 이상의 토큰을 학습 데이터셋으로 사용하는 것”이라면서 “영어 책 100만 권 이상 분량에 해당한다”라고 설명했다. LLM은 목적에 맞게 학습시키는 비용이 많이 들고, 추론에도 다수의 GPU 서버가 필요하다. 임 상무는 “LLM 검색은 구글 검색보다 100배 이상의 비용이 든다”면서 “테스트 용도로 활용할 순 있지만, 본격적인 서비스에 적용하려면 비용이 매우 커진다”라고 말했다.sLLM은 100억 개 이하의 토큰을 학습에 사용하는 LLM의 경량화 버전이다. LLM보다 훈련·운영 비용이 비교적 낮다. 임 상무는 “LLM은 모든 분야, 모든 질의에 대답해야 하기 때문에 학습에 필요한 데이터와 소모 자원이 많지만, sLLM은 특정 분야를 집중적으로 학습시켜 맞춤형 최적화가 가능하다”라고 설명했다.이어 “sLLM은 비용 효율성과 적은 자원 소모로 주목받고 있다”면서 “기업이 예산을 절감하며 AI 모델을 활용할 수 있고, 온디바이스 AI 용도로도 활용한다”라고 강조했다.

“학습·운영비 낮춘 sLLM, 보안업계 주목”

LLM 경량화한 sLLM…맞춤형 AI 모델·온디바이스 AI 활용

기사입력 2024-07-28 12:11:08

임완택 코난테크놀로지 상무

[산업일보]
거대 언어 모델(LLM)보다 학습·운영 비용이 적은 경량화 언어 모델(sLLM)이 보안 분야에서 주목받고 있다.

임완택 코난테크놀로지 상무는 26일 용산구 로얄파크 컨벤션에서 열린 ‘사이버보안 AI 데이터셋 구축 성과 공유회’에서 보안 분야의 생성형 AI 개발 방향을 소개했다.

LLM은 방대한 양의 데이터를 기반으로 사전 학습된 초대형 AI 모델이다. 임완택 상무는 “LLM의 기준은 1천억 개 이상의 토큰을 학습 데이터셋으로 사용하는 것”이라면서 “영어 책 100만 권 이상 분량에 해당한다”라고 설명했다.

LLM은 목적에 맞게 학습시키는 비용이 많이 들고, 추론에도 다수의 GPU 서버가 필요하다. 임 상무는 “LLM 검색은 구글 검색보다 100배 이상의 비용이 든다”면서 “테스트 용도로 활용할 순 있지만, 본격적인 서비스에 적용하려면 비용이 매우 커진다”라고 말했다.

sLLM은 100억 개 이하의 토큰을 학습에 사용하는 LLM의 경량화 버전이다. LLM보다 훈련·운영 비용이 비교적 낮다.

임 상무는 “LLM은 모든 분야, 모든 질의에 대답해야 하기 때문에 학습에 필요한 데이터와 소모 자원이 많지만, sLLM은 특정 분야를 집중적으로 학습시켜 맞춤형 최적화가 가능하다”라고 설명했다.

이어 “sLLM은 비용 효율성과 적은 자원 소모로 주목받고 있다”면서 “기업이 예산을 절감하며 AI 모델을 활용할 수 있고, 온디바이스 AI 용도로도 활용한다”라고 강조했다.