어드밴텍, NVIDIA 기반 엣지 AI 시스템으로 오픈 LLM 생태계 확대 Meta Llama·DeepSeek 등 오픈 소스 모델 배포 지원… 산업별 AI 적용 본격화 어드밴텍(Advantech)이 NVIDIA 기반 엣지 AI 컴퓨팅 기술을 바탕으로 Meta의 Llama, DeepSeek 등 오픈 소스 대규모 언어 모델(LLM)의 실시간 추론 및 배포를 지원하며 산업용 AI 시장 확대에 나섰다.Jetson 플랫폼과 TensorRT-LLM 최적화 기술이 결합된 해당 솔루션은 소형 엣지 장치부터 고성능 서버까지 다양한 규모의 LLM 워크로드를 처리할 수 있도록 설계됐다. 고속 추론과 유연한 확장성을 동시에 제공하며, 온디바이스 챗봇, 도메인 특화형 AI, 모델 수명주기 관리 등 다양한 응용 분야에 활용될 수 있다.연산 성능 기준으로 다양한 시스템 구성이 마련돼 있다. Jetson Orin NX 16GB 기반의 MIC-711-OX는 약 100 TOPS를 지원하며, 소매 키오스크나 로봇, IoT 디바이스 등 실시간 반응성이 필요한 환경에 적합하다.Intel Core i7과 RTX 4000 Ada Generation GPU 조합인 MIC-770V3 + MIC-75M20은 300 TOPS급 컴퓨팅 파워를 통해 문서 요약, 챗봇, 코딩 도우미, 사이버 보안 등의 기업형 AI 서비스에 적용된다.SKY-602E3는 AMD EPYC 프로세서와 RTX 4500 Ada Generation GPU 두 개를 탑재해 1,000 TOPS 이상 성능을 구현한다. 이 시스템은 Llama 모델의 도메인별 파인튜닝이 가능하며, 금융, 법률, 의료, 지식관리 등 고정밀 산업 분야에 활용되고 있다.이들 제품을 통해 전력 효율성과 메모리 최적화, NVIDIA 가속화 스택과의 통합 등을 기반으로, 고속 처리와 유연한 확장이 가능한 LLM 운용 환경을 구축하고 있다고 밝혔다.어드밴텍 관계자는 “산업 현장에서 오픈 LLM을 실질적으로 구현할 수 있도록 기술적 진입장벽을 낮추는 것이 핵심”이라며 “엣지 AI 인프라를 통해 고객의 AI 도입이 더욱 쉬워질 수 있도록 지원하겠다”고 말했다.

어드밴텍, NVIDIA 기반 엣지 AI 시스템으로 오픈 LLM 생태계 확대

Meta Llama·DeepSeek 등 오픈 소스 모델 배포 지원… 산업별 AI 적용 본격화

기사입력 2025-04-07 14:09:15

[산업일보]
어드밴텍(Advantech)이 NVIDIA 기반 엣지 AI 컴퓨팅 기술을 바탕으로 Meta의 Llama, DeepSeek 등 오픈 소스 대규모 언어 모델(LLM)의 실시간 추론 및 배포를 지원하며 산업용 AI 시장 확대에 나섰다.

Jetson 플랫폼과 TensorRT-LLM 최적화 기술이 결합된 해당 솔루션은 소형 엣지 장치부터 고성능 서버까지 다양한 규모의 LLM 워크로드를 처리할 수 있도록 설계됐다. 고속 추론과 유연한 확장성을 동시에 제공하며, 온디바이스 챗봇, 도메인 특화형 AI, 모델 수명주기 관리 등 다양한 응용 분야에 활용될 수 있다.

연산 성능 기준으로 다양한 시스템 구성이 마련돼 있다. Jetson Orin NX 16GB 기반의 MIC-711-OX는 약 100 TOPS를 지원하며, 소매 키오스크나 로봇, IoT 디바이스 등 실시간 반응성이 필요한 환경에 적합하다.

Intel Core i7과 RTX 4000 Ada Generation GPU 조합인 MIC-770V3 + MIC-75M20은 300 TOPS급 컴퓨팅 파워를 통해 문서 요약, 챗봇, 코딩 도우미, 사이버 보안 등의 기업형 AI 서비스에 적용된다.

SKY-602E3는 AMD EPYC 프로세서와 RTX 4500 Ada Generation GPU 두 개를 탑재해 1,000 TOPS 이상 성능을 구현한다. 이 시스템은 Llama 모델의 도메인별 파인튜닝이 가능하며, 금융, 법률, 의료, 지식관리 등 고정밀 산업 분야에 활용되고 있다.

이들 제품을 통해 전력 효율성과 메모리 최적화, NVIDIA 가속화 스택과의 통합 등을 기반으로, 고속 처리와 유연한 확장이 가능한 LLM 운용 환경을 구축하고 있다고 밝혔다.

어드밴텍 관계자는 “산업 현장에서 오픈 LLM을 실질적으로 구현할 수 있도록 기술적 진입장벽을 낮추는 것이 핵심”이라며 “엣지 AI 인프라를 통해 고객의 AI 도입이 더욱 쉬워질 수 있도록 지원하겠다”고 말했다.