오라클, In-DB LLM 적용한 생성형 AI ‘히트웨이브’ 발표 개발 과정 간소화되고 관련 비용도 절감 가능 생성형 AI가 제조업계를 넘어 생활분야 전반의 모양새를 변화시키고 있는 가운데, 오라클이 인-데이터베이스(in-database) 거대언어모델(LLM)이 가능한 생성형 AI인 ‘히트웨이브(HeatWave)를 공개했다.오라클은 2일 니푼 아가르왈 부사장이 참석한 가운데 온라인상에서 이와 관련한 브리핑을 개최했다.이날 브리핑에서 니푼 아가르왈 부사장은 “오라클이 선보이는 히트웨이브는 아키텍처가 독복적이라고 할 수 있다”며, “데이터처리가 히트웨이브에서 처리되지만, 최저 비용의 스토리지 모델을 구현하고, 확장성과 안정성도 가장 높은 수준에 도달해 있다”고 소개했다.히트웨이브 생성형AI는 개발자가 내장형 임베딩 모델을 사용해 단일 SQL 명령어로 기업의 비정형 콘텐츠를 위한 벡터 저장소를 생성할 수 있게 해 준다. 사용자는 인-데이터베이스 LLM, 혹은 외부 LLM을 사용해 단일 동작으로 자연어 검색을 수행할 수 있다. 데이터는 데이터베이스 내에서 안전하게 유지되며, 히트웨이브의 뛰어난 확장성과 성능 덕분에 GPU를 프로비저닝할 필요도 없다. 개발자들은 결과적으로 애플리케이션의 복잡성을 최소화하는 동시에 성능 및 데이터 보안을 강화하고, 비용을 절감할 수 있다.니푼 아가르왈 부사장은 히트웨이브에 적용된 In-DB LLM에 대해 “생성형 AI 애플리케이션의 개발을 간소화하고, 개발 비용을 절감하는 효과가 있다”며, “고객은 외부 LLM 선정 및 통합의 복잡성 없이도 생성형 AI의 이점을 누릴 수 있고, 다양한 클라우드 제공업체 데이터센터의 LLM 가용성에 대해 걱정할 필요도 없다”고 말했다. 덧붙여 그는 “In-DB LLM은 고객이 히트웨이브 벡터 저장소(HeatWave Vector Store)를 활용해 데이터 검색, 콘텐츠 생성 및 요약, 검색증강생성(RAG) 등을 수행할 수 있게 해 준다”며, “고객은 오토ML과 같은 기타 내장형 히트웨이브 기능을 생성형 AI와 결합해 보다 풍성한 애플리케이션을 구축할 수 있다. 히트웨이브 생성형AI는 OCI 생성형 AI 서비스(OCI Generative AI Service)에도 통합돼 있으므로, 고객은 최고의 LLM 제공업체들이 제공하는 사전 훈련된 기본 모델을 활용할 수 있다”고 설명했다.오라클의 발표에 따르면, 히트웨이브 생성형AI는 아마존 베드록(Amazon Bedrock)의 지식 기반을 사용할 때보다 PDF, PPT, WORD, HTML 형식 문서용 벡터 저장소 생성 속도는 23배 빠르며, 비용은 1/4 수준으로 저렴하다.1.6GB에서 300GB 크기의 테이블에서 다양한 유사성 검색 쿼리를 사용해 이루어진 서드파티 벤치마크를 통해 입증된 바와 같이, 히트웨이브 생성형AI는 스노우플레이크 대비 30배 빠른 속도와 25% 저렴한 비용, 데이터브릭스 대비 15배 빠른 속도와 85% 저렴한 비용, 구글 빅쿼리 대비 18배 빠른 속도와 60% 저렴한 비용을 자랑한다.별도의 벤치마크에 따르면, pg벡터(pgvector)를 사용하는 아마존 오로라 포스트그레SQL (Amazon Aurora PostgreSQL)의 벡터 인덱스는 정확도가 떨어져 오답을 산출할 가능성이 있는 것으로 나타났다. 반면 히트웨이브의 유사성 검색 처리는 항상 정확한 결과를 제공하고, 예측 범위 내의 응답 시간을 보장했으며, 유사한 메모리 속도로 수행돼 동일한 수의 코어를 사용하는 오로라(Aurora) 대비 10배-80배 빠른 속도를 제공한다.브리핑을 마무리하면서 니푼 아가르왈 부사장은 “히트웨이브 GEN AI를 활용해 여러 애플리케이션을 만들 수 있다”며, “높은 안정성과 함께 단순성을 제공할 뿐만 아니라 자동화 된 형태로 운용되기 때문에 제작 비용의 절감도 함께 기대할 수 있다”고 언급했다.

오라클, In-DB LLM 적용한 생성형 AI ‘히트웨이브’ 발표

개발 과정 간소화되고 관련 비용도 절감 가능

기사입력 2024-07-02 13:50:38

온라인에서 발표 중인 오라클 니푼 아가르왈 부사장

[산업일보]
생성형 AI가 제조업계를 넘어 생활분야 전반의 모양새를 변화시키고 있는 가운데, 오라클이 인-데이터베이스(in-database) 거대언어모델(LLM)이 가능한 생성형 AI인 ‘히트웨이브(HeatWave)를 공개했다.

오라클은 2일 니푼 아가르왈 부사장이 참석한 가운데 온라인상에서 이와 관련한 브리핑을 개최했다.

이날 브리핑에서 니푼 아가르왈 부사장은 “오라클이 선보이는 히트웨이브는 아키텍처가 독복적이라고 할 수 있다”며, “데이터처리가 히트웨이브에서 처리되지만, 최저 비용의 스토리지 모델을 구현하고, 확장성과 안정성도 가장 높은 수준에 도달해 있다”고 소개했다.

히트웨이브 생성형AI는 개발자가 내장형 임베딩 모델을 사용해 단일 SQL 명령어로 기업의 비정형 콘텐츠를 위한 벡터 저장소를 생성할 수 있게 해 준다. 사용자는 인-데이터베이스 LLM, 혹은 외부 LLM을 사용해 단일 동작으로 자연어 검색을 수행할 수 있다.

데이터는 데이터베이스 내에서 안전하게 유지되며, 히트웨이브의 뛰어난 확장성과 성능 덕분에 GPU를 프로비저닝할 필요도 없다. 개발자들은 결과적으로 애플리케이션의 복잡성을 최소화하는 동시에 성능 및 데이터 보안을 강화하고, 비용을 절감할 수 있다.

니푼 아가르왈 부사장은 히트웨이브에 적용된 In-DB LLM에 대해 “생성형 AI 애플리케이션의 개발을 간소화하고, 개발 비용을 절감하는 효과가 있다”며, “고객은 외부 LLM 선정 및 통합의 복잡성 없이도 생성형 AI의 이점을 누릴 수 있고, 다양한 클라우드 제공업체 데이터센터의 LLM 가용성에 대해 걱정할 필요도 없다”고 말했다.

덧붙여 그는 “In-DB LLM은 고객이 히트웨이브 벡터 저장소(HeatWave Vector Store)를 활용해 데이터 검색, 콘텐츠 생성 및 요약, 검색증강생성(RAG) 등을 수행할 수 있게 해 준다”며, “고객은 오토ML과 같은 기타 내장형 히트웨이브 기능을 생성형 AI와 결합해 보다 풍성한 애플리케이션을 구축할 수 있다. 히트웨이브 생성형AI는 OCI 생성형 AI 서비스(OCI Generative AI Service)에도 통합돼 있으므로, 고객은 최고의 LLM 제공업체들이 제공하는 사전 훈련된 기본 모델을 활용할 수 있다”고 설명했다.

오라클의 발표에 따르면, 히트웨이브 생성형AI는 아마존 베드록(Amazon Bedrock)의 지식 기반을 사용할 때보다 PDF, PPT, WORD, HTML 형식 문서용 벡터 저장소 생성 속도는 23배 빠르며, 비용은 1/4 수준으로 저렴하다.

1.6GB에서 300GB 크기의 테이블에서 다양한 유사성 검색 쿼리를 사용해 이루어진 서드파티 벤치마크를 통해 입증된 바와 같이, 히트웨이브 생성형AI는 스노우플레이크 대비 30배 빠른 속도와 25% 저렴한 비용, 데이터브릭스 대비 15배 빠른 속도와 85% 저렴한 비용, 구글 빅쿼리 대비 18배 빠른 속도와 60% 저렴한 비용을 자랑한다.

별도의 벤치마크에 따르면, pg벡터(pgvector)를 사용하는 아마존 오로라 포스트그레SQL (Amazon Aurora PostgreSQL)의 벡터 인덱스는 정확도가 떨어져 오답을 산출할 가능성이 있는 것으로 나타났다. 반면 히트웨이브의 유사성 검색 처리는 항상 정확한 결과를 제공하고, 예측 범위 내의 응답 시간을 보장했으며, 유사한 메모리 속도로 수행돼 동일한 수의 코어를 사용하는 오로라(Aurora) 대비 10배-80배 빠른 속도를 제공한다.

브리핑을 마무리하면서 니푼 아가르왈 부사장은 “히트웨이브 GEN AI를 활용해 여러 애플리케이션을 만들 수 있다”며, “높은 안정성과 함께 단순성을 제공할 뿐만 아니라 자동화 된 형태로 운용되기 때문에 제작 비용의 절감도 함께 기대할 수 있다”고 언급했다.