‘기술부채’로 인한 엔지니어링의 무거운 어깨, 덜 수 있는 방법은.. 델타라이브테이블스로 핵심 업무에만 집중 가능 최근 끊임없이 쏟아져 나온 신기술들과, 조직 내 채택하는 기술 컴포넌트가 증가하면서 일명 ‘기술부채’ 현상이 일어나고 있다.임상배 시니어 솔루션즈 아키텍트는 지난 25일 코엑스에서 열린 데이터브릭스의 ‘Data + AI World Tour’에서 “데이터가 점차 복잡해지는 가운데, 데이터 전문가 및 엔지니어링들의 추가적인 업무와 강도가 높아지고 있다”라고 밝혔다.이러한 문제들을 해결하기 위해 임 아키텍트는 핵심 업무 로직에 집중하고 나머지 부가적인 업무는 자체 서비스에서 핸들링 할 수 있는 델타라이브테이블스(Delta Live Tables, DLT)에 주목했다.그가 언급한 델타라이브테이블스는 신뢰할 수 있는 데이터 파이프라인을 구축하기 위해 심플한 방식을 활용하는 ETL(Extract, Transform, Load)프레임워크이다. 그는 DLT 기술을 사용함으로써 데이터 분석가 및 엔지니어가 주변 툴링에 소비하는 시간을 줄이고, 실제 데이터 작업에 집중할 수 있도록 인프라를 규모에 맞게 자동으로 관리한다고 설명했다.한편, 임 아키텍트는 라이브테이블 파이프라인 생성 3가지의 간단한 단계로 SQR을 DLT로 처리할 수 있는 방법을 공유하기도 했다. 컴퓨터에 테이블 정의(creat live table)를 작성하고 파이프라인을 생성, 스타트 클릭의 3가지 단계를 통해 SQR 만으로 전처리가 가능한 서비스를 시연했다.그는 앞서 공유한 방식 및 시스템을 통해 개발, 학습 기간을 단축하고, 필요 시스템의 자원절약 효과를 꾀해 쉽고 효율적인 데이터 엔지니어링 수행이 가능하다고 말했다.

‘기술부채’로 인한 엔지니어링의 무거운 어깨, 덜 수 있는 방법은..

델타라이브테이블스로 핵심 업무에만 집중 가능

기사입력 2023-04-26 18:43:08

[산업일보]
최근 끊임없이 쏟아져 나온 신기술들과, 조직 내 채택하는 기술 컴포넌트가 증가하면서 일명 ‘기술부채’ 현상이 일어나고 있다.

임상배 시니어 솔루션즈 아키텍트는 지난 25일 코엑스에서 열린 데이터브릭스의 ‘Data + AI World Tour’에서 “데이터가 점차 복잡해지는 가운데, 데이터 전문가 및 엔지니어링들의 추가적인 업무와 강도가 높아지고 있다”라고 밝혔다.

이러한 문제들을 해결하기 위해 임 아키텍트는 핵심 업무 로직에 집중하고 나머지 부가적인 업무는 자체 서비스에서 핸들링 할 수 있는 델타라이브테이블스(Delta Live Tables, DLT)에 주목했다.

그가 언급한 델타라이브테이블스는 신뢰할 수 있는 데이터 파이프라인을 구축하기 위해 심플한 방식을 활용하는 ETL(Extract, Transform, Load)프레임워크이다. 그는 DLT 기술을 사용함으로써 데이터 분석가 및 엔지니어가 주변 툴링에 소비하는 시간을 줄이고, 실제 데이터 작업에 집중할 수 있도록 인프라를 규모에 맞게 자동으로 관리한다고 설명했다.

한편, 임 아키텍트는 라이브테이블 파이프라인 생성 3가지의 간단한 단계로 SQR을 DLT로 처리할 수 있는 방법을 공유하기도 했다. 컴퓨터에 테이블 정의(creat live table)를 작성하고 파이프라인을 생성, 스타트 클릭의 3가지 단계를 통해 SQR 만으로 전처리가 가능한 서비스를 시연했다.

그는 앞서 공유한 방식 및 시스템을 통해 개발, 학습 기간을 단축하고, 필요 시스템의 자원절약 효과를 꾀해 쉽고 효율적인 데이터 엔지니어링 수행이 가능하다고 말했다.