[FOCUS] 인류의 유산 빅데이터를 활용하라 Technology Information 세계경제포럼에서는 떠오르는 10대 기술 중 첫 번째로 빅데이터(Big Data) 기술을 꼽았고, 대한민국 지식경제부 R&D 전략 기획단 역시 10대 핵심기술 가운데 하나로 빅데이터를 선정했다. 세계가 빅데이터에 집중하고 있다. 그러나 갑자기 혜성처럼 등장한 이 단어에 일반 대중들이 느끼는 첫 번째 감정은 ‘낯설음’이다. 그러나 빅데이터는 정말 새로운 개념인가?학창 시절, 우리에게는 시험에서 모르는 문제는 3번으로 찍으면 정답 확률이 높다는 통념이 있었다. 이것은 미신인가? 그렇지 않다. 이 또한 축적된 빅데이터에 대한 분석이다. 우리가 자주 접하는 ‘실시간 검색어’도 마찬가지로 빅데이터를 활용한 예다. 실시간 검색어는 유저의 방대한 검색 패턴을 분석·제공해 새로운 가치를 창출했다. 사람들인 실시간 검색어 위주로 미디어 이슈를 접한다. 미디어 이슈의 흐름까지 바꿔놓은 셈이다.이 모두 빅데이터란 단어가 지금처럼 유행의 급물살을 타기 전에 이미 존재했던 현상이다. 빅데이터는 생각보다 우리에게 친근한 개념이며, 우리 가까이에 있었다. 다만, 빅데이터란 말이 트렌드가 되고 전파를 타기 시작하자 사람들의 뇌리에 깊이 각인되기 시작했다. 이전에는 모호하게 활용되던 것이 이제 보다 명확한 인식 속에서 활용되기 시작한 것이다. 빅데이터, 비형정화된 데이터까지 포함그렇다면 빅데이터에 대한 정확한 개념정리부터 해보자. 빅데이터가 우리가 학창시절, 3번으로 정답을 찍는 것처럼 단순한 형태만을 지칭하는 것은 아닐 것이므로. 쉽게 알 수 있듯이, 빅데이터(Big Data)는 ‘빅(Big)’과 ‘데이터(Data)’의 합성어다. 모든 기록을 총칭해 데이터라고 한다. 빅데이터는 물론 무척 크고 방대한 양의 데이터를 지칭하는 것이다. 하지만 단지 정형화된 데이터만이 아니라 비정형화된 블특정 형식의 데이터까지 모두 포함하는 개념이라는 것이 가장 큰 특징. 예를 들어 사람에 대한 정보를 저장한다고 볼 때, 그동안은 이름, 나이, 키, 몸무게, 아이큐 등 형식에 들어맞는 데이터를 취급했다. 그러나 빅데이터 시대에는 그 사람의 음악적 취향, 특유의 억양, 부끄러울 때 무심코 하는 버릇 등 형식에 얽매이지 않으며 파악하기 어려운 데이터까지 취급한다. 물론 이런 일은 컴퓨터 연산기술의 발전이 있었기 때문에 가능한 일이다. 스마트폰의 보급도 빅데이터 시대의 도래를 촉진했다고 볼 수 있다. 개개인이 장소에 얽매이지 않고 인터넷을 사용할 수 있게 되면서, 쌓이는 데이터의 총량이 기하급수적으로 늘어났기 때문이다. 빅데이터의 기원 빅데이터에 대한 분석은 2008년 미국 인디애나 주립대학의 조한 볼렌(Johan Bollen) 교수에 의해 처음 시도됐다. 그는 트위터에 올라온 글을 보다가 개인과 관련된 정보를 발견하게 됐다. 이러한 데이터를 종합해 분석하면 어떤 거대한 흐름을 발견할 수 있을 것이란 생각을 하게 된다. 급기야 그는 2008년 상반기 트위터에 올라온 모든 데이터를 분석해 이용자들의 집단적 기분변화가 전국적인 행사와 일치한다는 사실을 발견했다. 추수감사절이 다가올수록 트위터에 올라온 기분변화는 행복지수를 나타내는 한편, 사람들이 불안감을 느끼면 며칠 뒤 주가가 하락한다는 사실도 발견했다. 이는 단지 수치화된 데이터가 아닌 비정형 감정 데이터들을 조합해 새로운 가치를 만든 첫 번째 예다. 빅데이터는 어떻게 활용할 수 있나?박원순 서울시장은 비정형 데이터를 시정에 활용하기도 했다. 그가 트위터를 통해 불특정 다수에게 불편사항을 제보 받은 뒤, 고장 난 신호등을 고치거나 도로를 수리한 것은 모두 아는 사실이다. 이는 빅데이터가 활용된 소소한 예라고 할 수 있다. 아마 그 경험이 박 시장에게 빅데이터 활용에 대한 도움을 주었을 것이라고 생각한다. 최근 서울시에서 가장 성공한 치적 중 하나는 바로 심야버스다. 이는 빅데이터를 훌륭하게 활용한 단적이고 명확한 사례다. 서울시는 0시부터 5시까지 운행할 심야버스 노선을 만들기 위해 빅데이터를 활용했다. KT와 업무협약을 통해 심야 통화량 데이터를 받아 서울시 교통 데이터와 융합해 분석했다. 그 후 요일별, 노선별 패턴을 분석하고 유동인구가 많은 정류장 단위로 통행량을 산출해 심야 버스 노선을 확정했다. 1차적인 거주 인구 데이터만으로 도출하기 힘든 결과다. 쌓아만 두었다면 크게 쓸모가 없었을 거대한 양의 정형, 비정형 데이터를 융합하고 활용해 새로운 가치를 창출함으로써, 서울 시민 전체에게 큰 편의를 가져다준 것이다. 기업에서도 빅데이터 활용에 박차를 가하고 있다. 최근 국민 음원사이트라 할 수 있는 멜론은 스트리밍 라디오 서비스인 ‘멜론라디오’에 빅데이터를 활용한 큐레이션 서비스를 선보였다. 멜론라디오에 이용자 개인별 맞춤채널을 신설해 개개인의 취향과 음악이용행태를 분석한 빅데이터를 기반으로 최적화된 큐레이션 서비스를 제공한 것이다. 멜론사업부문 이제욱 부문장은 “음원시장에 IT기술혁신을 선도하고 있는 멜론이 이번 개편을 통해 빅데이터를 바탕으로 한 맞춤형 큐레이션 서비스를 한층 강화했다”며, “앞으로도 이용자별 최적화된 서비스를 제공하는 멜론의 진화는 계속 될 것”이라고 밝혔다.얼마 전 삼성금융투자는 빅데이터 분석 기술이 국내 IT 서비스 생태계에 새로운 성장기회라고 분석하며 삼성에스디에스와 SKC&C를 업종 내 톱픽(Top pick)으로 꼽기도 했다. 공영규, 손승우 신한금융투자 연구원은 “올해부터 2017년까지 빅데이터 시장은 8%외형 성장이 전망된다”며 “대형IT서비스 업체들이 성장을 주도할 전망”이라고 밝혔다.빅데이터의 무궁무진한 가능성 심야버스 외에도 서울시는 생활 밀접형 빅데이터 서비스를 구상 중에 있다. 자영업자들이 새로운 사업을 시작하기 전 필수코스로 밟는 유동 인구 상권 분석을 빅데이터를 통해 제공하기 위해 준비 중이다. 골목 상권, 전통시장 상권 분석, 유동인구분석을 교통량, 통화량 등 빅데이터를 가지고 제공할 예정이다. 이에 더해 창업 컨설팅을 함께 묶어 서민에게 제공하려는 계획을 세우고 있다. 또 다른 서비스인 ‘택시 매칭 메이킹 서비스’도 고려중이다. 택시 승합차 위치, 유동인구 데이터, 신호 데이터 등 방대한 데이터를 분석해 기사 입장에서는 어느 곳에서 승객을 태울 수 있는지, 승객은 어느 곳에 택시가 많은지 정보를 제공받을 수 있다. 21세기 유망직종 ‘Data Scientist’이처럼 빅데이터 관리 및 활용은 정부차원에 먼저 접근해야 한다. 그러나 이에 그쳐서는 안된다. 최근 데이터 분석 전문가에 대한 수요가 급증하면서, 관련 학과 및 자격증이 등장하고 있다. 하버드 비즈니스 리뷰는 ‘Data Scientist'를 21세기 가장 유망한 직업으로 선정한 바 있다. 직무의 특성상 컴퓨터 프로그래밍, 수학, 통계, 비즈니스 통찰력 등 융합적 지식을 모두 갖춰야한다는 점에서 늘어나는 수요에 비해 인력 공급이 까다로울 것으로 보인다. 맥킨지는 2018년에 이르면 미국내에서만 빅데이터 전문가 수가 수요에 비해 약 14만~19만 명 부족할 것이라고 내다봤다. Data Scientist 수요 증가와 함께 분석학(Analytics)을 기업경영의 의사결정과 시장조사에 활용하는 Business Analytics, Marketing Analytics 전문가 수요도 증가하고 있다. 2013년 기준으로 미국 내 Markiting Analytics 전문가 수요는 전년도 대비 67%, 2010년 대비 136%가량 증가한 것으로 나타났다. 이처럼 빅데이터 전문가에 대한 기업 채용이 확대되면서, 공과대학, 경영대학, 학내 연구소를 중심으로 한 미국 내 대학들 역시 Data Science, Analytics 과정을 개설해 인재 육성에 만반의 준비를 갖추고 있다. 노스캐롤라이나(NCSU)의 ISA(Insitutue for Advanced Analytics) 연구소는 “미국 내 개설되는 빅데이터 학위 프로그램이 2012년부터 급증세를 보이고 있다”고 발표했다. 특히 데이터 분석역량이 있는 기업 실무자를 양성하기 위해 경영대학원을 중심으로 Business Analytics 과정을 개설하고 있는데, 100위권 대학 중 무려 52개 대학이 개설한 것으로 나타났다. 데이터 폭발시대, 인재양성 절실 우리나라도 서울대를 비롯, 충북대학교 등에서 데이터를 관리·분석할 수 있는 인재를 육성하기 위해 데이터마이닝, 비즈니스 데이터 융합학과 등을 개설하고 있다. 하지만 아직 국내 경영대학원(MS 포함)중 Analytics 과정이 개설된 비중은 6.6%로 56.6%인 미국, 30.8%인 영국, 16.7%인 캐나다 등에 비해 크게 밑도는 것으로 드러났다. 국내 IT 인프라의 발전 속도와 데이터 축적량에 비해 매우 더딘 속도다. 세계 시장의 수요에 발맞춰 한국도 인재양성을 위해 총력을 기울여야 할 때다. 미국의 Analytics 과정은 자국 빅데이터 소프트웨어 기업의 적극적 협력과 학위 과정만이 아닌 인증서, 평생 교육원 과정 등의 개설도 활발한 양상을 띤다. 특히, 미국의 SAS, IBM 등 빅데이터 프로그램 소프트웨어 기업들이 미국 대학에 시설, 교육과정 개발에 활발하게 참여하고 있는 점이 인상적이다. 우리도 인재 육성과 발굴을 위해 기업과 교육의 적극적인 협력이 요청되며, 직장인 등 학교를 다니기 힘든 사람들도 지식을 습득할 수 있도록 교육의 장을 마련해야 할 것이다. 또한 앞서 언급했듯이, 국가 차원에서의 접근이 필요하다. 사기업이 스스로 축적한 빅데이터를 다른 기업과 공유하고 협의하기는 힘들다. 두 사기업간 협력 문제뿐 아니라 개인정보에 관한 법률 등 넘어야 할 산이 아직 많기 때문이다.지금까지 살펴본 것처럼, 빅데이터는 잘 활용하기만 한다면 우리에게 엄청난 편의와 혜택을 제공해 줄 수 있다. 그러나 그와 함께 방대한 데이터를 보다 올바른 방향으로 사용할 수 있도록 보안 및 사생활 보호 등에 관한 성숙한 윤리의식과 제도적인 뒷받침도 고려돼야 할 것이다.

[FOCUS] 인류의 유산 빅데이터를 활용하라

Technology Information

기사입력 2015-03-30 05:37:34

[산업일보]
세계경제포럼에서는 떠오르는 10대 기술 중 첫 번째로 빅데이터(Big Data) 기술을 꼽았고, 대한민국 지식경제부 R&D 전략 기획단 역시 10대 핵심기술 가운데 하나로 빅데이터를 선정했다. 세계가 빅데이터에 집중하고 있다. 그러나 갑자기 혜성처럼 등장한 이 단어에 일반 대중들이 느끼는 첫 번째 감정은 ‘낯설음’이다. 그러나 빅데이터는 정말 새로운 개념인가?

학창 시절, 우리에게는 시험에서 모르는 문제는 3번으로 찍으면 정답 확률이 높다는 통념이 있었다. 이것은 미신인가? 그렇지 않다. 이 또한 축적된 빅데이터에 대한 분석이다.
우리가 자주 접하는 ‘실시간 검색어’도 마찬가지로 빅데이터를 활용한 예다. 실시간 검색어는 유저의 방대한 검색 패턴을 분석·제공해 새로운 가치를 창출했다. 사람들인 실시간 검색어 위주로 미디어 이슈를 접한다. 미디어 이슈의 흐름까지 바꿔놓은 셈이다.
이 모두 빅데이터란 단어가 지금처럼 유행의 급물살을 타기 전에 이미 존재했던 현상이다. 빅데이터는 생각보다 우리에게 친근한 개념이며, 우리 가까이에 있었다. 다만, 빅데이터란 말이 트렌드가 되고 전파를 타기 시작하자 사람들의 뇌리에 깊이 각인되기 시작했다. 이전에는 모호하게 활용되던 것이 이제 보다 명확한 인식 속에서 활용되기 시작한 것이다.

빅데이터, 비형정화된 데이터까지 포함
그렇다면 빅데이터에 대한 정확한 개념정리부터 해보자. 빅데이터가 우리가 학창시절, 3번으로 정답을 찍는 것처럼 단순한 형태만을 지칭하는 것은 아닐 것이므로. 쉽게 알 수 있듯이, 빅데이터(Big Data)는 ‘빅(Big)’과 ‘데이터(Data)’의 합성어다. 모든 기록을 총칭해 데이터라고 한다. 빅데이터는 물론 무척 크고 방대한 양의 데이터를 지칭하는 것이다. 하지만 단지 정형화된 데이터만이 아니라 비정형화된 블특정 형식의 데이터까지 모두 포함하는 개념이라는 것이 가장 큰 특징.
예를 들어 사람에 대한 정보를 저장한다고 볼 때, 그동안은 이름, 나이, 키, 몸무게, 아이큐 등 형식에 들어맞는 데이터를 취급했다. 그러나 빅데이터 시대에는 그 사람의 음악적 취향, 특유의 억양, 부끄러울 때 무심코 하는 버릇 등 형식에 얽매이지 않으며 파악하기 어려운 데이터까지 취급한다. 물론 이런 일은 컴퓨터 연산기술의 발전이 있었기 때문에 가능한 일이다. 스마트폰의 보급도 빅데이터 시대의 도래를 촉진했다고 볼 수 있다. 개개인이 장소에 얽매이지 않고 인터넷을 사용할 수 있게 되면서, 쌓이는 데이터의 총량이 기하급수적으로 늘어났기 때문이다.

빅데이터의 기원
빅데이터에 대한 분석은 2008년 미국 인디애나 주립대학의 조한 볼렌(Johan Bollen) 교수에 의해 처음 시도됐다. 그는 트위터에 올라온 글을 보다가 개인과 관련된 정보를 발견하게 됐다. 이러한 데이터를 종합해 분석하면 어떤 거대한 흐름을 발견할 수 있을 것이란 생각을 하게 된다. 급기야 그는 2008년 상반기 트위터에 올라온 모든 데이터를 분석해 이용자들의 집단적 기분변화가 전국적인 행사와 일치한다는 사실을 발견했다. 추수감사절이 다가올수록 트위터에 올라온 기분변화는 행복지수를 나타내는 한편, 사람들이 불안감을 느끼면 며칠 뒤 주가가 하락한다는 사실도 발견했다. 이는 단지 수치화된 데이터가 아닌 비정형 감정 데이터들을 조합해 새로운 가치를 만든 첫 번째 예다.

빅데이터는 어떻게 활용할 수 있나?
박원순 서울시장은 비정형 데이터를 시정에 활용하기도 했다. 그가 트위터를 통해 불특정 다수에게 불편사항을 제보 받은 뒤, 고장 난 신호등을 고치거나 도로를 수리한 것은 모두 아는 사실이다. 이는 빅데이터가 활용된 소소한 예라고 할 수 있다. 아마 그 경험이 박 시장에게 빅데이터 활용에 대한 도움을 주었을 것이라고 생각한다.
최근 서울시에서 가장 성공한 치적 중 하나는 바로 심야버스다. 이는 빅데이터를 훌륭하게 활용한 단적이고 명확한 사례다. 서울시는 0시부터 5시까지 운행할 심야버스 노선을 만들기 위해 빅데이터를 활용했다. KT와 업무협약을 통해 심야 통화량 데이터를 받아 서울시 교통 데이터와 융합해 분석했다. 그 후 요일별, 노선별 패턴을 분석하고 유동인구가 많은 정류장 단위로 통행량을 산출해 심야 버스 노선을 확정했다. 1차적인 거주 인구 데이터만으로 도출하기 힘든 결과다. 쌓아만 두었다면 크게 쓸모가 없었을 거대한 양의 정형, 비정형 데이터를 융합하고 활용해 새로운 가치를 창출함으로써, 서울 시민 전체에게 큰 편의를 가져다준 것이다.
기업에서도 빅데이터 활용에 박차를 가하고 있다. 최근 국민 음원사이트라 할 수 있는 멜론은 스트리밍 라디오 서비스인 ‘멜론라디오’에 빅데이터를 활용한 큐레이션 서비스를 선보였다. 멜론라디오에 이용자 개인별 맞춤채널을 신설해 개개인의 취향과 음악이용행태를 분석한 빅데이터를 기반으로 최적화된 큐레이션 서비스를 제공한 것이다. 멜론사업부문 이제욱 부문장은 “음원시장에 IT기술혁신을 선도하고 있는 멜론이 이번 개편을 통해 빅데이터를 바탕으로 한 맞춤형 큐레이션 서비스를 한층 강화했다”며, “앞으로도 이용자별 최적화된 서비스를 제공하는 멜론의 진화는 계속 될 것”이라고 밝혔다.
얼마 전 삼성금융투자는 빅데이터 분석 기술이 국내 IT 서비스 생태계에 새로운 성장기회라고 분석하며 삼성에스디에스와 SKC&C를 업종 내 톱픽(Top pick)으로 꼽기도 했다. 공영규, 손승우 신한금융투자 연구원은 “올해부터 2017년까지 빅데이터 시장은 8%외형 성장이 전망된다”며 “대형IT서비스 업체들이 성장을 주도할 전망”이라고 밝혔다.

빅데이터의 무궁무진한 가능성
심야버스 외에도 서울시는 생활 밀접형 빅데이터 서비스를 구상 중에 있다. 자영업자들이 새로운 사업을 시작하기 전 필수코스로 밟는 유동 인구 상권 분석을 빅데이터를 통해 제공하기 위해 준비 중이다. 골목 상권, 전통시장 상권 분석, 유동인구분석을 교통량, 통화량 등 빅데이터를 가지고 제공할 예정이다. 이에 더해 창업 컨설팅을 함께 묶어 서민에게 제공하려는 계획을 세우고 있다.
또 다른 서비스인 ‘택시 매칭 메이킹 서비스’도 고려중이다. 택시 승합차 위치, 유동인구 데이터, 신호 데이터 등 방대한 데이터를 분석해 기사 입장에서는 어느 곳에서 승객을 태울 수 있는지, 승객은 어느 곳에 택시가 많은지 정보를 제공받을 수 있다.

21세기 유망직종 ‘Data Scientist’
이처럼 빅데이터 관리 및 활용은 정부차원에 먼저 접근해야 한다. 그러나 이에 그쳐서는 안된다. 최근 데이터 분석 전문가에 대한 수요가 급증하면서, 관련 학과 및 자격증이 등장하고 있다.
하버드 비즈니스 리뷰는 ‘Data Scientist'를 21세기 가장 유망한 직업으로 선정한 바 있다. 직무의 특성상 컴퓨터 프로그래밍, 수학, 통계, 비즈니스 통찰력 등 융합적 지식을 모두 갖춰야한다는 점에서 늘어나는 수요에 비해 인력 공급이 까다로울 것으로 보인다.
맥킨지는 2018년에 이르면 미국내에서만 빅데이터 전문가 수가 수요에 비해 약 14만~19만 명 부족할 것이라고 내다봤다.
Data Scientist 수요 증가와 함께 분석학(Analytics)을 기업경영의 의사결정과 시장조사에 활용하는 Business Analytics, Marketing Analytics 전문가 수요도 증가하고 있다. 2013년 기준으로 미국 내 Markiting Analytics 전문가 수요는 전년도 대비 67%, 2010년 대비 136%가량 증가한 것으로 나타났다.
이처럼 빅데이터 전문가에 대한 기업 채용이 확대되면서, 공과대학, 경영대학, 학내 연구소를 중심으로 한 미국 내 대학들 역시 Data Science, Analytics 과정을 개설해 인재 육성에 만반의 준비를 갖추고 있다.
노스캐롤라이나(NCSU)의 ISA(Insitutue for Advanced Analytics) 연구소는 “미국 내 개설되는 빅데이터 학위 프로그램이 2012년부터 급증세를 보이고 있다”고 발표했다.
특히 데이터 분석역량이 있는 기업 실무자를 양성하기 위해 경영대학원을 중심으로 Business Analytics 과정을 개설하고 있는데, 100위권 대학 중 무려 52개 대학이 개설한 것으로 나타났다.

데이터 폭발시대, 인재양성 절실
우리나라도 서울대를 비롯, 충북대학교 등에서 데이터를 관리·분석할 수 있는 인재를 육성하기 위해 데이터마이닝, 비즈니스 데이터 융합학과 등을 개설하고 있다.
하지만 아직 국내 경영대학원(MS 포함)중 Analytics 과정이 개설된 비중은 6.6%로 56.6%인 미국, 30.8%인 영국, 16.7%인 캐나다 등에 비해 크게 밑도는 것으로 드러났다.
국내 IT 인프라의 발전 속도와 데이터 축적량에 비해 매우 더딘 속도다. 세계 시장의 수요에 발맞춰 한국도 인재양성을 위해 총력을 기울여야 할 때다.
미국의 Analytics 과정은 자국 빅데이터 소프트웨어 기업의 적극적 협력과 학위 과정만이 아닌 인증서, 평생 교육원 과정 등의 개설도 활발한 양상을 띤다. 특히, 미국의 SAS, IBM 등 빅데이터 프로그램 소프트웨어 기업들이 미국 대학에 시설, 교육과정 개발에 활발하게 참여하고 있는 점이 인상적이다. 우리도 인재 육성과 발굴을 위해 기업과 교육의 적극적인 협력이 요청되며, 직장인 등 학교를 다니기 힘든 사람들도 지식을 습득할 수 있도록 교육의 장을 마련해야 할 것이다.
또한 앞서 언급했듯이, 국가 차원에서의 접근이 필요하다. 사기업이 스스로 축적한 빅데이터를 다른 기업과 공유하고 협의하기는 힘들다. 두 사기업간 협력 문제뿐 아니라 개인정보에 관한 법률 등 넘어야 할 산이 아직 많기 때문이다.
지금까지 살펴본 것처럼, 빅데이터는 잘 활용하기만 한다면 우리에게 엄청난 편의와 혜택을 제공해 줄 수 있다. 그러나 그와 함께 방대한 데이터를 보다 올바른 방향으로 사용할 수 있도록 보안 및 사생활 보호 등에 관한 성숙한 윤리의식과 제도적인 뒷받침도 고려돼야 할 것이다.

뒤로 기사목록

산업일보 영상뉴스 모아보기

산업일보 페이스북 바로가기

홍보영 기자 papersong@kidd.co.kr

이 기자의 다른기사 보기 >

산업1부 홍보영 기자입니다. 국내외 무역과 로봇, IoT, 기계·금형산업에 대한 참 소리를 전합니다.^^