실시간 의사결정 지원 위한 DB 플랫폼으로 발전
빅데이터와 메모리 기술의 상관관계는 바로 ‘실시간’이다. 비즈니스 민첩성을 높이기 위해, 혹은 경쟁력을 높이기 위해 반드시 필요한 요건 중 하나가 적시에 적확한 정보를 얻는 것이다. 빅데이터가 크게 부상하고 있는 이유는 기업 내외에서 발생하는 모든 데이터를 끌어 모아 분석해 비즈니스 통찰력을 가질 수 있도록 하기 때문이다. 그러나 모든 데이터가 통찰력을 주는 것은 아니다. 필요한 시각에 정확하게 제공되는 결과만이 의미를 가질 수 있다.
SAP가 인메모리 컴퓨팅 플랫폼 HANA를 소개하면서 언급하는 일본의 택시회사 사례를 대표적인 예로 들 수 있다. 일본 노무라연구소는 SAP HANA를 이용해 도쿄에서 운행하고 있는 1만2000대 택시에서 발생하는 3억6000만건의 교통정보를 1초만에 분석해 최단 이동경로를 운전자들에게 제공한다.
인메모리 기술 진화로 ‘실시간’ 현실화
이 기술을 이용하면 운전자들은 가장 빠르게 목적지까지 도달할 수 있어 고객 만족도를 높일 수 있다. 교통흐름을 실시간으로 분석해 막히지 않는 구간을 안내하기 때문에 특정구간에 집중되는 교통량을 분산시키는 효과도 있다. 민간 택시회사의 이익을 높일 뿐 아니라 공공 인프라의 효율적인 운영, 환경오염 감소 등 많은 효과를 동시에 누릴 수 있다.
일정한 기간 동안 생성되는 데이터를 분석해 시간대별로 평균 교통량을 계산하는 것은 이미 오래전부터 서비스 되던 것이다. 미국의 교통국은 4년간 고속도로 통행 데이터를 모아 날씨에 따른 교통량 분석, 사고가 많이 나는 차량의 종류, 연비를 아낄 수 있는 운전습관, 사고를 방지하는 운전습관 등을 분석해 서비스한다.
노무라연구소에서 제공한 것은 평균교통량이 아니라, ‘지금 이 시각’의 교통상황에 대한 데이터다. 어느 구간에서 정체현상이 나타나고 있으며, 어느 구간에서 사고가 났는지, 도로공사나 시위 발생 현황 등을 종합적으로 감안해 가장 빠른 길을 안내할 수 있다는 것이 노무라연구소의 시험결과였다.
‘실시간’은 적확한 데이터를 통해 도출된 의사결정을 통해 비즈니스 경쟁력을 더욱 강화할 수 있다는 점에서 중요성을 갖는다. 인메모리 기술 진화를 통해 이상적으로 생각됐던 실시간 요건이 현실화 된것이다.
김경환 알티베이스 마케팅본부장은 “빅데이터를 처리하는 방법 중 하둡은 데이터를 조각내 분산시켜 처리하는 것이라고 할 수 있고, 인메모리는 필요한 데이터만 끄집어내 빠르게 처리하는 것이라고 할 수 있다”며 “대용량 데이터를 분산시키는데 필요한 시간을 줄이기 위한 과정에서도 인메모리가 적용될 수 있다. 스트리밍 데이터 처리 방식 중 일부 구간에 인메모리 기술을 적용하면 특정 구간에 대한 데이터 분석을 더 빠르게 처리할 수 있다”고 설명했다.
인메모리DB 시장 변화
메모리에서 직접 데이터를 처리하는 인메모리 기술은 데이터가 디스크와 CPU를 오가면서 발생하는 응답지연을 막아 응답속도가 매우 빠르다. 그러나 메모리 가격이 상대적으로 비싸고, 메모리에 저장할 수 있는 데이터량이 작기 때문에 일부 한정된 영역에서 사용했다.
인메모리 기술이 가장 넓게 적용된 부분이 DMBS다. 인메모리 DB 시장에서 높은 경쟁력을 갖추고 있는 알티베이스는 국내 통신사 빌링시스템을 독식했으며, 중국 주요 통신기업에도 공급됐다. 공공시장에서는 국방분야에 특히 강한 경쟁력을 갖고 있으며, 제조 및 일반 기업에도 상당수의 레퍼런스를 확보하고 있다.
김성진 알티베이스 대표는 “국내 인메모리 DB 시장에서 알티베이스는 의심할 여지 없이 높은 경쟁력을 갖고 있다. 통신, 금융, 공공, 국방, 제조 등 다양한 분야에서 레퍼런스를 쌓고 있으며, 오라클보다 더 높은 라이선스를 기록하고 있는 고객도 있다”며 “고성능 OLTP 영역에서는 한국, 중국, 일본 시장에서 우위를 차지한다“고 자신했다.
알티베이스는 인메모리 DB 시장이 성숙된 단계에 이르렀다고 평가하면서 3년여 전부터 디스크 기반 DBMS와 인메모리 DB 기술을 통합한 하이브리드 기술을 전략적으로 드라이브하고 있다. 4월 출시된 ‘HDB 제타’는 메모리와 디스크 데이터 처리 성능을 이전제품 대비 50% 향상시켰으며, 다수의 클라이언트가 DML(Data Manipulation Language)을 동시에 수행해도 고성능 처리를 유지할 수 있게 했다. 하반기에는 스트리밍 데이터 처리 기술 기반의 복합 이벤트 처리 플랫폼 ‘CEP’와 HDB 보다 5배 이상 빠른 속도를 낼 수 있는 초고성능 인메모리 DBMS ‘익스트림’을 출시할 계획이다.
또다른 인메모리 DBMS로 오라클이 인수한 타임스텐이 있다. 오라클에 인수된 뒤 타임스텐은 별다른 성과를 내지 못하고 있었으나 BI 어플라이언스인 엑사리틱스에 인메모리 컴포넌트로 탑재되면서 새로운 시장을 만들고 있다.
권영혁 한국오라클 기업성과관리(EPM) 및 BI 담당 전무는 “고객 요구에 따라 타임스텐만 별도로 공급할 수 있다. 그러나 인메모리DB가 필요한 영역은 초고속 OLTP 처리를 요구하는 특정 업무에 국한돼 있기 때문에 단독솔루션 판매보다 엔지니어드 시스템 전략의 일환으로 드라이브하고 있다”고 설명했다.
인메모리 DB ‘HANA’를 출시하면서 공격적으로 이 시장을 공략하고 있는 SAP는 HANA를 통해 오라클DB를 걷어내는 것이 궁극적인 목표다. 현재 ERP를 비롯한 SAP의 소프트웨어를 HANA DB 플랫폼에 최적화한 제품을 연이어 출시하고 있다.
김희배 SAP코리아 상무는 “HANA는 그 자체로 인메모리 DB이지만, 애플리케이션의 엔진 가속기 역할도 할 수 있다”며 “HANA와 경쟁할 수 있는 솔루션은 없다. HANA는 모든 애플리케이션의 DB로 활용될 수 있는 DB 플랫폼으로 자리잡고 있다”고 강조했다.
HANA를 적용한 대표적인 시스템이 비즈니스 웨어하우스(BW)이다. SAP 고객 중 대형 유통회사는 HANA 기반의 BW를 통해 재고를 50% 줄이는 효과를 보기도 했다. 유전자 분석 분야에서는 3일동안 10만달러 가량의 비용이 걸리는 분석업무를 1분 4000달러로 줄이는 결과를 거뒀다.
그러나 SAP가 HANA를 모든 애플리케이션의 DB 플랫폼으로 활용할 수 있도록 한다는 전략에 대해 “현실적이지 않다”는 비판이 제기된다. 메모리는 저장용량의 한계와 비싼 가격 때문에 대용량 데이터가 핵심 이슈인 현재 IT 환경에 적합하지 않다는 지적이다.
김희배 상무는 “빅데이터라 해도 실제 비즈니스에 활용되는 데이터량은 매우 적다. HANA는 뛰어난 압축 성능과 기술을 갖고 있어 메모리 용량을 줄일 수 있고, 압축된 테이블을 그대로 처리할 수 있어 시스템 부하 문제를 해결할 수 있다”고 설명했다.
BI, 인메모리 기술 적용 효과 높아
빅데이터는 BI 분야에서 가장 적극적으로 이용된다. 데이터 분석을 통해 비즈니스와 관련된 여러가지 의사결정을 할 수 있기 때문이다. 또한 빅데이터 영역 중에서도 실시간 데이터 분석, 대용량 데이터 분석에는 인메모리 기술이 필수적으로 포함된다. 빅데이터의 많은 경우가 시간이 지나면 쓸모없는 데이터가 되므로, 빠르게 결과를 도출하고자 하는 BI 영역에서 인메모리 기술을 찾고 있는 것이다.
통계분석 전문기업 SAS가 공급하는 ‘하이퍼포먼스 분석(HPA)’이 대표적이다. HPA에는 인데이터베이스(In-Database)와 그리드 컴퓨팅(Grid Computing) 기술이 적용되며, 특허출원중인 인메모리 분석 기술을 통해 고성능 컴퓨팅의 수준을 한 단계 더 끌어올리고 있다.
SAS의 인메모리 기술은 분산형 인 메모리 환경에서 빅데이터와 정교한 분석을 이용해 복잡한 문제를 해결할 수 있도록 한다. 서버 상에서 거의 동시에 계산 작업을 수행해 대량의 데이터를 다른 곳으로 이동시켜서 처리하지 않아도 되므로 계산 속도를 획기적으로 개선할 수 있다. 인메모리 분석 기술은 현재 하이퍼포먼스 애널리틱스, 하이퍼포먼스 리스크, 하이퍼포먼스 스트레스 테스팅, 비주얼 애널리틱스 등의 솔루션에 적용돼 있다.
오라클은 BI 어플라이언스 ‘엑사리틱스’에 인메모리 컴포넌트를 추가해 BI 속도를 빠르게 개선한다. 그외에 경영계획, 성과관리 프로그램 등에도 적용돼 생산성 향상 효과를 거둘 수 있도록 한다.
“공공 서비스 제고 효과 기대할 수 있어”
인메모리 기술을 통해 큰 효과를 볼 수 있는 사례로 사기방지, 신용카드 부정사용 방지 업무 등을 들 수 있다. 신용카드를 결제 단말기에 읽히는 순간 분실·도난된 신용카드인지 확인하는 방식이다. 증권업계에서는 실시간 수익성 분석이 필요하므로 이 분야에도 인메모리 기술이 활용될 수 있다.
앞서 일본 택시 서비스의 예를 든 것처럼 실시간 교통정보 시스템도 인메모리 기술을 활용해 큰 효과를 볼 수 있다. 우리나라는 버스카드 사용이 보편화 돼 있어 버스, 지하철, 택시 등 대중교통 정보와도 연계시켜 교통서비스 수준을 높일 수 있다. 몇 개월 동안 항해를 해야 하는 화물상선이나 항공기의 경로분석 등에도 응용될 수 있다.
의약, 화학 분야에서 인메모리 기술은 데이터 분석 시간을 크게 줄일 수 있다는 점에서 많은 관심을 받고 있다. 신약개발을 할 때 동물실험 대신 테크니컬 컴퓨팅 기술을 이용해 가상 테스트를 하는 모델이 주목받고 있는데, 인메모리 기술을 이용하면 신약개발에 소요되는 시간을 줄일 수 있어 개발비용을 절갈할 수 있다. 이를 통해 약값을 낮추는 효과도 가져올 수 있어 복제약이 허용되지 않는 신약도 약값부담을 낮춰 질병을 예방하거나 치료할 수 있을 것이라는 기대가 나온다.
김희배 SAP코리아 상무는 “인메모리 기술을 응용하는 사례는 앞으로 더 많아질 것이다. 더 다양한 분야에 적용돼 비즈니스 뿐 아니라 사람들의 일상생활도 개선시킬 수 있다”며 “SAP는 실시간 비즈니스 적용 시나리오와 관련된 아이디어 공모를 실시하는 등 이 분야의 비즈니스 모델 발굴을 위해 노력하고 있다”고 설명했다.
국내에서 인메모리 기술에 가장 많은 관심을 갖는 산업군은 실시간 데이터 처리가 중요한 금융, 통신 분야이다. 최근에는 제조업에서도 이 분야에 주목하고 있다. 제조업의 경우 MES에 적용해 불량률과 재고율을 줄이고, 공급망 관리 효과를 높이고자 하는 시도가 나타나고 있다.
김경환 알티베이스 마케팅본부장은 “제조현장에서 사용하는 DB는 대부분 단순한 테이블로 관리할 수 있는 데이터로, 구조가 단순하고 용량이 그리 크지 않다. 이러한 데이터는 메모리 기술로 처리하면 비용대비 효과가 매우 크다”며 “현재 글로벌 벤더와 함께 진행하는 프로젝트가 있으며, 조만간 공개할 수 있을 것”이라고 말했다.