빅데이터 배포판 아파치™ 하둡? 기술 전문기업 맵알테크놀러지스(MapR Technologies, 지사장 김점배, www.mapr.com)는 하둡을 포함하는 맵알 배포판의 아파치 드릴(Apache Drill) 0.5 버전을 출시했다고 밝혔다.

하둡에 표준 SQL(ANSI SQL)을 지원하는 아파치 드릴은 일반적인 애플리케이션을 포함한 여러 데이터 소스에서 즉각적인 셀프 서비스 데이터 탐색을 제공한다.

피유시 바르가바(Piyush Bhargava) 시스코 시스템즈(Cisco Systems) IT 부문 최고 엔지니어는 "시스코 시스템즈는 SQL에 익숙한 수 천명의 시스코 내부 사용자에게 서비스를 지원하는 IT 기업이므로 아파치 드릴이 가져올 혁신에 대한 기대가 매우 크다"며, "아파치 드릴은 최종 사용자가 데이터를 바로 탐색할 수 있도록 지원하는 동시에, 자사가 지닌 하둡 아키텍처의 주요 격차를 해소해 준다. 다양한 데이터 타입으로의 변경 없이 인터렉티브 SQL 쿼리를 지원하는 드릴의 특수한 접근방식은 빅데이터 환경에서 SQL의 친숙함과 하둡의 유연성을 모두 제공한다"고 말했다.

매트 애슬렛(Matt Aslett) 451 리서치(451 Research) 데이터 플랫폼 및 분석 부문 리서치 이사는 "기업은 기존 SQL 분석 스킬과 함께 광범위한 사용자 집단에 하둡 및 NoSQL 데이터베이스에 저장된 데이터 액세스를 제공하고자 한다"며, "아파치 드릴은 중앙집중형 스키마 또는 중첩 및 반복 필드를 포함하는 복잡한 데이터 구조를 지닌 NoSQL 데이터셋 추가 없이 하둡에 데이터 액세스를 제공하며, 이는 SQL 온 하둡(SQL On Hadoop)에 대한 기존 접근방식과 차별화된다"고 전했다.

아파치 드릴은 스키마리스(schema-less) 데이터, 중첩 데이터 및 빠르게 진화 중인 스키마를 지닌 데이터 등 기본 포맷의 복잡한 데이터를 즉각적으로 쿼리하 유연성을 제공한다. SQL 쿼리는 다양한 파일 포맷에서 직접 실행할 수 있기 때문에 라이브 데이터는 몇 주가 소요되는 스키마 준비 및 관리와 ETL 작업 설정 없이 들어오는 대로 실행이 가능하다.

또한, 아파치 드릴은 사용자들이 SQL 스킬 및 비즈니스 인텔리전스(BI) 툴에 대한 기존 투자를 쉽게 활용할 수 있도록 표준 SQL을 지원한다.

존 슈뢰더(John Schroeder) 맵알테크놀러지스 CEO 겸 공동 창립자는 "아파치 드릴 커뮤니티가 시장에 가져온 비전과 혁신은 데이터 탐색의 새로운 시대를 예고하고 있다"며, "자기 기술(self-describing) 데이터를 직접 쿼리하는 민첩성과 복잡한 데이터 유형을 처리하는 유연성은 빅데이터 분석 및 통찰력이 갖고 있는 한계를 초월한다. 따라서 데이터 중심 기업으로 탈바꿈시키는 드릴의 잠재력은 기업에 많은 변화를 몰고 올 것"이라고 말했다.

맵알테크놀러지스가 공개한 아파치 드릴 사용 기업의 혜택은 다음과 같다.

• 파킷(Parquet), JSON 파일 및 HBase 테이블과 같은 데이터를 포함한 자사의 기본 포맷 데이터의 고성능 분석
• 하이브 메타스토어(Hive metastore) 내의 병렬/오버레이 스키마 정의 및 변경 없이 HBase 테이블 상의 데이터 직접 쿼리
• 몽고DB(MongoDB) 및 레스트 APIs(REST APIs) 등 NoSQL 스토어의 데이터와 같은 반정형/중첩 데이터와 함께 쿼리 및 작업에 직관적인 SQL 확장
• 쿼리와 파일, HBase 및 하이브 테이블 등 다른 하둡 데이터 소스의 동시 결합

또한, 개발자와 애널리스트는 기존 SQL 스킬셋 및 BI 툴을 다음과 같이 활용할 수 있다.

• 익숙한 표준 SQL 신텍스(syntax)를 통해 전환 비용 및 사용자들의 학습 곡선을 최소화한다.
• 표준 ODBC/JDBC 드라이버를 사용하는 엑셀, 태블로(Tableau) 및 다른 호스트와 같은 친숙한 BI/분석 툴을 계속해 사용한다.
• 기존 하이브 상에서 임시(ad-hoc)/저지연(low-latency) 쿼리 사용이 가능하다. 하이브 메타데이터, 수백개의 파일 포맷 및 사용자 정의 함수(UDF)를 재사용한다.

하둡을 포함하는 맵알 배포판의 아파치 드릴 0.5 버전은 현재 사용 가능하며, 자세한 정보는 https://www.mapr.com/resources/community-resources/apache-drill 에서 확인 가능하다.

김종렬 기자 obtain07@noteforum.co.kr

[디지털 모바일 IT 전문 정보 - 노트포럼]
Copyrights ⓒ 노트포럼, 무단전재 및 재배포 금지