ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • 시대와 함께 높아지는 분석 요구
    VERTICA/01. 미분류 2018. 10. 1. 18:23


    과거
    분석 요구 사항 : 
    BI/DWH
    • 정형 리포팅 중심 
    • 실적을 사전 집계하여 가시화 
    • 어제까지의 데이터 분석 
    • 취급 데이터 종류는 적음 
    • 분석 대상 기간은 짧음 
    • 소규모 이용

    대응기술 : 
    • OLTP 용 RDBMS (행 지향 RDBMS) 
    • DWH 어플라이언스


    현재
    분석 요구 사항 : 
    빅 데이터 분석 기반 BI / DWH 
    • 비정형 
    • 복잡한 분석 중심 
    • 과거 데이터에서 통찰력을 얻음 
    • 몇 분 몇 시간 전에 데이터를 분석 
    • 처리 데이터의 다양 화 
    • 비대화 
    • 장기 추세 파악 
    • 폭 넓은 유저층에서 이용

    대응기술 : 
    • OLAP 용 RDBMS (열 지향 RDBMS) 
    • Hadoop 솔루션 
    • 인 메모리 솔루션 
    • 클라우드 형 DWH

    가까운 장래
    분석 요구 사항 : 
    데이터 기반 경영 분석 기초
    • 기계 학습, AI 기술을 활용 한 분석 
    • 미래 예측에 활용 
    • 실시간 분석 
    • IoT, 위치 정보, SNS 데이터 등 
    • 보다 장기적인 트렌드 파악 
    • 사전 탐지 및 자동화

    대응기술 : 
    • OLAP 용 RDBMS (열 지향 RDBMS) 
    • Hadoop 솔루션 
    • 인 메모리 솔루션 
    • 클라우드 형 DWH 
    • 전용 솔루션 (AI, GIS 등)


    처음에 작게 시작해서 비즈니스의 성장과 함께 선형으로 확장 해 나가는것이 가능


    Vertica의 핵심 기술이란?
    • 표준 SQL 인터페이스
    - 추가적으로 사전에 투자한 BI, ETL, Hadoop / MapReduce 와 연계 가능
    • 고급 압축
    - 10 개 이상의 알고리즘을 이용하여 최대 90 %의 공간 절약
    • 열 지향
    - 디스크 I/O 병목 현상이없이 데이터 적재와 쿼리가 빠르게 동시 실행이 가능
    • 자동 데이터베이스 설계
    - 도구를 시작하는 것만으로 자동 데이터베이스 최적화 또는 최적화 자동 감지
    • MPP (대규모 병렬 처리)
    - 저가의 x86 서버 와 Linux 노드를 기본으로한 DB 수준에서의 클러스터링
    • 고 가용성
    - 일부 서버가 정지 중임에도 계속 운영이 가능함

    기존의 RDBMS보다 50 배 ~ 1000 배 빠른
    업계 표준 하드웨어를 통해 TB에서 PB까지 확장 가능 
    기존 ETL 및 BI 솔루션과의 간편한 통합 
    SQL99 준수 
    기계 학습 기능 등도 포함 고급 분석 기능 
    24 시간 365 일 계속로드 쿼리 실행 


    WHY Vertica + 기계 학습? 
    대규모 데이터에 대한 기계 학습 처리를 빠르게! 

    기계 학습 처리는 Vertica MPP 클러스터에서 병렬 처리 
    빠른 반복 연산을위한 인 메모리 처리 
    많은 동시 세션의 자원 분리 

    Vertica의 코어 엔진에 내장되어있어 설치 및 유지 보수 불필요 즉시 사용 가능 
    데이터 준비 (전처리), 모델링, 평가, 구현 모든 SQL 내에서 실행 
    이미 Vertica에 저장되어있는 대용량 데이터를 즉시 분석 가능 
    (기존 제품에서 기계 학습 방법과 같은 다운 샘플링없이) 
    R 및 Python으로 작성된 로직을 재사용


    SQL 기능을 다른 언어에서 호출 할 수 있도록 래퍼를 제공 ※ GitHub에서 제공 
    https://github.com/vertica/vertica.dplyr



    'VERTICA > 01. 미분류' 카테고리의 다른 글

    odbc  (0) 2017.07.12
    구글애널리틱스 (최근 이블로그 접속자 흐름)  (0) 2016.06.10
    25살 먹은 RDB는 집으로 보내라  (0) 2016.05.31
    RDBMS 랭킹(2016년5월31일 기준)  (0) 2016.05.31
    스톤브레이커 아저씨  (0) 2016.05.27

    댓글

Designed by Tistory.