-
시대와 함께 높아지는 분석 요구VERTICA/01. 미분류 2018. 10. 1. 18:23
과거
분석 요구 사항 :
BI/DWH
• 정형 리포팅 중심
• 실적을 사전 집계하여 가시화
• 어제까지의 데이터 분석
• 취급 데이터 종류는 적음
• 분석 대상 기간은 짧음
• 소규모 이용대응기술 :
• OLTP 용 RDBMS (행 지향 RDBMS)
• DWH 어플라이언스
현재
분석 요구 사항 :
빅 데이터 분석 기반 BI / DWH
• 비정형
• 복잡한 분석 중심
• 과거 데이터에서 통찰력을 얻음
• 몇 분 몇 시간 전에 데이터를 분석
• 처리 데이터의 다양 화
• 비대화
• 장기 추세 파악
• 폭 넓은 유저층에서 이용대응기술 :
• OLAP 용 RDBMS (열 지향 RDBMS)
• Hadoop 솔루션
• 인 메모리 솔루션
• 클라우드 형 DWH가까운 장래
분석 요구 사항 :
데이터 기반 경영 분석 기초
• 기계 학습, AI 기술을 활용 한 분석
• 미래 예측에 활용
• 실시간 분석
• IoT, 위치 정보, SNS 데이터 등
• 보다 장기적인 트렌드 파악
• 사전 탐지 및 자동화대응기술 :
• OLAP 용 RDBMS (열 지향 RDBMS)
• Hadoop 솔루션
• 인 메모리 솔루션
• 클라우드 형 DWH
• 전용 솔루션 (AI, GIS 등)
처음에 작게 시작해서 비즈니스의 성장과 함께 선형으로 확장 해 나가는것이 가능
Vertica의 핵심 기술이란?
• 표준 SQL 인터페이스
- 추가적으로 사전에 투자한 BI, ETL, Hadoop / MapReduce 와 연계 가능
• 고급 압축
- 10 개 이상의 알고리즘을 이용하여 최대 90 %의 공간 절약
• 열 지향
- 디스크 I/O 병목 현상이없이 데이터 적재와 쿼리가 빠르게 동시 실행이 가능
• 자동 데이터베이스 설계
- 도구를 시작하는 것만으로 자동 데이터베이스 최적화 또는 최적화 자동 감지
• MPP (대규모 병렬 처리)
- 저가의 x86 서버 와 Linux 노드를 기본으로한 DB 수준에서의 클러스터링
• 고 가용성
- 일부 서버가 정지 중임에도 계속 운영이 가능함
기존의 RDBMS보다 50 배 ~ 1000 배 빠른
업계 표준 하드웨어를 통해 TB에서 PB까지 확장 가능
기존 ETL 및 BI 솔루션과의 간편한 통합
SQL99 준수
기계 학습 기능 등도 포함 고급 분석 기능
24 시간 365 일 계속로드 쿼리 실행
WHY Vertica + 기계 학습?
대규모 데이터에 대한 기계 학습 처리를 빠르게!
기계 학습 처리는 Vertica MPP 클러스터에서 병렬 처리
빠른 반복 연산을위한 인 메모리 처리
많은 동시 세션의 자원 분리
Vertica의 코어 엔진에 내장되어있어 설치 및 유지 보수 불필요 즉시 사용 가능
데이터 준비 (전처리), 모델링, 평가, 구현 모든 SQL 내에서 실행
이미 Vertica에 저장되어있는 대용량 데이터를 즉시 분석 가능
(기존 제품에서 기계 학습 방법과 같은 다운 샘플링없이)
R 및 Python으로 작성된 로직을 재사용
SQL 기능을 다른 언어에서 호출 할 수 있도록 래퍼를 제공 ※ GitHub에서 제공
https://github.com/vertica/vertica.dplyr'VERTICA > 01. 미분류' 카테고리의 다른 글
odbc (0) 2017.07.12 구글애널리틱스 (최근 이블로그 접속자 흐름) (0) 2016.06.10 25살 먹은 RDB는 집으로 보내라 (0) 2016.05.31 RDBMS 랭킹(2016년5월31일 기준) (0) 2016.05.31 스톤브레이커 아저씨 (0) 2016.05.27 댓글