VERTICA/03. Architecture
-
버티카 Eon모드VERTICA/03. Architecture 2018. 12. 24. 14:15
버전9.1 부터 나온것 같은데 아직은 aws에서만 구현이 가능하고(gcp는 s3호환모드가 필요하다고함) 장점은 컴퓨팅영역이 무한확장가능하다는건데... 노드간 global resegment 가 일어나는 쿼리를 수행하면 치명적일 것 같은 느낌같은 느낌이 들지만.. depot이 가야 할 길을 알려줄듯 하다... 그래도 이건 직접 해봐야 알 듯..(http://vertica.tistory.com/39 요런류의 non equi join 녀석들 ) 기존가지고 있던 shared nothing architecture를 반쯤 버린듯...
-
STRATAVERTICA/03. Architecture 2017. 3. 17. 15:17
버티카 튜플무버가 ROS파일을 병합할때 파라메터 MoveOutInterval 에 따라 조절이 되지만 몇가지 더 참조하는것이 있다.그것은 글 제목과 같은 STRATA 이다. 아래 그림을 보면 좀더 이해가 쉬울 것이다.요약하면 특별한 경우를 제외하곤 큰놈과 작은놈은 저어얼~~~~~대 합쳐지지 않는다. 서로 어색해하나?? 이유는 큰 놈(ROS)과 작은 놈ROS) 을 병합하게되면 안좋은 점이 몇 가지 있겠지만. 그중에서도 1.병합하는 횟수가 많아져 튜플무버가 힘들어한다.2.기본적으로 버티카는 write once 아키텍처인데 큰놈과 작은놈을 병합해봤자 큰놈기준에서 전체크기는 크게 늘어자지 않겠지만 합쳐진 큰덩이라 파일을 다시 만들어야 하므로 마찬가지로 튜플무버가 힘들어한다.(http://vertica.tistor..
-
Projection : sort key의 중요성VERTICA/03. Architecture 2016. 6. 1. 17:42
오늘은 Projection 특징중에서 sort 부분을 이야기 하겠습니다. 그림을 잘보면.. 짙은 녹색으로 칠해진 컬럼이 sort 된 컬럼입니다. 하나의 논리 Table에 여러개 Proejction 을 만들수 있다고 http://vertica.tistory.com/13 여기서 언급했었습니다. 결론적으로 sort 키 선정을 잘하면 IO를 효율적으로 줄여 줄 수 있습니다. 다시 그림으로 보면.. 성별+클래스+등급으로 sort 하였습니다. 컬럼전체를 읽는것이 아니고 필요한 부분만 읽게되어 조건절 혹은 group by 혹은 join 조건에 들어가게된다면 그에 맞는 sort 키를 선정하는것이 중요합니다. 위와 같이 Projection에 sort를 잘 지정하면 범위가 제한된 조건을 효율적으로 처리 할 수 있습니다..
-
버티카의 독창성VERTICA/03. Architecture 2016. 5. 25. 17:33
Vertica는 대량의 데이터를 고속으로 분석 할 수있는 열(컬럼) 지향 데이터베이스입니다. 요즘 수많은 열(컬럼) 지향 데이터베이스 제품이 출시되고 있습니다. 또한 기존의 행 지향 데이터베이스도 열 지향 기능이 추가되기 시작해(EXADATA의 스토리지 영역) 지금 열 지향 데이터베이스는 당연하게 사용되는 시대가되었습니다. 단, 어떤 제품 (서비스)을 선택해야할지 고민스러운 상황이되고 있습니다. 이번장 에서는 Vertica와 일반적인 열 지향 데이터베이스와의 차이 및 특수성을 소개합니다. 완전히 당연하게 된 열 지향 데이터베이스 여러분은 Vertica 라는 데이터베이스를 아십니까? Vertica는 대량의 데이터를 분석하는 등 정보계 시스템에서 사용되는 데이터베이스에서 '열 방향(컬럼나)"로 분류됩니다. ..
-
Vertica 특장점 - Pure MPP 아키텍처VERTICA/03. Architecture 2015. 8. 10. 16:08
Pure MPP 아키텍처 HP Vertica 는 별도의 제어 서버가 필요하지 않은 pure MPP 아키텍처로 설계되어, 모든 노드가 동일한 역할을 수행합니다. 또한, Shared nothing 아키텍처는 노드 추가에 의한 오버헤드 없는 확장성을 제공할 뿐만 아니라 서비스 중단 없는 장애 극복 기능을 제공합니다. 병렬 최적화 적재 HP Vertica는 동시 파일 적재 기법을 제공합니다. 따라서 다양한 원천 데이터가 적재 가능한 시점에 즉시 적재를 실행할 수 있으며 동일 테이블에 적재가 수행된다 하더라도 작업 완료를 기다릴 필요 없이 바로 적재 가능합니다. 소스의 수가 많을 수록, 파일의 종류가 다양하고 많을 수록 적재 시간을 급속도로 줄일 수 있습니다. 또한 인덱스가 존재하지 않아 인덱스 관리를 위한 별도..