VERTICA
-
Vertica 파티션: 자주 묻는 질문VERTICA/98.FAQs 2017. 4. 13. 18:14
원문은 여기 : https://my.vertica.com/kb/HPE-Vertica-Partitions-The-FAQs/Content/FAQs/HPE-Vertica-Partitions-The-FAQs.htm Vertica 파티션: 자주 묻는 질문(FAQ)목차 Hewlett Packard Enterprise Vertica 파티셔닝 기능은 대용량 테이블 1개를 하나 이상의 컬럼 값에 따라 더욱 작은 파티션으로 분할합니다. 이번 문서에서 살펴보겠지만 파티셔닝은 데이터 수명 주기를 더욱 쉽게 관리할 뿐만 아니라 파티션 표현식에 조건절의 조건이 포함되는 쿼리의 성능을 개선할 수 있는 기능입니다. 본 문서에서는 Vertica 데이터베이스의 파티션과 관련하여 발생할 수 있는 가장 중요한 질문에 대한 해답을 살펴보겠습..
-
Tuple Mover 모범 사례VERTICA/99.Best Practices 2017. 4. 4. 19:08
원문은 : https://my.vertica.com/kb/Tuple-Mover-Best-Practices/Content/BestPractices/Tuple-Mover-Best-Practices.htmTuple Mover 개요Vertica 분석 플랫폼은 WOS라고 하는 메모리에 작은 용량의 데이터 파일을 소량 로드하거나, ROS라고 하는 파일 시스템에 큰 용량의 데이터 파일을 대량 로드할 수 있는 스토리지 옵션을 지원합니다. WOS에 로드되는 데이터는 정렬되지 않은 상태로 저장되는 반면 ROS에 로드되는 데이터는 프로젝션 설계에 따라 정렬되거나, 인코딩되거나, 압축된 상태로 저장됩니다. Tuple Mover는 백그라운드에서 실행되는 Vertica 서비스로서 두 가지 작업을 수행합니다. 무브아웃(Moveou..
-
STRATAVERTICA/03. Architecture 2017. 3. 17. 15:17
버티카 튜플무버가 ROS파일을 병합할때 파라메터 MoveOutInterval 에 따라 조절이 되지만 몇가지 더 참조하는것이 있다.그것은 글 제목과 같은 STRATA 이다. 아래 그림을 보면 좀더 이해가 쉬울 것이다.요약하면 특별한 경우를 제외하곤 큰놈과 작은놈은 저어얼~~~~~대 합쳐지지 않는다. 서로 어색해하나?? 이유는 큰 놈(ROS)과 작은 놈ROS) 을 병합하게되면 안좋은 점이 몇 가지 있겠지만. 그중에서도 1.병합하는 횟수가 많아져 튜플무버가 힘들어한다.2.기본적으로 버티카는 write once 아키텍처인데 큰놈과 작은놈을 병합해봤자 큰놈기준에서 전체크기는 크게 늘어자지 않겠지만 합쳐진 큰덩이라 파일을 다시 만들어야 하므로 마찬가지로 튜플무버가 힘들어한다.(http://vertica.tistor..
-
Vertica-Extension-Packages 모음VERTICA/10_1.참조정보 2017. 3. 3. 17:15
Vertica-Extension-Packages 관련 링크는여기https://github.com/vertica/Vertica-Extension-Packages현재기준으로 아래와 같은 추가 패키지가 있다. 필요한 패키지가 있다면 참조하여 사용하면 된다. avro_parserFix the dependencies in the Avro parser's tparty makefile so that it …compatlib_functionsUpdate READMEs to have correct installation instructions for each pac…email_packageMore README tweaksencryption_packageUpdate READMEs to have correct install..
-
문제1VERTICA/06. Tuning 2017. 2. 13. 11:35
-- 조인결과 row수 대략 7~8천억건이 적당 (약5~7 년전 pc 급 3대 클러스터 기준)SELECT count(*) FROM online_sales.ytkim_target AS TARGET INNER JOIN online_sales.ytkim_target AS adjoin ON (adjoin.product_key = TARGET.product_key AND adjoin.customer_key TARGET.customer_key) -- 아래의 SQL을 개선하는 방법을 찾는 문제 입니다.(그룹함수의 결과는 큰의미가 없습니다. adjoin.customer_key TARGET.customer_key 조건절 때문에 발생하는 비효율을 없에는 것이 포인트 입니다.) SELECT TARGET.customer_ke..
-
참조할만한 머신러닝 관련 url들VERTICA/10_1.참조정보 2017. 1. 18. 15:36
머신러닝에 대해 1도 모르고 호기심만 있으니 궁금한내용은 여기에 모아야 겠다. (최대한 실무에 바로쓰일만한 것만) - A/B 테스트를 보완하는 Multi-Armed Bandit(MAB) 알고리즘 :: http://hub.zum.com/kimws/2586 - Markov Process, Markov Chain 마르코프 프로세스, 마르코프 과정, 마코브 과정, 마르코프 모델, 마르코프 연쇄 :: http://www.ktword.co.kr/abbr_view.php?m_temp1=4312 - A/B Testing 도구인 Optimizely 사용법:: https://spoqa.github.io/2013/06/24/about-optimizely.html
-
Vertica Pulse 사전VERTICA/11.Pulse 2017. 1. 5. 18:01
버티카 Pulse는 문장에 대해 감성분석을 지원한다 아래내용은 감성분석을 정밀하게 하기위한 여러가지의 사전 및 매핑정보에 대한 정보이다.현재까지(8.0.1) 버전으로는 영어와 스페인어만 지원한다. 한국은 시장도 매우작고 쓰느데도 별로없으니 안해줄듯 ㅠㅠ white_list_en 항상 특성으로 표시되는 단어. 이 목록은 기본 펄스 특성 검색 프로세스를 나열. white_list 사용자 사전에 항상 점수가 매겨진 단어를 추가. 예를 들어, 이러한 단어들은 펄스에 의해 방해 받지 않는 명사, 구절, 어구 등을 포함할 수 있다. stop_words_en 특성으로 표시되지 않는 단어. stop_words 사용자 사전에 스코어링 하지 않으려는 단어를 추가. 이 사전을 사용하여 분석 대상이 아닌 특성을 필터링. 이 ..