-
Vertica-Extension-Packages 모음VERTICA/10_1.참조정보 2017. 3. 3. 17:15
Vertica-Extension-Packages 관련 링크는여기https://github.com/vertica/Vertica-Extension-Packages현재기준으로 아래와 같은 추가 패키지가 있다. 필요한 패키지가 있다면 참조하여 사용하면 된다. avro_parserFix the dependencies in the Avro parser's tparty makefile so that it …compatlib_functionsUpdate READMEs to have correct installation instructions for each pac…email_packageMore README tweaksencryption_packageUpdate READMEs to have correct install..
-
문제1VERTICA/06. Tuning 2017. 2. 13. 11:35
-- 조인결과 row수 대략 7~8천억건이 적당 (약5~7 년전 pc 급 3대 클러스터 기준)SELECT count(*) FROM online_sales.ytkim_target AS TARGET INNER JOIN online_sales.ytkim_target AS adjoin ON (adjoin.product_key = TARGET.product_key AND adjoin.customer_key TARGET.customer_key) -- 아래의 SQL을 개선하는 방법을 찾는 문제 입니다.(그룹함수의 결과는 큰의미가 없습니다. adjoin.customer_key TARGET.customer_key 조건절 때문에 발생하는 비효율을 없에는 것이 포인트 입니다.) SELECT TARGET.customer_ke..
-
참조할만한 머신러닝 관련 url들VERTICA/10_1.참조정보 2017. 1. 18. 15:36
머신러닝에 대해 1도 모르고 호기심만 있으니 궁금한내용은 여기에 모아야 겠다. (최대한 실무에 바로쓰일만한 것만) - A/B 테스트를 보완하는 Multi-Armed Bandit(MAB) 알고리즘 :: http://hub.zum.com/kimws/2586 - Markov Process, Markov Chain 마르코프 프로세스, 마르코프 과정, 마코브 과정, 마르코프 모델, 마르코프 연쇄 :: http://www.ktword.co.kr/abbr_view.php?m_temp1=4312 - A/B Testing 도구인 Optimizely 사용법:: https://spoqa.github.io/2013/06/24/about-optimizely.html
-
Vertica Pulse 사전VERTICA/11.Pulse 2017. 1. 5. 18:01
버티카 Pulse는 문장에 대해 감성분석을 지원한다 아래내용은 감성분석을 정밀하게 하기위한 여러가지의 사전 및 매핑정보에 대한 정보이다.현재까지(8.0.1) 버전으로는 영어와 스페인어만 지원한다. 한국은 시장도 매우작고 쓰느데도 별로없으니 안해줄듯 ㅠㅠ white_list_en 항상 특성으로 표시되는 단어. 이 목록은 기본 펄스 특성 검색 프로세스를 나열. white_list 사용자 사전에 항상 점수가 매겨진 단어를 추가. 예를 들어, 이러한 단어들은 펄스에 의해 방해 받지 않는 명사, 구절, 어구 등을 포함할 수 있다. stop_words_en 특성으로 표시되지 않는 단어. stop_words 사용자 사전에 스코어링 하지 않으려는 단어를 추가. 이 사전을 사용하여 분석 대상이 아닌 특성을 필터링. 이 ..
-
Vertica 에서 Kmeans 수행하기VERTICA/10.Machine Learning 2016. 12. 27. 18:56
K-평균 알고리즘(K-means algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 이 알고리즘은 자율 학습의 일종으로, 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행한다. (위키백과 참조 : https://ko.wikipedia.org/wiki/K-%ED%8F%89%EA%B7%A0_%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 ) 실습대상데이터 iris 아이리스는 붓꽃에 대한 꽃받침,꽃잎의(길이,너비) 정보 데이터가 들어있다. 꽃받침과 꽃잎이 무었인지 아리까리하다면.. 여기에서 잠깐확인하시거나 포털검색을.. -> http://withbook.tistory.com/426 ir..
-
EXPORT TO VERTICAVERTICA/09. SQL 2016. 12. 20. 12:35
오랜만에 글을쓰는듯.. EXPORT TO VERTICA : 버티카(소스) -> 버티카(타겟)간 데이터 이관 시에 사용한다(반대는 copy from) 문법 은 아래와 같다. EXPORT TO VERTICA database.[dest-schema.]dest-table ... [(dest-column [,dest-column2,...])] ... { AS SELECT select-expression ... | FROM [source-schema.]source-table ... [(source-column [,source-column2,...])]}; 대략적인 수행방법은 아래와 같다. /opt/vertica/bin/vsql -v AUTOCOMMIT=on -c "connect to VERTICA 접속할db명 US..
-
버티카 성능 진단VERTICA/06. Tuning 2016. 12. 14. 12:50
버티카 모니터링할때 어느부분에서 자원을 많이 쓰는지 확인이 가능하다.일부 원천 데이터자체가 부정확하긴하지만 어디에서 문제가 있는지 감을 잡는데는 도움을 줄 것이다. SELECT substr(current_statement,1,100) as '수행SQL' , eep.path_id , eep.operator_name , eep.TRANSACTION_id , eep.STATEMENT_id --, node_name , count(DISTINCT operator_id) num_operators , count(DISTINCT eep.node_name) num_nodes , round(sum(DECODE(counter_name, 'bytes received', counter_value, NULL))/1024^2,2)..