버티카
-
참조할만한 머신러닝 관련 url들VERTICA/10_1.참조정보 2017. 1. 18. 15:36
머신러닝에 대해 1도 모르고 호기심만 있으니 궁금한내용은 여기에 모아야 겠다. (최대한 실무에 바로쓰일만한 것만) - A/B 테스트를 보완하는 Multi-Armed Bandit(MAB) 알고리즘 :: http://hub.zum.com/kimws/2586 - Markov Process, Markov Chain 마르코프 프로세스, 마르코프 과정, 마코브 과정, 마르코프 모델, 마르코프 연쇄 :: http://www.ktword.co.kr/abbr_view.php?m_temp1=4312 - A/B Testing 도구인 Optimizely 사용법:: https://spoqa.github.io/2013/06/24/about-optimizely.html
-
Vertica Pulse 사전VERTICA/11.Pulse 2017. 1. 5. 18:01
버티카 Pulse는 문장에 대해 감성분석을 지원한다 아래내용은 감성분석을 정밀하게 하기위한 여러가지의 사전 및 매핑정보에 대한 정보이다.현재까지(8.0.1) 버전으로는 영어와 스페인어만 지원한다. 한국은 시장도 매우작고 쓰느데도 별로없으니 안해줄듯 ㅠㅠ white_list_en 항상 특성으로 표시되는 단어. 이 목록은 기본 펄스 특성 검색 프로세스를 나열. white_list 사용자 사전에 항상 점수가 매겨진 단어를 추가. 예를 들어, 이러한 단어들은 펄스에 의해 방해 받지 않는 명사, 구절, 어구 등을 포함할 수 있다. stop_words_en 특성으로 표시되지 않는 단어. stop_words 사용자 사전에 스코어링 하지 않으려는 단어를 추가. 이 사전을 사용하여 분석 대상이 아닌 특성을 필터링. 이 ..
-
Vertica 에서 Kmeans 수행하기VERTICA/10.Machine Learning 2016. 12. 27. 18:56
K-평균 알고리즘(K-means algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다. 이 알고리즘은 자율 학습의 일종으로, 레이블이 달려 있지 않은 입력 데이터에 레이블을 달아주는 역할을 수행한다. (위키백과 참조 : https://ko.wikipedia.org/wiki/K-%ED%8F%89%EA%B7%A0_%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98 ) 실습대상데이터 iris 아이리스는 붓꽃에 대한 꽃받침,꽃잎의(길이,너비) 정보 데이터가 들어있다. 꽃받침과 꽃잎이 무었인지 아리까리하다면.. 여기에서 잠깐확인하시거나 포털검색을.. -> http://withbook.tistory.com/426 ir..
-
EXPORT TO VERTICAVERTICA/09. SQL 2016. 12. 20. 12:35
오랜만에 글을쓰는듯.. EXPORT TO VERTICA : 버티카(소스) -> 버티카(타겟)간 데이터 이관 시에 사용한다(반대는 copy from) 문법 은 아래와 같다. EXPORT TO VERTICA database.[dest-schema.]dest-table ... [(dest-column [,dest-column2,...])] ... { AS SELECT select-expression ... | FROM [source-schema.]source-table ... [(source-column [,source-column2,...])]}; 대략적인 수행방법은 아래와 같다. /opt/vertica/bin/vsql -v AUTOCOMMIT=on -c "connect to VERTICA 접속할db명 US..
-
Vertica를 도입할때 과연 고가의 하드웨어가 필요한가?가성비하드웨어 2016. 6. 9. 15:13
언젠간 실험해보겠지만 배치만을 위한 장비로는 실제PC급에 30만원대 삼성SSD960pro M.2 를 장착하여 여러대의 PC를 묶어서(한10~50대?) 부하를 분산하여 엄청 큰 배치를 처리하는것도 방법인듯.DBMS 자체가 RAID와 유사한 방식을 가지고 있으므로 대용량 분석시스템에도 PC급으로 처리가 될 수 있지 않을까 싶다.. (버티카를 잘못사용하는 사례중하나가 쓸데없이 메모리 증설을 하는것.. 그건 SQL 과 Projection을 잘못구성했기때문..)(그리고 버티카에서는 파티션의 효과는 미미하다 Projection 에 시간을 더투자하라 SEGMENTATION 방식 + ORDER)버티카 과금정책이 용량단위 과금이고 서버의 제한이 없으니..... 1.부하분산으로 비용절감을 원하거나 2.초기 구축에 큰비용이..
-
RESOURCE POOL 관리VERTICA/04. Admin 관리 2016. 6. 2. 18:10
버티카에는 자원효율화를 위해 RESOURCE POOL 이란 개념을 도입하였고 활용방안은 중요하지 않은 업무 혹은 자원 과다사용에 제한을 두기위한 작업에 사용하면 될거 같습니다. SyntaxCREATE RESOURCE POOL pool-name자주쓰는 옵션 위주로 기술 해 보겠습니다. OPTION MEMORYSIZE : Resource Pool의 메모리 크기 MAXMEMORYSIZE : 최대 사용 가능한 메모리 크기 QUEUETIMEOUT : Queue에 대기할 경우 대기하는 시간(s) PLANNEDCONCURRENCY : 하나의 appl이 사용할 수 있는 Resource Pool 내의 메모리 크기 MAXCONCURRENCY : 동시에 실행되는 Appl의 개수 보통 RESOURCE POOL 을 생성하고 해..
-
권한VERTICA/04. Admin 관리 2016. 6. 2. 17:12
항목 작업 내용 필요한 권한 데이터베이스 CREATE DATABASE ※ "Management Console" 또는 "Administration Tools"을 이용하여 만듭니다. 슈퍼 유저 만 가능 DROP DATABASE ※ "Management Console" 또는 "Administration Tools"을 이용하여 삭제합니다. 슈퍼 유저 만 가능 ALTER DATABASE 슈퍼 유저 만 가능 스키마 CREATE SCHEMA 데이터베이스의 CREATE 권한 DROP SCHEMA 스키마의 소유자 ALTER SCHEMA RENAME 데이터베이스의 CREATE 권한 테이블 CREATE TABLE 스키마의 CREATE 권한 테이블 만들 때 순서를 이용하기 위해서는 시퀀스 권한이 있어야합니다. 시퀀스의 SEL..
-
25살 먹은 RDB는 집으로 보내라VERTICA/01. 미분류 2016. 5. 31. 18:03
레거시 벤더가 팔고 있는 데이터베이스(DB) 코드는 25살 먹은 것이. 이제 은퇴할 때가 왔으니, 시대에 뒤떨어진 소프트웨어를 집으로 보내라. DB 산업의 선구자 마이클 스톤 브레이커가 DB의 미래 전망과 관련해 도발적인 주장을 펼쳐 주목된다. 14일(현지시간) 마이클 스톤브레이커는 기가옴 팟캐스트 스트럭처쇼에 출연해 오늘날 DB시장에 대한 분석을 풀어냈다. 오라클과 SAP의 각축, NoSQL과 NewSQL 등 여러가지 시사점을 던졌다. 마이클 스톤브레이커는 포스트그레SQL, 버티카 등의 초기 개발에 참여했던 인물로 세계적인 관계형DB분야 권위자로 통한다. 현재 볼트DB란 인메모리 온라인트랜잭션프로세싱(OLTP) 시스템 개발회사의 최고기술책임자(CTO)로 재직중이다. 스톤브레이커는 내가 생각할..