VERTICA
-
실습환경_세번째(부제: 0원으로 구축하는 DIY빅데이터 에코시스템)VERTICA/97.실습환경 2019. 4. 26. 10:43
우선 2019년 8월 31일까지 사용할 계획입니다. 대략적인 사양은 다음과 같습니다. 가상 8 cpu(아이브리지) 16G 메모리 disk 100G 무려 3대 클러스터 구성입니다. 후훗.. (데이터는 컬럼단위(압축률아주좋음)로 압축되므로 어느 정도 실습환경이 될 듯) 온라인상에서 모든 이들이 이거 하나로 실습하기에는 매우 부족하겠지만 뭐.. 버티카를 딱히 아는 사람도 별로 없고 ㅋㅋ 이 정도 사양에서 어느 정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vertica client 다운로드(무료) 2.dbeaver 다운로드(오픈소스이며 상용으로써도 무료) 3.dbeaver 설정 1.ve..
-
기본적인설정체크용VERTICA/02. 설치 2019. 3. 5. 18:43
#!/bin/sh clear echo '--------------------------------' echo '@ intel_idle.max_cstate=0 / processor.max_cstate=0' cat /etc/grub.conf echo '--------------------------------' echo '@ swappiness = 0' cat /proc/sys/vm/swappiness echo '--------------------------------' echo '@ rc.local' echo '@touch /var/lock/subsys/local' echo '@echo deadline > /sys/block/sdb/queue/scheduler' echo '@blockdev --setra..
-
버티카 프로젝션과 OS 물리적 영역간 매핑 방법VERTICA/04. Admin 관리 2019. 1. 23. 16:52
메모리 영역(wos) + 디스크 영역(ros) 의 테이블 및 프로젝션 매핑확인 쿼리 select a.node_name , a.schema_name , p.anchor_table_name , 'ls -lrt '||d.location_path||'/'||substring(a.storage_oid::varchar,15,17)||'/'||a.sal_storage_id||'*' as proj_full_path , p.projection_name , a.storage_type , a.total_row_count , a.deleted_row_count , a.used_bytes , a.grouping from storage_containers a inner join storage_locations d on a.nod..
-
버티카 Eon모드VERTICA/03. Architecture 2018. 12. 24. 14:15
버전9.1 부터 나온것 같은데 아직은 aws에서만 구현이 가능하고(gcp는 s3호환모드가 필요하다고함) 장점은 컴퓨팅영역이 무한확장가능하다는건데... 노드간 global resegment 가 일어나는 쿼리를 수행하면 치명적일 것 같은 느낌같은 느낌이 들지만.. depot이 가야 할 길을 알려줄듯 하다... 그래도 이건 직접 해봐야 알 듯..(http://vertica.tistory.com/39 요런류의 non equi join 녀석들 ) 기존가지고 있던 shared nothing architecture를 반쯤 버린듯...
-
간만에 다시만들어 보는 실습 환경VERTICA/97.실습환경 2018. 10. 30. 17:49
얼마나갈지는 모르겠으나(클라우드비용) 최대한 유지하려고 노력하겠습니다. - 서버사용기간이 종료되어서 https://vertica.tistory.com/84 여기에 최신정보를 업데이트 하였습니다.- 구형 cpu이지만 그래도 사양이 살짝 업그레이드 되었습니다. ^^ 대략적인 사양은 다음과 같습니다. 가상 1cpu 2G 메모리 disk 50G(os포함이지만 데이터는 압축되므로 어느정도 실습환경이 될듯) 온라인상에서 모든이들이 이거하나로 실습하기에는 매우부족하겠지만 뭐.. 버티카를 딱히 아는사람도 별로 없고 ㅋㅋ 이정도 사양에서 어느정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴 에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vert..
-
CausalImpact(버티카와 연동)VERTICA/10.Machine Learning 2018. 10. 1. 18:38
- 실험데이터가아닌 자연관찰자료(A/B 테스팅과 다름) 마케팅이 아닌 다른 외부적 사건들, 예를 들어서 배송 최소 구매액을 올린다던지 경쟁사가 마케팅을 하는 경우에도 이런 외부의 사건들이 우리 실적에 미치는 영향을 A/B 테스팅으로 알아낼 수는 없음. xxx 동영상이 조회수가 올라가는 경우에도 A/B테스팅으로 알수 없음 - 두 시점이 아닌 여러 시점의 자료 처리(시계열 분석) A/B 테스팅처럼 처치 전 처치 후와 같은데이터가 아닌 여러시점의 데이터를 처리할 수 있다. - 다양한 독립변수 예를들어 매출 혹은 클릭율에 대한 종속변수를 설명하기위한 여러가지 변수를 동시에 사용할 수 있음. - 변수 선택 어떤 변수가 중요한가를 선별해주는 장점이 있음 - local trend, seasonal effect loc..
-
시대와 함께 높아지는 분석 요구VERTICA/01. 미분류 2018. 10. 1. 18:23
과거 분석 요구 사항 : BI/DWH • 정형 리포팅 중심 • 실적을 사전 집계하여 가시화 • 어제까지의 데이터 분석 • 취급 데이터 종류는 적음 • 분석 대상 기간은 짧음 • 소규모 이용 대응기술 : • OLTP 용 RDBMS (행 지향 RDBMS) • DWH 어플라이언스 현재 분석 요구 사항 : 빅 데이터 분석 기반 BI / DWH • 비정형 • 복잡한 분석 중심 • 과거 데이터에서 통찰력을 얻음 • 몇 분 몇 시간 전에 데이터를 분석 • 처리 데이터의 다양 화 • 비대화 • 장기 추세 파악 • 폭 넓은 유저층에서 이용 대응기술 : • OLAP 용 RDBMS (열 지향 RDBMS) • Hadoop 솔루션 • 인 메모리 솔루션 • 클라우드 형 DWH 가까운 장래 분석 요구 사항 : 데이터 기반 경영 분..