BIGDATA
-
Google Bigquery ODBC 설정구글제품 2018. 12. 24. 14:01
순서1.GCP 인증키 파일 발급2.ODBC 드라이버 다운로드3.ODBC 드라이버 설치4.1차 인증키 생성5.odbc.ini 초기설정6.2차인증키 설정7.환경변수 등록 상세 1.GCP 인증키 파일 발급 GCP iam 에서 인증키 파일 발급 (.json 혹은 p12) 2.ODBC 드라이버 다운로드 : https://cloud.google.com/bigquery/partners/simba-drivers/ (현재 사용한 버전은 SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz) 3.ODBC 드라이버 설치 tar --directory=/opt -zxvf SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz cd /opt/si..
-
간만에 다시만들어 보는 실습 환경VERTICA/97.실습환경 2018. 10. 30. 17:49
얼마나갈지는 모르겠으나(클라우드비용) 최대한 유지하려고 노력하겠습니다. - 서버사용기간이 종료되어서 https://vertica.tistory.com/84 여기에 최신정보를 업데이트 하였습니다.- 구형 cpu이지만 그래도 사양이 살짝 업그레이드 되었습니다. ^^ 대략적인 사양은 다음과 같습니다. 가상 1cpu 2G 메모리 disk 50G(os포함이지만 데이터는 압축되므로 어느정도 실습환경이 될듯) 온라인상에서 모든이들이 이거하나로 실습하기에는 매우부족하겠지만 뭐.. 버티카를 딱히 아는사람도 별로 없고 ㅋㅋ 이정도 사양에서 어느정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴 에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vert..
-
CausalImpact(버티카와 연동)VERTICA/10.Machine Learning 2018. 10. 1. 18:38
- 실험데이터가아닌 자연관찰자료(A/B 테스팅과 다름) 마케팅이 아닌 다른 외부적 사건들, 예를 들어서 배송 최소 구매액을 올린다던지 경쟁사가 마케팅을 하는 경우에도 이런 외부의 사건들이 우리 실적에 미치는 영향을 A/B 테스팅으로 알아낼 수는 없음. xxx 동영상이 조회수가 올라가는 경우에도 A/B테스팅으로 알수 없음 - 두 시점이 아닌 여러 시점의 자료 처리(시계열 분석) A/B 테스팅처럼 처치 전 처치 후와 같은데이터가 아닌 여러시점의 데이터를 처리할 수 있다. - 다양한 독립변수 예를들어 매출 혹은 클릭율에 대한 종속변수를 설명하기위한 여러가지 변수를 동시에 사용할 수 있음. - 변수 선택 어떤 변수가 중요한가를 선별해주는 장점이 있음 - local trend, seasonal effect loc..
-
시대와 함께 높아지는 분석 요구VERTICA/01. 미분류 2018. 10. 1. 18:23
과거 분석 요구 사항 : BI/DWH • 정형 리포팅 중심 • 실적을 사전 집계하여 가시화 • 어제까지의 데이터 분석 • 취급 데이터 종류는 적음 • 분석 대상 기간은 짧음 • 소규모 이용 대응기술 : • OLTP 용 RDBMS (행 지향 RDBMS) • DWH 어플라이언스 현재 분석 요구 사항 : 빅 데이터 분석 기반 BI / DWH • 비정형 • 복잡한 분석 중심 • 과거 데이터에서 통찰력을 얻음 • 몇 분 몇 시간 전에 데이터를 분석 • 처리 데이터의 다양 화 • 비대화 • 장기 추세 파악 • 폭 넓은 유저층에서 이용 대응기술 : • OLAP 용 RDBMS (열 지향 RDBMS) • Hadoop 솔루션 • 인 메모리 솔루션 • 클라우드 형 DWH 가까운 장래 분석 요구 사항 : 데이터 기반 경영 분..
-
flex tableVERTICA/09. SQL 2018. 10. 1. 18:18
-- 형식이 없는 flex table 생성create flex table test.temp_ytkim_test(); --초기화truncate table test.temp_ytkim_test; -- 데이터 적재copy test.temp_ytkim_test from local 'd:\json\ga_tes*.json' PARSER fjsonparser();copy test.temp_ytkim_test from local 'd:\json\ga_test*.json' PARSER fjsonparser(flatten_maps = true, flatten_arrays=true);copy test.temp_ytkim_test from local 'd:\json\ga*.json' PARSER fjsonparser(flat..
-
Vertica 임포트 및 익스포트의 이해VERTICA/99.Best Practices 2017. 11. 28. 15:53
Vertica는 Vertica 클러스터끼리 데이터를 이동시킬 수 있는 임포트 및 익스포트 기능을 지원합니다. 클러스터 사이에서 데이터를 가져오거나 내보내면 STDIN을 통해 데이터를 스트리밍하거나 vsql 연결을 사용하는 것보다 속도가 더 빠른데, 이번 문서에서 그 이유를 살펴보겠습니다. 임포트 및 익스포트: 개요 임포트 및 익스포트 프로세스는 미러 이미지로 실행됩니다. 데이터를 익스포트하는 클러스터는 SELECT 문에 해당하는 쿼리를 실행합니다. 그리고 데이터를 임포트하는 클러스터는 COPY 문에 해당하는 쿼리를 실행합니다. 임포트/익스포트 작업의 메커니즘은 INSERT... SELECT ... 쿼리와 비슷합니다. 본 문서에서는 데이터를 익스포트하는 클러스터를 소스 클러스터로, 그리고 데이터를 임포트하..