버티카
-
버티카 Eon모드VERTICA/03. Architecture 2018. 12. 24. 14:15
버전9.1 부터 나온것 같은데 아직은 aws에서만 구현이 가능하고(gcp는 s3호환모드가 필요하다고함) 장점은 컴퓨팅영역이 무한확장가능하다는건데... 노드간 global resegment 가 일어나는 쿼리를 수행하면 치명적일 것 같은 느낌같은 느낌이 들지만.. depot이 가야 할 길을 알려줄듯 하다... 그래도 이건 직접 해봐야 알 듯..(http://vertica.tistory.com/39 요런류의 non equi join 녀석들 ) 기존가지고 있던 shared nothing architecture를 반쯤 버린듯...
-
Google Bigquery ODBC 설정구글제품 2018. 12. 24. 14:01
순서1.GCP 인증키 파일 발급2.ODBC 드라이버 다운로드3.ODBC 드라이버 설치4.1차 인증키 생성5.odbc.ini 초기설정6.2차인증키 설정7.환경변수 등록 상세 1.GCP 인증키 파일 발급 GCP iam 에서 인증키 파일 발급 (.json 혹은 p12) 2.ODBC 드라이버 다운로드 : https://cloud.google.com/bigquery/partners/simba-drivers/ (현재 사용한 버전은 SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz) 3.ODBC 드라이버 설치 tar --directory=/opt -zxvf SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz cd /opt/si..
-
Vertica 임포트 및 익스포트의 이해VERTICA/99.Best Practices 2017. 11. 28. 15:53
Vertica는 Vertica 클러스터끼리 데이터를 이동시킬 수 있는 임포트 및 익스포트 기능을 지원합니다. 클러스터 사이에서 데이터를 가져오거나 내보내면 STDIN을 통해 데이터를 스트리밍하거나 vsql 연결을 사용하는 것보다 속도가 더 빠른데, 이번 문서에서 그 이유를 살펴보겠습니다. 임포트 및 익스포트: 개요 임포트 및 익스포트 프로세스는 미러 이미지로 실행됩니다. 데이터를 익스포트하는 클러스터는 SELECT 문에 해당하는 쿼리를 실행합니다. 그리고 데이터를 임포트하는 클러스터는 COPY 문에 해당하는 쿼리를 실행합니다. 임포트/익스포트 작업의 메커니즘은 INSERT... SELECT ... 쿼리와 비슷합니다. 본 문서에서는 데이터를 익스포트하는 클러스터를 소스 클러스터로, 그리고 데이터를 임포트하..
-
머신러닝 관련 기능들VERTICA/10.Machine Learning 2017. 9. 6. 17:41
머신러닝 관련 기능들 (8.1이전 버전에서는 몇 가지 기능이 없을 수 있습니다.) 데이터 준비 기능데이터를 사전 처리하기 위해 다음과 같은 기능을 사용할 수 있습니다 :APPLY_NORMALIZEBALANCE DETECT_OUTLIERS IMPUTE NORMALIZE NORMALIZE_FITREVERSE_NORMALIZE 평가 기능데이터를 평가하기 위해 다음과 같은 기능을 사용할 수 있습니다 :APPLY_KMEANSCONFUSION_MATRIXGET_MODEL_ATTRIBUTEERROR_RATELIFT_TABLEMSEROCRSQUAREDSUMMARIZE_MODEL 예측 기능테이블에 모델을 적용하기 위해 다음과 같은 기능을 사용할 수 있습니다 :PREDICT_LINEAR_REGPREDICT_LOGISTIC..
-
Spread 디버깅VERTICA/99.Best Practices 2017. 5. 10. 16:35
Spread란 무엇입니까?Vertica는 오픈 소스 도구키트인 Spread를 사용하여 네트워크 장애에 대한 복원력이 뛰어난 고성능 메시징 서비스를 제공합니다. 데이터베이스를 처음 시작하면 Spread 데몬이 자동으로 실행됩니다. Spread 데몬은 클러스터의 제어 노드에서 실행되고, 제어 노드는 메시지 커뮤니케이션을 관리합니다. Vertica 프로세스와 Spread 데몬 페어스(Pairs)Vertica 설치를 시작하면 Spread 데몬이 데이터베이스에 설치됩니다. Vertica 프로세스의 노드는 도메인 소켓을 사용하여 Spread 데몬과 통신합니다. 노드 간 통신은 2개 채널인 데이터 채널과 제어 채널(UDP 메인 채널과 UDP 토큰 채널)을 통해 이루어집니다. 다음은 도메인 소켓과 2개 채널이 포함된 ..
-
STRATAVERTICA/03. Architecture 2017. 3. 17. 15:17
버티카 튜플무버가 ROS파일을 병합할때 파라메터 MoveOutInterval 에 따라 조절이 되지만 몇가지 더 참조하는것이 있다.그것은 글 제목과 같은 STRATA 이다. 아래 그림을 보면 좀더 이해가 쉬울 것이다.요약하면 특별한 경우를 제외하곤 큰놈과 작은놈은 저어얼~~~~~대 합쳐지지 않는다. 서로 어색해하나?? 이유는 큰 놈(ROS)과 작은 놈ROS) 을 병합하게되면 안좋은 점이 몇 가지 있겠지만. 그중에서도 1.병합하는 횟수가 많아져 튜플무버가 힘들어한다.2.기본적으로 버티카는 write once 아키텍처인데 큰놈과 작은놈을 병합해봤자 큰놈기준에서 전체크기는 크게 늘어자지 않겠지만 합쳐진 큰덩이라 파일을 다시 만들어야 하므로 마찬가지로 튜플무버가 힘들어한다.(http://vertica.tistor..
-
탈렌드 인스톨 가이드 목차talend/Talend Studio의 사용방법 2017. 3. 13. 16:09
목차 서문 1. 일반정보 1.1. 목적 1.2. 대상 1.3. 표기 방법 1. Talend 제품을 설치하기 전에 1.1. 설치 요구 사항 1.2. Studio와 관련된 전제 조건 1.2.1 데이터베이스 클라이언트 소프트웨어 설치 (벌크 모드 용) 1.2.2. XULRunner 패키지 설치 (Linux 사용자 용) 1.3. 호환 플랫폼 및 Java 환경 2. Talend Studio를 처음 설치 2.1. Talend Studio 다운로드 및 설치 2.2. Talend Studio의 시작 2.2.1. Studio의 시작 2.3. Talend Studio 설정 2.3.1. 필요한 외부 모듈을 검사 2.3.2. 외부 모듈 설치 3. Talend 제품의 업그레이드 3.1. 환경의 백업 3.2. Studio에서 T..