vertica
-
카프카구성Kafka 2019. 3. 13. 11:18
[broker서버 3대 구성 / zookeeper & kafka 동일서버에 설치]==========================================================================================#주키퍼 설치(3대로 구성 vertica01, vertica02, vertica03)==========================================================================================[java설치]yum -y install java-1.8.0-openjdk [주키퍼 압축해제 및 심볼릭 링크 생성]cd /home/dbadmin/utiltar zxf zookeeper-3.4.10.tar.gzln -s zook..
-
메타베이스 차트 기능METABASE 2019. 2. 14. 16:17
메타베이스 차트기능은 노력대비 퀄리티가 좋다.(개발자가아닌 입장으로서 SQL만으로도 이러한 내용이 나오니..) 예전에 geojson부분에서 metabase와 연동해보면 괜춘하다고 한적이 있다.https://vertica.tistory.com/63 아래는 metabase 에서 서울시 geojson 설정하고 간단하게 구성을 해보았다.(딱히 한것 없이 아래 쿼리만 작성했다. mysql, 버티카는 from dual 을 안써도됨...) select '강서구' as 시군구, 500000 as 판매량 union all select '강남구' as 시군구, 50000 as 판매량 union allselect '강동구' as 시군구, 34000 as 판매량 union allselect '강북구' as 시군구, 40000..
-
mysql partition 활용(데이터 컷팅)mysql 2019. 2. 14. 11:44
1.현황 - log관련 테이블중 abc_xxx_log 과 같은 대용량 테이블(mysql기준 수십~수백GB)들은 조건절 컬럼에 인덱스가 있어도 일정구간 이상을 탐색하면 full scan 을 하고 있어 ETL시 mysql 부하 경감 및 수행시간 단축이 필요해보임. - mysql의 abc_xxx_log 테이블은 1일 조회시에만 인덱스를 사용하고 2일 이상 부터 인덱스를 사용안하고 있음 (ETL재처리등도 있어서 2일정도는 해야하는 상황을 가정) - mysql에서 보관주기(2주)를 지키기 위해 delete 구문으로 처리되고 있음(로그데이터 생성팀 혹은 개인) - abc_xxx_log 이관작업은(2일기준) 20분이상 수행 - 스트리밍으로 이관을해야하는데 전체 스캔을 하다보니 수분~수십분 정도 대기하다 fetch를 ..
-
버티카 프로젝션과 OS 물리적 영역간 매핑 방법VERTICA/04. Admin 관리 2019. 1. 23. 16:52
메모리 영역(wos) + 디스크 영역(ros) 의 테이블 및 프로젝션 매핑확인 쿼리 select a.node_name , a.schema_name , p.anchor_table_name , 'ls -lrt '||d.location_path||'/'||substring(a.storage_oid::varchar,15,17)||'/'||a.sal_storage_id||'*' as proj_full_path , p.projection_name , a.storage_type , a.total_row_count , a.deleted_row_count , a.used_bytes , a.grouping from storage_containers a inner join storage_locations d on a.nod..
-
Google Bigquery ODBC 설정구글제품 2018. 12. 24. 14:01
순서1.GCP 인증키 파일 발급2.ODBC 드라이버 다운로드3.ODBC 드라이버 설치4.1차 인증키 생성5.odbc.ini 초기설정6.2차인증키 설정7.환경변수 등록 상세 1.GCP 인증키 파일 발급 GCP iam 에서 인증키 파일 발급 (.json 혹은 p12) 2.ODBC 드라이버 다운로드 : https://cloud.google.com/bigquery/partners/simba-drivers/ (현재 사용한 버전은 SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz) 3.ODBC 드라이버 설치 tar --directory=/opt -zxvf SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz cd /opt/si..
-
Spread 디버깅VERTICA/99.Best Practices 2017. 5. 10. 16:35
Spread란 무엇입니까?Vertica는 오픈 소스 도구키트인 Spread를 사용하여 네트워크 장애에 대한 복원력이 뛰어난 고성능 메시징 서비스를 제공합니다. 데이터베이스를 처음 시작하면 Spread 데몬이 자동으로 실행됩니다. Spread 데몬은 클러스터의 제어 노드에서 실행되고, 제어 노드는 메시지 커뮤니케이션을 관리합니다. Vertica 프로세스와 Spread 데몬 페어스(Pairs)Vertica 설치를 시작하면 Spread 데몬이 데이터베이스에 설치됩니다. Vertica 프로세스의 노드는 도메인 소켓을 사용하여 Spread 데몬과 통신합니다. 노드 간 통신은 2개 채널인 데이터 채널과 제어 채널(UDP 메인 채널과 UDP 토큰 채널)을 통해 이루어집니다. 다음은 도메인 소켓과 2개 채널이 포함된 ..
-
재미있는 LISTAGG함수 (Oracle 11G R2 부터가능)미분류2 2017. 3. 17. 18:26
두개의 TABLE 순서가 같은지 궁금할때 ^^ SELECT * FROM (SELECT ''''||LISTAGG(column_name, ', ') WITHIN GROUP (ORDER BY column_id)||'''' COL_LIST FROM user_tab_columns WHERE table_name = '테이블1') INNA_1, (SELECT ''''||LISTAGG(column_name, ', ') WITHIN GROUP (ORDER BY column_id)||'''' COL_LIST FROM user_tab_columns WHERE table_name = '테이블2') INNA_2 WHERE INNA_1.COL_LIST = INNA_2.COL_LIST ; 버티카도 이런거 구현해줬음 좋겠다.
-
STRATAVERTICA/03. Architecture 2017. 3. 17. 15:17
버티카 튜플무버가 ROS파일을 병합할때 파라메터 MoveOutInterval 에 따라 조절이 되지만 몇가지 더 참조하는것이 있다.그것은 글 제목과 같은 STRATA 이다. 아래 그림을 보면 좀더 이해가 쉬울 것이다.요약하면 특별한 경우를 제외하곤 큰놈과 작은놈은 저어얼~~~~~대 합쳐지지 않는다. 서로 어색해하나?? 이유는 큰 놈(ROS)과 작은 놈ROS) 을 병합하게되면 안좋은 점이 몇 가지 있겠지만. 그중에서도 1.병합하는 횟수가 많아져 튜플무버가 힘들어한다.2.기본적으로 버티카는 write once 아키텍처인데 큰놈과 작은놈을 병합해봤자 큰놈기준에서 전체크기는 크게 늘어자지 않겠지만 합쳐진 큰덩이라 파일을 다시 만들어야 하므로 마찬가지로 튜플무버가 힘들어한다.(http://vertica.tistor..