티스토리

Bigdata
검색하기

블로그 홈

Bigdata

vertica.tistory.com/m

Bigdata

구독자
0
방명록 방문하기

주요 글 목록

  • AMD, 16코어 32스레드 CPU 프로세서 라이젠 9 3950X 발표…가격은 749달러 가격 정말 착하네요. AMD는 금일(11일) E3 2019에서 열린 AMD NEXT HORIZON GAMING 행사를 통해 16코어 32스레드를 지원하는 라이젠 9 3950X CPU 프로세서를 공식 발표했다.(9월출시예정이라고 합니다.) https://kbench.com/?q=node/199756 공감수 0 댓글수 0 2019. 6. 11.
  • 최초의 12코어, AMD가 해냈다! 컴퓨텍스 AMD 키노트 금일(27일), 대만 타이베이에서 열리는 세계 최대 컴퓨터 전시회 '컴퓨텍스'에서 AMD의 CEO '리사 수'의 키노트 발표가 진행되었다. 이번 키노트에서는 7nm 기반의 그래픽카드 AMD 라데온 RX 5700 시리즈와 7nm 기반의 새로운 라이젠 시리즈. 그리고 올해 초 CES에서 화제가 되었던 라이젠 3세대의 빈 다이에 대한 정보가 공개되었다. 새롭게 공개된 라이젠 3세대는 7nm가 적용된 젠2(zen 2) 아키텍처를 사용하며, 이전 아키텍처 대비 15% 향상된 성능을 제공한다. 그간 아쉬운 점 중 하나로 꼽히던 게이밍 성능 역시 높아진 단일 코어 성능과 캐시 메모리로 이전보다 뛰어난 게임 환경을 제공할 것이라 밝혔다. pc급으로도 dw를 구축할 날이 멀지 않은듯 합니다. 원문보기: http://ww.. 공감수 0 댓글수 0 2019. 5. 27.
  • 실습환경_세번째(부제: 0원으로 구축하는 DIY빅데이터 에코시스템) 우선 2019년 8월 31일까지 사용할 계획입니다. 대략적인 사양은 다음과 같습니다. 가상 8 cpu(아이브리지) 16G 메모리 disk 100G 무려 3대 클러스터 구성입니다. 후훗.. (데이터는 컬럼단위(압축률아주좋음)로 압축되므로 어느 정도 실습환경이 될 듯) 온라인상에서 모든 이들이 이거 하나로 실습하기에는 매우 부족하겠지만 뭐.. 버티카를 딱히 아는 사람도 별로 없고 ㅋㅋ 이 정도 사양에서 어느 정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vertica client 다운로드(무료) 2.dbeaver 다운로드(오픈소스이며 상용으로써도 무료) 3.dbeaver 설정 1.ve.. 공감수 0 댓글수 0 2019. 4. 26.
  • 카프카구성 [broker서버 3대 구성 / zookeeper & kafka 동일서버에 설치]==========================================================================================#주키퍼 설치(3대로 구성 vertica01, vertica02, vertica03)==========================================================================================[java설치]yum -y install java-1.8.0-openjdk [주키퍼 압축해제 및 심볼릭 링크 생성]cd /home/dbadmin/utiltar zxf zookeeper-3.4.10.tar.gzln -s zook.. 공감수 0 댓글수 0 2019. 3. 13.
  • 기본적인설정체크용 #!/bin/sh clear echo '--------------------------------' echo '@ intel_idle.max_cstate=0 / processor.max_cstate=0' cat /etc/grub.conf echo '--------------------------------' echo '@ swappiness = 0' cat /proc/sys/vm/swappiness echo '--------------------------------' echo '@ rc.local' echo '@touch /var/lock/subsys/local' echo '@echo deadline > /sys/block/sdb/queue/scheduler' echo '@blockdev --setra.. 공감수 0 댓글수 0 2019. 3. 5.
  • 라이젠 젠2 라이젠 7 3700X는 12코어 24 스레드를 갖고 있는데 이는 라이젠 7 2700X보다 4코어 8스레드 높은 수준. 3700X는 4.2Ghz 클럭에 5Ghz 부스트 클럭을 자랑한다. 이는 105W TDP의 인텔 8코어 칩과 유사한 속도이다. ​ 3700의 경우 3.8GHz 클럭, 4.6GHz 부스트 클럭을 자랑하며, TDP 95W이다. AMD 라이젠 7 3700X의 미화 가격은370 달러이며, 라이젠 7 3700은 335달러이다. 한국에서도 위의 가격 정도로 풀리면 저렴이(수백~수천만원정도로) 전사 DW구축이 가능할듯하다.이전에기술한 Vertica를 도입할때 과연 고가의 하드웨어가 필요한가? : https://vertica.tistory.com/23 여기도 참조하면 좋을 것 같다. 2019년5월27일자.. 공감수 0 댓글수 0 2019. 3. 5.
  • (Macs Fan Control)맥북이 뜨거울때.. https://www.crystalidea.com/macs-fan-control/download (무료) 이걸로 팬 속도를 올려서 양쪽 흰지 영역의 온도를 내려 줄 수 있다. 약간의 소음과 팬 수명은 좀 줄겠지만 발열을 잡아주므로 작업할때 손이 뜨거워지는것을 방지한다. 공감수 0 댓글수 0 2019. 2. 26.
  • 메타베이스 차트 기능 메타베이스 차트기능은 노력대비 퀄리티가 좋다.(개발자가아닌 입장으로서 SQL만으로도 이러한 내용이 나오니..) 예전에 geojson부분에서 metabase와 연동해보면 괜춘하다고 한적이 있다.https://vertica.tistory.com/63 아래는 metabase 에서 서울시 geojson 설정하고 간단하게 구성을 해보았다.(딱히 한것 없이 아래 쿼리만 작성했다. mysql, 버티카는 from dual 을 안써도됨...) select '강서구' as 시군구, 500000 as 판매량 union all select '강남구' as 시군구, 50000 as 판매량 union allselect '강동구' as 시군구, 34000 as 판매량 union allselect '강북구' as 시군구, 40000.. 공감수 0 댓글수 1 2019. 2. 14.
  • mysql partition 활용(데이터 컷팅) 1.현황 - log관련 테이블중 abc_xxx_log 과 같은 대용량 테이블(mysql기준 수십~수백GB)들은 조건절 컬럼에 인덱스가 있어도 일정구간 이상을 탐색하면 full scan 을 하고 있어 ETL시 mysql 부하 경감 및 수행시간 단축이 필요해보임. - mysql의 abc_xxx_log 테이블은 1일 조회시에만 인덱스를 사용하고 2일 이상 부터 인덱스를 사용안하고 있음 (ETL재처리등도 있어서 2일정도는 해야하는 상황을 가정) - mysql에서 보관주기(2주)를 지키기 위해 delete 구문으로 처리되고 있음(로그데이터 생성팀 혹은 개인) - abc_xxx_log 이관작업은(2일기준) 20분이상 수행 - 스트리밍으로 이관을해야하는데 전체 스캔을 하다보니 수분~수십분 정도 대기하다 fetch를 .. 공감수 0 댓글수 0 2019. 2. 14.
  • I/O STAT 예시 2011년쯤에 작성했었는데. (그이후로 오라클을 못만진 주륵ㅜ... 내 커리어 어쩔...)0원으로 AWR 모니터링을 할 수 있게끔 그럴 싸 한 걸 만들었지만 클라우드 사용요금 압박때문에.. (기존에는 워드프레스 다시 한다면 메타베이스로 ㅎㅎ)여튼 이런식으로 쿼리로도 출력이 가능하므로 특정 snap_id 델타 값을 갖는 데이터들은 시계열 분석도 가능하다. 단순 시계열 통계로 차트(구글차트등을 이용하여)보기는 당연 가능 할 것이고.분석쪽으로 좀 더 배우신분들은 해당 데이터로 머신러닝등을 활용해서 더 좋은 인사이트를 찾지 않을까 싶다. with base as ( select snap_id , instance_number , function_name , sum(small_read_megabytes) small_.. 공감수 0 댓글수 0 2019. 1. 24.
  • 버티카 프로젝션과 OS 물리적 영역간 매핑 방법 메모리 영역(wos) + 디스크 영역(ros) 의 테이블 및 프로젝션 매핑확인 쿼리 select a.node_name , a.schema_name , p.anchor_table_name , 'ls -lrt '||d.location_path||'/'||substring(a.storage_oid::varchar,15,17)||'/'||a.sal_storage_id||'*' as proj_full_path , p.projection_name , a.storage_type , a.total_row_count , a.deleted_row_count , a.used_bytes , a.grouping from storage_containers a inner join storage_locations d on a.nod.. 공감수 0 댓글수 0 2019. 1. 23.
  • 이기종 데이터 이관없이 융합해서 보기 관련링크 : https://www.denodo.com/en/data-virtualization/overview 테스트내용 : mysql과 vertica간 ETL없이 데이터 join --mysql 에서 수행create table namu_db_stat.temp_ytkim_donedo(id int, age int); insert into namu_db_stat.temp_ytkim_donedovalues (1,30); select * from namu_db_stat.temp_ytkim_donedo; -- Vertica에서 수행create table public.vertica_temp_ytkim_donedo_test( id int, name varchar(200)); insert into public.verti.. 공감수 0 댓글수 0 2019. 1. 11.
  • 다양한 데이터소스 와 다양한뷰 사용자는 창사이래 데이터부터 실시간데이터를 한큐에 보고싶어함.... 다만 하루에 발생하는 데이터가 수억~수십억건 이라면... 하나의 DBMS제품군으로 소화가 힘드니... 공감수 0 댓글수 0 2019. 1. 9.
  • superquery 구글 빅쿼리용 웹기반 IDE툴이다. 월 20TB스캔까지는 무료이고 초과되는건 1TB당 50센트의 비용이 청구된다(gcp 에 엮어서 청구가능) 홈페이지는 여기 : https://web.superquery.io/ 빅쿼리 자체에서 기본제공하는 UI가 좀 구리긴 했는데 저렴한 비용으로 쓰기엔 괜춘한것 같다. 아 그리고..쿼리결과에 차트를 표현할 수도 있다.요런결과를..요렇게.. 공감수 0 댓글수 0 2019. 1. 7.
  • Dremio 데이터는 관계형 데이터베이스, NoSQL 데이터 저장소, 파일 시스템, Hadoop 및 기타 기술을 비롯한 다양한 기술로 관리됨. 데이터의 하위 집합을 관계형 데이터베이스에 로드하는 ETL 파이프 라인은 하나의 해답을 제공하지만 이러한 솔루션이 데이터 엔지니어 및 IT 직원에게는 부담. 그리고 분석가와 데이터 과학자가 사용할 수 있는 시점까지는 일정시간을 기다려야함. https://docs.dremio.com/working-with-datasets/virtual-datasets.html 공감수 0 댓글수 0 2019. 1. 4.
  • 버티카 Eon모드 버전9.1 부터 나온것 같은데 아직은 aws에서만 구현이 가능하고(gcp는 s3호환모드가 필요하다고함) 장점은 컴퓨팅영역이 무한확장가능하다는건데... 노드간 global resegment 가 일어나는 쿼리를 수행하면 치명적일 것 같은 느낌같은 느낌이 들지만.. depot이 가야 할 길을 알려줄듯 하다... 그래도 이건 직접 해봐야 알 듯..(http://vertica.tistory.com/39 요런류의 non equi join 녀석들 ) 기존가지고 있던 shared nothing architecture를 반쯤 버린듯... 공감수 0 댓글수 0 2018. 12. 24.
  • Google Bigquery ODBC 설정 순서1.GCP 인증키 파일 발급2.ODBC 드라이버 다운로드3.ODBC 드라이버 설치4.1차 인증키 생성5.odbc.ini 초기설정6.2차인증키 설정7.환경변수 등록 상세 1.GCP 인증키 파일 발급 GCP iam 에서 인증키 파일 발급 (.json 혹은 p12) 2.ODBC 드라이버 다운로드 : https://cloud.google.com/bigquery/partners/simba-drivers/ (현재 사용한 버전은 SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz) 3.ODBC 드라이버 설치 tar --directory=/opt -zxvf SimbaODBCDriverforGoogleBigQuery64_2.1.11.1011.tar.gz cd /opt/si.. 공감수 0 댓글수 0 2018. 12. 24.
  • 전국 geojson https://github.com/southkorea/southkorea-maps/blob/master/kostat/2013/json/skorea_municipalities_geo_simple.json 시군구 단위의 데이터를 시각화 할때 참조함 공감수 0 댓글수 0 2018. 11. 6.
  • 간만에 다시만들어 보는 실습 환경 얼마나갈지는 모르겠으나(클라우드비용) 최대한 유지하려고 노력하겠습니다. - 서버사용기간이 종료되어서 https://vertica.tistory.com/84 여기에 최신정보를 업데이트 하였습니다.- 구형 cpu이지만 그래도 사양이 살짝 업그레이드 되었습니다. ^^ 대략적인 사양은 다음과 같습니다. 가상 1cpu 2G 메모리 disk 50G(os포함이지만 데이터는 압축되므로 어느정도 실습환경이 될듯) 온라인상에서 모든이들이 이거하나로 실습하기에는 매우부족하겠지만 뭐.. 버티카를 딱히 아는사람도 별로 없고 ㅋㅋ 이정도 사양에서 어느정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴 에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vert.. 공감수 1 댓글수 0 2018. 10. 30.
  • CausalImpact(버티카와 연동) - 실험데이터가아닌 자연관찰자료(A/B 테스팅과 다름) 마케팅이 아닌 다른 외부적 사건들, 예를 들어서 배송 최소 구매액을 올린다던지 경쟁사가 마케팅을 하는 경우에도 이런 외부의 사건들이 우리 실적에 미치는 영향을 A/B 테스팅으로 알아낼 수는 없음. xxx 동영상이 조회수가 올라가는 경우에도 A/B테스팅으로 알수 없음 - 두 시점이 아닌 여러 시점의 자료 처리(시계열 분석) A/B 테스팅처럼 처치 전 처치 후와 같은데이터가 아닌 여러시점의 데이터를 처리할 수 있다. - 다양한 독립변수 예를들어 매출 혹은 클릭율에 대한 종속변수를 설명하기위한 여러가지 변수를 동시에 사용할 수 있음. - 변수 선택 어떤 변수가 중요한가를 선별해주는 장점이 있음 - local trend, seasonal effect loc.. 공감수 0 댓글수 0 2018. 10. 1.
  • 시대와 함께 높아지는 분석 요구 과거 분석 요구 사항 : BI/DWH • 정형 리포팅 중심 • 실적을 사전 집계하여 가시화 • 어제까지의 데이터 분석 • 취급 데이터 종류는 적음 • 분석 대상 기간은 짧음 • 소규모 이용 대응기술 : • OLTP 용 RDBMS (행 지향 RDBMS) • DWH 어플라이언스 현재 분석 요구 사항 : 빅 데이터 분석 기반 BI / DWH • 비정형 • 복잡한 분석 중심 • 과거 데이터에서 통찰력을 얻음 • 몇 분 몇 시간 전에 데이터를 분석 • 처리 데이터의 다양 화 • 비대화 • 장기 추세 파악 • 폭 넓은 유저층에서 이용 대응기술 : • OLAP 용 RDBMS (열 지향 RDBMS) • Hadoop 솔루션 • 인 메모리 솔루션 • 클라우드 형 DWH 가까운 장래 분석 요구 사항 : 데이터 기반 경영 분.. 공감수 0 댓글수 0 2018. 10. 1.
  • 서울시 geojson 여기에서 참조함 https://raw.githubusercontent.com/southkorea/seoul-maps/master/kostat/2013/json/seoul_municipalities_geo.json 오픈소스 BI툴인 metabase등과 연동하면 구단위로 매핑하여 예쁘게 수치를 볼수 있음(실적이라던지 기타 등등의 통계) 공감수 0 댓글수 0 2018. 10. 1.
  • flex table -- 형식이 없는 flex table 생성create flex table test.temp_ytkim_test(); --초기화truncate table test.temp_ytkim_test; -- 데이터 적재copy test.temp_ytkim_test from local 'd:\json\ga_tes*.json' PARSER fjsonparser();copy test.temp_ytkim_test from local 'd:\json\ga_test*.json' PARSER fjsonparser(flatten_maps = true, flatten_arrays=true);copy test.temp_ytkim_test from local 'd:\json\ga*.json' PARSER fjsonparser(flat.. 공감수 0 댓글수 0 2018. 10. 1.
  • Vertica 임포트 및 익스포트의 이해 Vertica는 Vertica 클러스터끼리 데이터를 이동시킬 수 있는 임포트 및 익스포트 기능을 지원합니다. 클러스터 사이에서 데이터를 가져오거나 내보내면 STDIN을 통해 데이터를 스트리밍하거나 vsql 연결을 사용하는 것보다 속도가 더 빠른데, 이번 문서에서 그 이유를 살펴보겠습니다. 임포트 및 익스포트: 개요 임포트 및 익스포트 프로세스는 미러 이미지로 실행됩니다. 데이터를 익스포트하는 클러스터는 SELECT 문에 해당하는 쿼리를 실행합니다. 그리고 데이터를 임포트하는 클러스터는 COPY 문에 해당하는 쿼리를 실행합니다. 임포트/익스포트 작업의 메커니즘은 INSERT... SELECT ... 쿼리와 비슷합니다. 본 문서에서는 데이터를 익스포트하는 클러스터를 소스 클러스터로, 그리고 데이터를 임포트하.. 공감수 0 댓글수 0 2017. 11. 28.
  • 정규식 일반 개발자 블로그에서 퍼온것이긴 한데 버티카에서도 거의 동일하게 사용가능 .버티카 다큐먼트에서는 http://perldoc.perl.org/perlre.html 여기참조하라고 하네.. 한두가지 버티카로 변환한 예 한글만 가능 : [ 가나다라 ... ] 주의 : ㄱㄴㄷ... 형식으로는 입력 불가능 , 띄어쓰기 불가능기본 정규식 : /^[가-힣]+$/ 버티카 : regexp_like(컬럼 혹은 문자열 , '^[가-힣]+$') 숫자만 가능 : [ 0 ~ 9 ] 주의 : 띄어쓰기 불가능기본 정규식 : /^[0-9]+$/ 버티카 : regexp_like(컬럼 혹은 문자열 , '^[0-9]+$') 여기부터 퍼온내용 출처는 맨아래 기술 전자우편 주소: /^[a-z0-9_+.-]+@([a-z0-9-]+\.)+[a-z.. 공감수 0 댓글수 0 2017. 9. 14.
  • 머신러닝 관련 기능들 머신러닝 관련 기능들 (8.1이전 버전에서는 몇 가지 기능이 없을 수 있습니다.) 데이터 준비 기능데이터를 사전 처리하기 위해 다음과 같은 기능을 사용할 수 있습니다 :APPLY_NORMALIZEBALANCE DETECT_OUTLIERS IMPUTE NORMALIZE NORMALIZE_FITREVERSE_NORMALIZE 평가 기능데이터를 평가하기 위해 다음과 같은 기능을 사용할 수 있습니다 :APPLY_KMEANSCONFUSION_MATRIXGET_MODEL_ATTRIBUTEERROR_RATELIFT_TABLEMSEROCRSQUAREDSUMMARIZE_MODEL 예측 기능테이블에 모델을 적용하기 위해 다음과 같은 기능을 사용할 수 있습니다 :PREDICT_LINEAR_REGPREDICT_LOGISTIC.. 공감수 0 댓글수 0 2017. 9. 6.
  • 버티카 접속정보 공유 얼마나갈지는 모르겠으나(클라우드비용) 최대한 유지하려고 노력하겠습니다.https://vertica.tistory.com/84 - 서버사용기간이 종료되어서 여기에 최신정보를 업데이트 하였습니다.- 구형 cpu이지만 그래도 사양이 살짝 업그레이드 되었습니다. ^^대략적인 사양은 다음과 같습니다. cpu 2G 가상cpu 1개(아마 하이퍼스레드 때문에 1/2개라고 봐야할듯..) memory 1.7G disk 50G(os포함 ㅠ)온라인상에서 모든이들이 이거하나로 실습하기에는 매우부족하겠지만 뭐.. 버티카를 딱히 아는사람도 별로 없고 ㅋㅋ 이정도 사양에서 어느정도 일처리를 할 수 있는가도 의미가 있어 보입니다. (문제는 돈인거죠..) db는 죽어도 상관없지만 disk 용량이 모자르면 언제든지 데이터를 삭제할 것이므.. 공감수 0 댓글수 0 2017. 9. 6.
  • odbc http://php.net/manual/en/function.odbc-connect.php http://php.net/manual/en/function.odbc-error.php 공감수 0 댓글수 0 2017. 7. 12.
  • 유용한 플러그인 유용한 플러그인이름 ↑버전 활성화 고정 workflow-step-api2.3truefalseworkflow-scm-step2.2truefalseworkflow-api2.1truefalsetoken-macro1.12.1truefalsesubversion2.6truefalsestructs1.3truefalsestatusmonitor1.3truefalsessh-slaves1.11truefalsessh-credentials1.12truefalsesms1.2truefalsesectioned-view1.20truefalsescript-security1.21truefalsescm-api1.2truefalserun-condition1.0truefalserebuild1.25truefalsepromoted-builds2... 공감수 0 댓글수 0 2017. 5. 25.
  • Spread 디버깅 Spread란 무엇입니까?Vertica는 오픈 소스 도구키트인 Spread를 사용하여 네트워크 장애에 대한 복원력이 뛰어난 고성능 메시징 서비스를 제공합니다. 데이터베이스를 처음 시작하면 Spread 데몬이 자동으로 실행됩니다. Spread 데몬은 클러스터의 제어 노드에서 실행되고, 제어 노드는 메시지 커뮤니케이션을 관리합니다. Vertica 프로세스와 Spread 데몬 페어스(Pairs)Vertica 설치를 시작하면 Spread 데몬이 데이터베이스에 설치됩니다. Vertica 프로세스의 노드는 도메인 소켓을 사용하여 Spread 데몬과 통신합니다. 노드 간 통신은 2개 채널인 데이터 채널과 제어 채널(UDP 메인 채널과 UDP 토큰 채널)을 통해 이루어집니다. 다음은 도메인 소켓과 2개 채널이 포함된 .. 공감수 0 댓글수 0 2017. 5. 10.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.