BIGDATA
-
최초의 12코어, AMD가 해냈다! 컴퓨텍스 AMD 키노트가성비하드웨어/cpu 2019. 5. 27. 15:45
금일(27일), 대만 타이베이에서 열리는 세계 최대 컴퓨터 전시회 '컴퓨텍스'에서 AMD의 CEO '리사 수'의 키노트 발표가 진행되었다. 이번 키노트에서는 7nm 기반의 그래픽카드 AMD 라데온 RX 5700 시리즈와 7nm 기반의 새로운 라이젠 시리즈. 그리고 올해 초 CES에서 화제가 되었던 라이젠 3세대의 빈 다이에 대한 정보가 공개되었다. 새롭게 공개된 라이젠 3세대는 7nm가 적용된 젠2(zen 2) 아키텍처를 사용하며, 이전 아키텍처 대비 15% 향상된 성능을 제공한다. 그간 아쉬운 점 중 하나로 꼽히던 게이밍 성능 역시 높아진 단일 코어 성능과 캐시 메모리로 이전보다 뛰어난 게임 환경을 제공할 것이라 밝혔다. pc급으로도 dw를 구축할 날이 멀지 않은듯 합니다. 원문보기: http://ww..
-
실습환경_세번째(부제: 0원으로 구축하는 DIY빅데이터 에코시스템)VERTICA/97.실습환경 2019. 4. 26. 10:43
우선 2019년 8월 31일까지 사용할 계획입니다. 대략적인 사양은 다음과 같습니다. 가상 8 cpu(아이브리지) 16G 메모리 disk 100G 무려 3대 클러스터 구성입니다. 후훗.. (데이터는 컬럼단위(압축률아주좋음)로 압축되므로 어느 정도 실습환경이 될 듯) 온라인상에서 모든 이들이 이거 하나로 실습하기에는 매우 부족하겠지만 뭐.. 버티카를 딱히 아는 사람도 별로 없고 ㅋㅋ 이 정도 사양에서 어느 정도 일처리를 할 수 있는가도 의미가 있어 보입니다. 초심자를 위해 만들었으므로. 되도록 툴에서 접속할 수 있는 방법으로 알려드리겠습니다. 진행순서는 다음과 같습니다. 1.vertica client 다운로드(무료) 2.dbeaver 다운로드(오픈소스이며 상용으로써도 무료) 3.dbeaver 설정 1.ve..
-
카프카구성Kafka 2019. 3. 13. 11:18
[broker서버 3대 구성 / zookeeper & kafka 동일서버에 설치]==========================================================================================#주키퍼 설치(3대로 구성 vertica01, vertica02, vertica03)==========================================================================================[java설치]yum -y install java-1.8.0-openjdk [주키퍼 압축해제 및 심볼릭 링크 생성]cd /home/dbadmin/utiltar zxf zookeeper-3.4.10.tar.gzln -s zook..
-
기본적인설정체크용VERTICA/02. 설치 2019. 3. 5. 18:43
#!/bin/sh clear echo '--------------------------------' echo '@ intel_idle.max_cstate=0 / processor.max_cstate=0' cat /etc/grub.conf echo '--------------------------------' echo '@ swappiness = 0' cat /proc/sys/vm/swappiness echo '--------------------------------' echo '@ rc.local' echo '@touch /var/lock/subsys/local' echo '@echo deadline > /sys/block/sdb/queue/scheduler' echo '@blockdev --setra..
-
라이젠 젠2가성비하드웨어/cpu 2019. 3. 5. 11:30
라이젠 7 3700X는 12코어 24 스레드를 갖고 있는데 이는 라이젠 7 2700X보다 4코어 8스레드 높은 수준. 3700X는 4.2Ghz 클럭에 5Ghz 부스트 클럭을 자랑한다. 이는 105W TDP의 인텔 8코어 칩과 유사한 속도이다. 3700의 경우 3.8GHz 클럭, 4.6GHz 부스트 클럭을 자랑하며, TDP 95W이다. AMD 라이젠 7 3700X의 미화 가격은370 달러이며, 라이젠 7 3700은 335달러이다. 한국에서도 위의 가격 정도로 풀리면 저렴이(수백~수천만원정도로) 전사 DW구축이 가능할듯하다.이전에기술한 Vertica를 도입할때 과연 고가의 하드웨어가 필요한가? : https://vertica.tistory.com/23 여기도 참조하면 좋을 것 같다. 2019년5월27일자..
-
메타베이스 차트 기능METABASE 2019. 2. 14. 16:17
메타베이스 차트기능은 노력대비 퀄리티가 좋다.(개발자가아닌 입장으로서 SQL만으로도 이러한 내용이 나오니..) 예전에 geojson부분에서 metabase와 연동해보면 괜춘하다고 한적이 있다.https://vertica.tistory.com/63 아래는 metabase 에서 서울시 geojson 설정하고 간단하게 구성을 해보았다.(딱히 한것 없이 아래 쿼리만 작성했다. mysql, 버티카는 from dual 을 안써도됨...) select '강서구' as 시군구, 500000 as 판매량 union all select '강남구' as 시군구, 50000 as 판매량 union allselect '강동구' as 시군구, 34000 as 판매량 union allselect '강북구' as 시군구, 40000..