데이터
-
mysql partition 활용(데이터 컷팅)mysql 2019. 2. 14. 11:44
1.현황 - log관련 테이블중 abc_xxx_log 과 같은 대용량 테이블(mysql기준 수십~수백GB)들은 조건절 컬럼에 인덱스가 있어도 일정구간 이상을 탐색하면 full scan 을 하고 있어 ETL시 mysql 부하 경감 및 수행시간 단축이 필요해보임. - mysql의 abc_xxx_log 테이블은 1일 조회시에만 인덱스를 사용하고 2일 이상 부터 인덱스를 사용안하고 있음 (ETL재처리등도 있어서 2일정도는 해야하는 상황을 가정) - mysql에서 보관주기(2주)를 지키기 위해 delete 구문으로 처리되고 있음(로그데이터 생성팀 혹은 개인) - abc_xxx_log 이관작업은(2일기준) 20분이상 수행 - 스트리밍으로 이관을해야하는데 전체 스캔을 하다보니 수분~수십분 정도 대기하다 fetch를 ..
-
버티카의 독창성VERTICA/03. Architecture 2016. 5. 25. 17:33
Vertica는 대량의 데이터를 고속으로 분석 할 수있는 열(컬럼) 지향 데이터베이스입니다. 요즘 수많은 열(컬럼) 지향 데이터베이스 제품이 출시되고 있습니다. 또한 기존의 행 지향 데이터베이스도 열 지향 기능이 추가되기 시작해(EXADATA의 스토리지 영역) 지금 열 지향 데이터베이스는 당연하게 사용되는 시대가되었습니다. 단, 어떤 제품 (서비스)을 선택해야할지 고민스러운 상황이되고 있습니다. 이번장 에서는 Vertica와 일반적인 열 지향 데이터베이스와의 차이 및 특수성을 소개합니다. 완전히 당연하게 된 열 지향 데이터베이스 여러분은 Vertica 라는 데이터베이스를 아십니까? Vertica는 대량의 데이터를 분석하는 등 정보계 시스템에서 사용되는 데이터베이스에서 '열 방향(컬럼나)"로 분류됩니다. ..