ActivePartitionCount 란 무엇인가?

ActivePartitionCount 란?

매뉴얼에서는... 이렇게 설명되어있다

Sets the number of partitions, called active partitions, that are currently being loaded. For information about how the Tuple Mover treats active (and inactive) partitions during a mergeout operation, see Understanding the Tuple Mover.

Default Value: 1

Example:

SELECT SET_CONFIG_PARAMETER

('ActivePartitionCount', 2);

모호하다 모호해..

파티션 테이블에 만 적용되는 파라메터 이며,

숫자를 기본값 보다 크게 설정하면

Mergeout 속도가 빨라 질 수 있다. 어떻게????

매뉴얼에서 몇 개의 단어가 눈에 들어온다.

Mergeout

Tuple Mover

Load

partitions

그리고 앞으로 우리가 맞닥트리게 될 데이터들은..

이 파라메터를 무조건 크게 쓰면 되는 것인가?

ActivePartitionCount 파라메터와 연관있는것들..

ActivePartitionCount가 실행될 때 성능에 미치는 세 가지

첫 번째, 데이터 적재 시 전체 Partition Key 에 영향을 미치게 되면 ActivePartitionCount 에 설정된 개수만큼 제외하고

 Mergeout이 된다.

(파라메터가 클수록 Tuple Mover 작업 시간이 줄어들 확률이 높아지지만 데이터 조회 시간은은 올라갈 확률이 높아진다.)

 

(아래 두가지 상황은 “파라메터의 기본값 설정 및 일단위배치”를 가정했을때)

두 번째, 통상 대용량 배치는 최근의 데이터만 처리하는 시 계열성인 경우가 많은데, 배치작업 후 Mergeout 작업은 현재파티션이 아닌 이전에 배치작업 데이터일 가능 성이 높아 배치작업에 영향을 덜준다.

세 번째, 전일 작업 오류로 인해 재작업을 해야 할 경우 Tuple Mover 에 의해 LOCK 혹은 대기 현상이 이 발생할 수 있다..

결론적으로 ActivePartitionCount  이 파라메터는 데이터 변경이 없을만한 파티션에대해 mergeout을 해주겠다는거다.(조회성능을 개선하기위해..)

mergeout 성능을 높이기 위해 해당파라메터를 수정하게되면 

얻는것과(mergeout 부하감소) 잃는것(조회성능감소) 가 있으니 

다앙하게 테스트를 해본 후 업무에 맞게 사용하는것을 권고한다. 

(기본값이 1이라서 세번째 상황이 자주발생하면 고려해볼만하다.)