[SQLD자격증독학] 16. 대량 데이터에 따른 성능

- 대량의 데이터가 존재하는 테이블에 많은 트랜잭션이 발생하여 성능이 저하되는 테이블 구조에 대해 수평/수직 분할 설계를 통해 성능저하를 예방할 수 있음

대량의 데이터가 하나의 테이블에 존재하게 되면?

- 인덱스를 생성할 때 인덱스의 크기(용량)가 커지게 됨

> 인덱스를 찾아가는 단계가 깊어지게 됨

> 조회의 성능에도 영향을 미침

> 데이터를 입력/수정/삭제하는 트랜젝션의 경우 인덱스의 특성상 일량이 증가하여 더 많이 성능의 저하를 유발

칼럼이 많아지게 되면

- 물리적인 디스크에 여러 블록에 데이터가 저장되게 됨

> 데이터를 처리할 때 여러 블록에서 데이터를 I/O해야 함

> SQL문장의 성능이 저하될 수 있는 특징을 가지게 됨

- 로우체이닝과 로우마이그레이션이 많아지게 되어 성능이 저하됨

> 로우체이닝 (Row Chaining) : 로우 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태

> 로우마이그레이션 (Row Migration) : 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식

> 불필요하게 I/O가 많이 발생하여 성능이 저하됨

- 트랜잭션이 발생될 때 어떤 칼럼에 대해 집중적으로 발생하는지 분석하여 테이블을 쪼개어 주면 디스크 I/O가 감소하게 되어 성능이 개선됨

테이블에 많은 양의 데이터가 예상 될 경우?

- 파티셔닝을 적용하거나 PK에 의해 테이블을 분할하는 방법을 적용할 수 있음

> 파티셔닝 : 논리적으로는 하나의 테이블로 보이지만 물맂적으로 여러 개의 테이블스페이스에 쪼개어 저장될 수 있는 구조

가. RANGE PARTITION (범위)

- PK인 요금일자의 년+ 월을 이용하여 12개의 파티션 테이블을 만듬

- 대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리된다면 RANGE PARTITION 적용

- 테이블보관주기에 따라 테이블에 데이터를 쉽게 지우는 것이 가능

나. LIST PARTITION (특정값지정)

- 지점, 사업소, 사업장 등으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우

- 데이터 보관주기에 따라 쉽게 삭제하는 기능은 제공 될 수 X

다. HASH PARTITION (해쉬적용)

- 해슁 알고리즘이 적용되어 테이블이 분리됨

- 설계자도 데이터가 정확하게 어떻게 들어갔는지 알 수 X

- 데이터 보관주기에 따라 쉽게 삭제하는 기능은 제공 될 수 X

테이블에 대한 수평분할/수직분할의 절차

- 데이터 모델링을 완성한다

- 데이터베이스 용량산정을 한다

> 용량산정 : 어느 테이블에 데이터의 양이 대용량이 되는지 분석하는 것

- 대량 데이터가 처리되는 테이블에 대해서 트랜잭션 처리 패턴을 분석한다

- 칼럼 단위로 집중화된 처리가 발생하는지, 로우단위로 집중화된 처리가 발생되는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다.