12. 기술면접 - 데이터베이스 - 파티셔닝(Partitioning)

공부목적으로 다른 블로그의 글을 그대로 따라치면서 작성되었습니다. 저작권 문제 시, 비공개 처리하겠습니다

 

배경

- 서비스의 크기가 점점 커지고 DB에 저장하는 데이터의 규모 또한 대용량화 되면서, 기존에 사용하는 DB 시스템의 
  용량(storage)의 한계와 성능(performence)의 저하를 가져오게 되었다

- 즉, VLDB(Very Large DBMS) 와 같이 하나의 DBMS 에 너무 큰 table 이 들어가면서 용량과 성능 측면에서 많은 이슈가
  발생하게 되었고, 이런 이슈를 해결하기 위한 방법으로 Table 을 `파티션(partition)` 이라는 작은 단위로 나누어
  관리하는 `파티셔닝(partitioning) 기법`이 나타나게 되었다

 

파티셔닝의 개념

 - 큰 테이블이나 index를 관리하기 쉬운 partition 이라는 작은 단위로 물리적으로 분할하는 것을 의미한다
    - 물리적인 데이터 분할이 있더라도, DB에 접근하는 application 의 입장에서는 이를 인식하지 못한다

- `파티셔닝(partitioning)` 기법을 통해 소프트웨어적으로 데이터베이스를 분산 처리하여 성능이 저하되는 것을 방지하고
   관리를 보다 수월하게 할 수 있게 되었다.

 

파티셔닝의 목적

1. 성능 (performence)
  - 특정 DML 과 Query 의 성능 향상
  - 주로 대용량 data write 환경에 효율적
  - 특히, full scan 에서 데이터 access 의 범위를 줄여 성능 향상을 가져옴
  - 많은 insert 가 있는 OLTP 시스템에서 insert 작업을 작은 단위인 partition들로 분산시켜 경합을 줄인다.

2. 가용성 (Availability)
  - 물리적인 파티셔닝으로 인해 전체 데이터의 훼손 가능성이 줄어들고 데이터 가용성이 향상된다
  - 각 분할 영역(partition 별로)을 독립적으로 백업하고 복구할 수 있다
  - table 의 partition 단위로 Disk I/O 을 분산하여 경합을 줄이기 때문에 update 성능을 향상시킨다

3. 관리 용이성 (Manageability)
   - 큰 테이블을 제거하여 관리를 쉽게 해준다

 

파티셔닝의 장점

- 관리적 측면 : partition 단위 백업 추가, 삭제 변경
    - 전체 데이터를 손실한 가능성이 줄어들어 데이터 가용성이 향상된다
    - partition 별로 백업 및 복구가 가능하다.
    - partition 단위로 I/O 분산이 가능하여 UPDATE 성능을 향상시킨다

- 성능적 측면 : partition 단위 조회 및 DML 수행
    - 데이터 전체 검색 시 필요한 부분만 탐색해 성능이 증가한다
    - 즉, Full Scan 에서 데이터 Access 의 범위를 줄여 성능 향상을 가져온다
    - 필요한 데이터만 빠르게 조회할 수 있기 때문에 쿼리 자체가 가볍다

 

파티셔닝의 단점

- table 간 JOIN에 대한 비용이 증가한다

- table 과 index 를 별도로 파티셔닝 할 수 없다
    - table 과 index 를 같이 파티셔닝해야 한다

 

파티셔닝의 종류

1. 수평 파티셔닝 = 샤딩(Sharding) 과 동일한 개념

2. 수직 파티셔닝 (수직 분산과는 다름 - 하드웨어 장치를 업그레드 하는 것..)

파티셔닝의 분할 기준

1. 범위 분할 (range partitioning)
2. 목록 분할 (list partitioning)
3. 해시 분할 (hash partitioning)
4. 합성 분할 (composite partitioning)

 

샤딩 (Sharding)

- Horizontal Sharding = 수평 확장 = 수평 파티션
- 외부 클러스터에 샤딩하여 확장하는 분산처리 기법
- scale-out 스케일 아웃 (테이블 수평 나누기) <-> scale-in 스케일 인 (cpu, ram 등 하드웨어)

> 샤딩에 대한 내용 더보기

https://nesoy.github.io/articles/2018-05/Database-Shard

 

참고

https://nesoy.github.io/articles/2018-05/Database-Shard

Database의 샤딩(Sharding)이란?