12. 기술면접 - 데이터베이스 - 파티셔닝(Partitioning)
공부목적으로 다른 블로그의 글을 그대로 따라치면서 작성되었습니다. 저작권 문제 시, 비공개 처리하겠습니다
배경
- 서비스의 크기가 점점 커지고 DB에 저장하는 데이터의 규모 또한 대용량화 되면서, 기존에 사용하는 DB 시스템의
용량(storage)의 한계와 성능(performence)의 저하를 가져오게 되었다
- 즉, VLDB(Very Large DBMS) 와 같이 하나의 DBMS 에 너무 큰 table 이 들어가면서 용량과 성능 측면에서 많은 이슈가
발생하게 되었고, 이런 이슈를 해결하기 위한 방법으로 Table 을 `파티션(partition)` 이라는 작은 단위로 나누어
관리하는 `파티셔닝(partitioning) 기법`이 나타나게 되었다
파티셔닝의 개념
- 큰 테이블이나 index를 관리하기 쉬운 partition 이라는 작은 단위로 물리적으로 분할하는 것을 의미한다
- 물리적인 데이터 분할이 있더라도, DB에 접근하는 application 의 입장에서는 이를 인식하지 못한다
- `파티셔닝(partitioning)` 기법을 통해 소프트웨어적으로 데이터베이스를 분산 처리하여 성능이 저하되는 것을 방지하고
관리를 보다 수월하게 할 수 있게 되었다.
파티셔닝의 목적
1. 성능 (performence)
- 특정 DML 과 Query 의 성능 향상
- 주로 대용량 data write 환경에 효율적
- 특히, full scan 에서 데이터 access 의 범위를 줄여 성능 향상을 가져옴
- 많은 insert 가 있는 OLTP 시스템에서 insert 작업을 작은 단위인 partition들로 분산시켜 경합을 줄인다.
2. 가용성 (Availability)
- 물리적인 파티셔닝으로 인해 전체 데이터의 훼손 가능성이 줄어들고 데이터 가용성이 향상된다
- 각 분할 영역(partition 별로)을 독립적으로 백업하고 복구할 수 있다
- table 의 partition 단위로 Disk I/O 을 분산하여 경합을 줄이기 때문에 update 성능을 향상시킨다
3. 관리 용이성 (Manageability)
- 큰 테이블을 제거하여 관리를 쉽게 해준다
파티셔닝의 장점
- 관리적 측면 : partition 단위 백업 추가, 삭제 변경
- 전체 데이터를 손실한 가능성이 줄어들어 데이터 가용성이 향상된다
- partition 별로 백업 및 복구가 가능하다.
- partition 단위로 I/O 분산이 가능하여 UPDATE 성능을 향상시킨다
- 성능적 측면 : partition 단위 조회 및 DML 수행
- 데이터 전체 검색 시 필요한 부분만 탐색해 성능이 증가한다
- 즉, Full Scan 에서 데이터 Access 의 범위를 줄여 성능 향상을 가져온다
- 필요한 데이터만 빠르게 조회할 수 있기 때문에 쿼리 자체가 가볍다
파티셔닝의 단점
- table 간 JOIN에 대한 비용이 증가한다
- table 과 index 를 별도로 파티셔닝 할 수 없다
- table 과 index 를 같이 파티셔닝해야 한다
파티셔닝의 종류
1. 수평 파티셔닝 = 샤딩(Sharding) 과 동일한 개념
2. 수직 파티셔닝 (수직 분산과는 다름 - 하드웨어 장치를 업그레드 하는 것..)
파티셔닝의 분할 기준
1. 범위 분할 (range partitioning)
2. 목록 분할 (list partitioning)
3. 해시 분할 (hash partitioning)
4. 합성 분할 (composite partitioning)
샤딩 (Sharding)
- Horizontal Sharding = 수평 확장 = 수평 파티션
- 외부 클러스터에 샤딩하여 확장하는 분산처리 기법
- scale-out 스케일 아웃 (테이블 수평 나누기) <-> scale-in 스케일 인 (cpu, ram 등 하드웨어)
> 샤딩에 대한 내용 더보기
참고
https://nesoy.github.io/articles/2018-05/Database-Shard
'∞. 기술 면접 > 4. 데이터베이스' 카테고리의 다른 글
14. 기술면접 - 데이터베이스 - JDBC (Java DataBase Connectivity) (0) | 2021.10.18 |
---|---|
13. 기술면접 - 데이터베이스 - ORM (Object Relation Mapping) (0) | 2021.10.18 |
11. 기술 면접 - 데이터베이스 - 리플리케이션 (Replication) (0) | 2021.10.18 |
10. 기술면접 - 데이터 베이스 - 옵티마이저 (Optimizer) (0) | 2021.10.18 |
09. 기술면접 - 데이터베이스 - 효과적인 쿼리 저장 (0) | 2021.10.17 |
댓글
이 글 공유하기
다른 글
-
14. 기술면접 - 데이터베이스 - JDBC (Java DataBase Connectivity)
14. 기술면접 - 데이터베이스 - JDBC (Java DataBase Connectivity)
2021.10.18 -
13. 기술면접 - 데이터베이스 - ORM (Object Relation Mapping)
13. 기술면접 - 데이터베이스 - ORM (Object Relation Mapping)
2021.10.18 -
11. 기술 면접 - 데이터베이스 - 리플리케이션 (Replication)
11. 기술 면접 - 데이터베이스 - 리플리케이션 (Replication)
2021.10.18 -
10. 기술면접 - 데이터 베이스 - 옵티마이저 (Optimizer)
10. 기술면접 - 데이터 베이스 - 옵티마이저 (Optimizer)
2021.10.18