6-3] 메모리와 캐시 메모리: 캐시 메모리와 참조 지역성

저장 장치 계층 구조

각기 다른 용량과 성능의 저장 장치들을

CPU에 얼마나 가까운지를 기준으로 계층화하여 표현한 구조

1. CPU와 가까운 저장 장치는 빠르고, 멀리 있는 저장 장치는 느리다
2. 속도가 빠른 저장 장치는 저장 용량이 작고, 가격이 비싸다

 

저장 장치 계층 구조를 영문으로 나타내면 memory hierarchy, 메모리 계층 구조를 의미한다

여기서 메모리는 RAM이 아닌 일반적인 저장 장치를 의미한다

따라서 이 설명에서는 용어의 혼동 방지를 위해 저장 장치 계층 구조라고 표현한 것

 

캐시 메모리

CPU와 메모리 사이에 위치한 레지스터 보다 용량이 크고 메모리보다 빠른 SRAM 기반의 저장 장치

CPU의 연산 속도와 메모리 접근 속도의 차이를 줄이기 위한 저장장치

 

캐시 메모리 종류

1) 계층적 캐시 메모리 (L1 - L2 - L3 캐시)

일반적으로 L1, L2 캐시는 코어 내부에, L3 캐시는 코어 외부에 위치

 

2) 멀티코어 프로세서의 캐시 메모리

각각의 코어들이 공유하는 L3 캐시,

L1, L2 캐시는 각각의 코어에 존재

이런 경우는, 각각의 캐시 메모리가 동일한 데이터를 갖게끔 싱크를 맞춰주는 것이 중요하다

 

3) 분리형 캐시

명령어 만을 담고 있는 L1 캐시, 데이터 만을 담고 있는 L1 캐시로 분리

 

계층적 캐시 메모리까지 반영한 저장 장치 계층 구조

 

---

 

참조 지역성의 원리

캐시 메모리는 메모리보다 용량이 작다

당연하게도 메모리의 모든 내용을 저장할 수 없다

그렇다면 뭘 저장해야 할까?

CPU가 자주 사용할 법한 내용을 예측하여 저장

 

- 캐시 히트

예측이 들어 맞을 경우 (CPU가 캐시 메모리에 저장된 값을 활용할 경우)

 

- 캐시 미스

예측이 틀렸을 경우 (CPU가 메모리에 접근해야 하는 경우)

 

- 캐시 적중률

캐시 히트 횟수 / (캐시 히트 횟수 + 캐시 미스 횟수)

캐시 메모리는 캐시 적중률을 높이는 것이 중요

CPU가 사용할 법한 데이터를 잘 예측해야한다

 

따라서,

CPU가 사용할 법한 데이터를 예측하는 방법이 바로 참조 지역성의 원리이다

참조 지역성의 원리는

CPU가 메모리에 접근할 때의 주된 경향을 바탕으로 만들어진 원리

1. CPU는 최근에 접근했던 메모리 공간에 재접근하려는 경향이 있다 (시간 지역성)
2. CPU는 접근한 메모리 공간 근처를 접근하려는 경향이 있다 (공간 지역성)