링크: https://arxiv.org/html/2511.03944v1
From Minutes to Seconds: Redefining the Five-Minute Rule for AI-Era Memory Hierarchies
For simplicity, we assume a single data access granularity lblkl_{\text{blk}}. Let NblkN_{\text{blk}} be the number of size-lblkl_{\text{blk}} blocks in the working set (hence total size Nblk⋅lblkN_{\text{blk}}\cdot l_{\text{blk}}). To capture the worklo
arxiv.org
최근 AI system과 GPU server가 확산되면서, 오랫동안 computer system 설계의 직관으로 쓰이던 몇 가지 고전 규칙도 다시 검토되고 있습니다. 그중 대표적인 것이 바로 Five-Minute Rule입니다. 이 규칙은 아주 단순하게 말하면, “어떤 data가 짧은 시간 안에 다시 사용된다면 DRAM에 두고, 그렇지 않으면 disk에 두는 것이 더 합리적이다”라는 기준입니다.
과거에는 이 경계가 대략 5분 정도로 계산되었기 때문에 Five-Minute Rule이라는 이름이 붙었습니다. 그런데 최근 공개된 한 논문은 이 고전적인 기준이 더 이상 지금의 system environment에는 잘 맞지 않을 수 있다고 주장합니다. 특히 SSD performance 향상, GPU-centric computing 확산, 그리고 AI workload의 특성을 반영해 다시 계산해보면, DRAM과 SSD 사이의 engineering boundary가 기존의 ‘5분’이 아니라 ‘몇 초’ 수준까지 내려갈 수 있다는 것이 이 논문의 핵심 메시지입니다.
이번 포스팅에서는 이 논문이 무엇을 문제로 삼고, 어떤 방식으로 Five-Minute Rule을 다시 정의했는지, 그리고 이 결과가 왜 AI infrastructure와 next-generation storage 관점에서 의미가 있는지를 정리해보겠습니다.
1. Five-Minute Rule이란 무엇인가
어떤 Data를 DRAM에 계속 올려두는 데에는 memory resource가 투입되고, 반대로 SSD나 disk에 둔 채 필요할 때마다 읽어오는 데에도 I/O resource가 소모됩니다. 따라서 특정 data가 얼마나 자주 다시 접근되는지에 따라, 어느 쪽이 더 합리적인 Provisioning point인지를 계산할 수 있다는 것입니다.
즉 핵심 질문은 이것입니다. “이 Data를 DRAM 유지해야 하는가, 아니면 필요 시 Storage에서 fetch하는 것이 더 적절한가?” 과거 Jim Gray가 제시했던 고전적 규칙은, 이 trade-off의 손익분기점을 계산했을 때 대략 5분 정도가 나온다는 것이었습니다. 그래서 5분 이내 재접근 가능성이 높으면 memory에 두는 것이 유리하고, 그렇지 않으면 disk에 두는 것이 낫다는 식의 직관이 생겼습니다. 이를 engineering 관점에서 표현하면 다음과 같이 생각할 수 있습니다.
| Access Interval Boundary (T) ≈ Memory 유지에 필요한 resource / Storage I/O service capability |
좀 더 system parameter 중심으로 표현하면 다음과 같은 형태로 이해할 수 있습니다.
| T ≈ (Memory Page Provisioning Term) / (Storage I/O Term × Storage IOPS) |
여기서 각각의 의미는 다음과 같습니다.
| Memory Page Provisioning Term → 특정 data page를 DRAM에 resident 상태로 유지하기 위한 resource requirement Storage I/O Term → storage에서 data를 한 번 fetch할 때 필요한 service overhead Storage IOPS → storage device가 제공하는 random access capability |
결국 storage의 IOPS capability가 높아질수록, 동일한 data를 굳이 DRAM에 오래 resident하게 둘 필요가 있는 범위가 줄어들 수 있습니다.
이 식을 당시 HDD 기준 parameter로 계산하면 대략 5분 정도의 boundary가 나왔고, 그래서 Five-Minute Rule이라는 이름이 붙었습니다.
2. Host와 SSD 사이의 IOPS 관계
논문에서 중요한 개념 중 하나는 usable IOPS입니다.
SSD의 raw performance가 아무리 높아도 실제 system에서는 host processing capability가 병목이 될 수 있기 때문입니다.
이를 간단한 engineering notation으로 표현하면 다음과 같습니다.
| Usable IOPS = min (Host IOPS capability, SSD IOPS capability) |
즉 예를 들어 다음과 같은 상황을 생각해 볼 수 있습니다.
| SSD capability : 5M IOPS Host processing limit : 1M IOPS |
이 경우 실제 system에서 활용 가능한 IOPS는 다음과 같습니다.
| Usable IOPS = 1M IOPS |
즉 storage device의 raw performance가 아니라 host + storage + software stack 전체가 제공하는 effective I/O capability가 실제 system performance를 결정하게 됩니다.
이 점이 바로 기존 Five-Minute Rule과 이번 논문의 가장 큰 차이 중 하나입니다.
3. Access Interval 개념
논문에서 또 하나 중요한 개념은 Access Interval입니다.
| Access Interval = 동일 data가 두 번 접근되는 사이의 시간 간격 |
예를 들면 다음과 같은 형태입니다.
- Data A → 1초 후 재접근
- Data B → 10초 후 재접근
- Data C → 5분 후 재접근
기존 시스템에서는 대략 다음과 같이 tier가 나뉘었습니다.
| DRAM → hot data (매우 짧은 access interval) Disk → cold data (긴 access interval) |
하지만 SSD performance가 크게 증가하면서 다음과 같은 구조가 가능해집니다.
| DRAM → ultra-hot data SSD → hot + warm data |
즉 과거에는 반드시 DRAM에 있어야 한다고 생각했던 일부 data가 SSD에서도 충분히 serviceable한 영역으로 이동할 수 있다는 것입니다.
4. 그래프 해석
논문의 그래프를 간단히 요약하면 다음과 같습니다.
기존 환경에서는 다음과 같은 boundary가 존재했습니다.
- DRAM ↔ Storage Boundary
≈ 5 minutes
하지만 modern SSD와 GPU-centric system environment를 가정하면 다음과 같이 변화할 수 있습니다.
- DRAM ↔ Storage Boundary
≈ tens of seconds 또는 few seconds
- SSD raw IOPS capability
- Host I/O processing capability
- Latency constraint
- Workload access interval distribution
Host + Storage + Workload 특성이 맞아떨어질 때 Boundary가 크게 내려갈 수 있다는 것이 논문의 핵심입니다.
논문 그래프 해석: Figure 3와 Figure 5가 의미하는 것
앞서 설명한 것처럼 이 논문의 핵심 메시지는 DRAM과 SSD 사이의 경계가 크게 내려올 수 있다는 것입니다. 이 내용을 가장 직관적으로 보여주는 것이 바로 논문에 등장하는 Figure 3와 Figure 5입니다. 두 그래프는 각각 다른 관점에서 같은 질문을 다룹니다. “어떤 조건에서 SSD가 DRAM을 대신할 수 있는 active data tier가 될 수 있는가?”
그래프를 이해하려면 두 가지 축을 먼저 이해해야 합니다.
- X축 : Access Interval (data 재접근 시간)
- Y축 : DRAM vs SSD provisioning boundary
즉 어떤 데이터가 얼마나 빨리 다시 접근되는지에 따라, 그 데이터를 DRAM에 두는 것이 더 적절한지 아니면 SSD에서도 충분한지를 판단하는 그래프입니다.
Figure 3: Storage 성능이 좋아질수록 Boundary는 내려간다
Figure 3은 SSD 성능 변화에 따라 DRAM-SSD boundary가 어떻게 바뀌는지를 보여주는 그래프입니다. 그래프의 핵심 메시지는 매우 단순합니다.
→ SSD access latency 감소
→ DRAM에 반드시 있어야 하는 data 범위 감소
즉 storage가 빨라질수록 DRAM이 담당해야 하는 영역이 줄어들게 됩니다. 그래프를 조금 더 자세히 보면 다음과 같은 특징이 있습니다.
첫째, HDD 환경에서는 boundary가 상당히 높습니다. 즉 데이터가 상당히 자주 접근되는 경우에도 HDD에서 다시 읽어오는 것은 현실적으로 어렵기 때문에 대부분 DRAM에 유지해야 합니다.
둘째, SSD로 넘어오면 상황이 크게 바뀝니다. 수십만 IOPS 수준만 되어도 DRAM에 있어야 하는 데이터 범위가 빠르게 줄어듭니다.
셋째, high-end SSD 환경에서는 boundary가 매우 낮아집니다. 이 경우 일부 workload에서는 몇 초 단위 access interval 데이터도 SSD에서 처리 가능한 영역으로 이동합니다.
이를 간단히 정리하면 다음과 같습니다.
| HDD era DRAM ↔ Storage boundary ≈ minutes SSD era DRAM ↔ Storage boundary ≈ tens of seconds High-performance SSD DRAM ↔ Storage boundary ≈ few seconds |
Figure 5: 실제 시스템에서는 Host가 병목이 된다 + Block Size가 커질수록 DRAM-SSD Boundary는 더 내려간다
Figure 5는 Figure 3보다 더 중요한 system insight를 보여줍니다. 이 그래프는 Host I/O capability와 Block size가 DRAM-SSD boundary에 어떤 영향을 주는지를 동시에 설명합니다. 먼저 Figure 5의 기본 개념은 다음과 같습니다.
- Usable IOPS = min (Host IOPS capability, SSD IOPS capability)
즉 SSD가 매우 높은 IOPS를 제공하더라도 host system이 이를 처리할 수 없다면 실제 성능은 host capability에 의해 제한됩니다. 하지만 Figure 5에서 더 중요한 변수는 Block size입니다.
그래프를 보면 block size가 증가할수록 Access Interval boundary가 빠르게 내려가는 것을 확인할 수 있습니다.
예를 들어 다음과 같은 상황을 생각해볼 수 있습니다.
→ 매우 많은 IOPS 필요
→ Host I/O overhead 증가
→ DRAM 필요 영역 증가
반대로 block size가 커지면 상황이 달라집니다.
Block size = large (ex. 64KB, 256KB)
→ 동일한 data transfer에 필요한 I/O request 감소
→ Host I/O overhead 감소
→ SSD tier 활용 가능 범위 증가
즉 block size가 커질수록 동일한 throughput을 얻기 위해 필요한 IOPS가 줄어들기 때문에, SSD를 active tier로 활용할 수 있는 access interval 범위가 더 짧아집니다. 이를 조금 더 직관적으로 정리하면 다음과 같습니다.
Small Block I/O
→ 높은 IOPS 요구
→ Host processing bottleneck 발생
→ DRAM tier 필요 영역 증가
Large Block I/O
→ 낮은 IOPS 요구
→ Host bottleneck 완화
→ SSD tier 활용 범위 확대
그래서 Figure 5에서는 block size가 커질수록 DRAM-SSD boundary가 수십 초에서 몇 초 수준까지 빠르게 내려가는 곡선이 나타납니다.
이 결과는 storage system 설계 관점에서 꽤 중요한 의미를 가집니다.
첫째, SSD performance만으로 DRAM tier를 줄일 수 있는 것은 아닙니다. Host I/O processing capability가 충분히 확보되어야 합니다.
둘째, Workload I/O pattern이 매우 중요합니다. 작은 random I/O 중심 workload에서는 여전히 DRAM 의존도가 높습니다.
셋째, Block size가 큰 workload일수록 SSD를 active data tier로 활용하기 쉬워집니다.
Figure 5는 다음 세 가지 메시지를 동시에 전달합니다.
|
1. Storage IOPS만으로 system performance가 결정되지 않는다
2. Host I/O processing capability가 중요한 bottleneck이다 3. Block size가 커질수록 DRAM-SSD boundary는 급격히 내려간다 |
즉 SSD가 단순한 cold storage가 아니라 active data tier로 올라올 수 있는지 여부는 다음 세 요소에 의해 결정됩니다.
+ Host I/O capability
+ Workload I/O pattern
이 세 가지 조건이 맞아떨어지면 DRAM과 SSD 사이의 경계가 분 단위에서 초 단위로 내려가는 구조가 가능해집니다.
정리
Figure 3과 Figure 5는 다음 두 가지 메시지를 전달합니다.
첫째, SSD performance가 충분히 높아지면 DRAM과 storage 사이의 boundary는 크게 내려갈 수 있습니다.
둘째, 실제 system에서는 host I/O capability가 그 boundary를 결정합니다.
이 두 가지를 종합하면 다음과 같은 결론이 나옵니다.
→ 단순 cold storage가 아니라
→ memory hierarchy의 active tier가 될 가능성