Phison aiDAPTIV+ 알아보기 — AI Storage, SSD를 활용하여 AI 스토리지 병목을 푸는 지능형 미들웨어 및 솔루션

 

개요(Executive Summary)

Phison aiDAPTIV+는 GPU·DRAM·NVMe SSD를 하나의 계층형 메모리 풀처럼 묶어, 고가의 HBM/VRAM 의존도를 낮추고 온프레미스에서 대형 LLM(예: Llama 2/3 70B)까지 다룰 수 있게 하는 하드웨어+소프트웨어 하이브리드 솔루션입니다. 실제 GTC 2024 현장에서 4×RTX 6000 Ada 워크스테이션으로 70B급 워크로드를 시연했습니다.

 

링크: https://www.tomshardware.com/pc-components/cpus/phisons-new-software-uses-ssds-and-dram-to-boost-effective-memory-for-ai-training-demos-a-single-workstation-running-a-massive-70-billion-parameter-model-at-gtc-2024

---

기술 구성

1. 하드웨어

• aiDAPTIVCache / AI100E 계열 NVMe SSD
  • 브로슈어 기준 최대 100 DWPD 및 캐시 역할 전용 설계.
  • 워크스테이션·서버에서 수백 GB~수 TB급 가상 VRAM 확장에 사용.
• GPU (예: RTX 6000 Ada)
  • 4장 구성으로 70B 모델 데모. 표준 워크스테이션 섀시에서 동작.
• 시스템 DRAM
  • 수백 GB급(데모는 512GB 수준이 언급됨)으로 중간 계층 캐시 역할.

2. 소프트웨어

• aiDAPTIVLink(미들웨어)
  • 프레임워크(Pytorch 등)에서 레이어·텐서·KV 캐시의 위치를 VRAM↔DRAM↔SSD 사이에서 동적으로 관리.
  • TTFT 개선·컨텍스트 길이 확장 등 3.0 업데이트가 공지됨.
• LLM 프레임워크 및 LLMOps UI(옵션)
  • 파인튜닝·RAG·모니터링까지 한 화면에서 묶는 운영 인터페이스가 소개됨. 엣지/랩톱 시나리오도 확장 발표. 

---

필수 vs 보조 기술

구분 구성 요소 핵심 역할

구분	구성 요소	핵심 역할
필수	aiDAPTIVLink(Software), NVMe SSD(aiDAPTIVCache/AI100E), GPU, DRAM	VRAM 확장·데이터 이동·캐싱·프리패치 등 솔루션 성립에 필수.
보조	LLMOps UI, 엣지/Jetson 포팅, 파트너 워크스테이션	적용 범위·운영 편의·배포 유연성 강화.

---

용도

• 온프레미스 Fine tuning·Post-training
  • 민감 데이터의 내부 학습, 클라우드 비용 절감, 다만 SSD 계층으로 인한 지연/속도 저하
• Edge Inference(Edge/Jetson)
  • TTFT 개선·긴 컨텍스트로 추론 품질 향상 목표. 로보틱스·제조 엣지 적용이 예고됨.

---

레퍼런스 및 데모

• GTC 2024 데모(POC):
  • MAINGEAR PRO AI 워크스테이션 + aiDAPTIV+로 70B 워크로드 시연.
  • 대규모 GPU 팜 대비 비용↓·시간↑의 트레이드오프를 명확히 보여줌.
• 유통/생태계:
  • MAINGEAR(워크스테이션), PNY(제품 페이지) 등 파트너 레퍼런스 공개.
• 확장 소식(’25):
  • aiDAPTIVLink 3.0, Jetson 포팅, 랩톱/엣지 방향 발표.

현재는 연구·사내 PoC·스몰 데이터센터 중심 확산 단계로 보이며,
대규모 엔터프라이즈 본격 상용 레퍼런스는 공개가 제한적입니다.

---

aiDAPTIVLink(팩트 기반 + 추론)

공식 발표 자료와 업계 보도를 바탕으로, 구현 방식을 추론해보면 다음과 같습니다.

1. 데이터 캐싱 전략

• 팩트: OS 스왑(swap)과 유사하다고 소개됨.
• 추론:
  • 핫 데이터 → VRAM
  • 웜 데이터 → DRAM
  • 콜드 데이터 → SSD
    이런 식으로 사용 빈도와 필요 시점에 따라 계층적으로 배치할 가능성이 큽니다.

2. 프리페치(prefetch)

• 팩트: aiDAPTIVLink 3.0에서 TTFT(Time To First Token) 개선 발표.
• 추론: GPU가 현재 step을 계산하는 동안, 다음에 필요한 텐서를 미리 SSD→DRAM→VRAM으로 가져와 대기시키는 구조일 것.

3. 전송 방식

• 팩트: 일부 보도에서 “mmap 유사” 메커니즘 언급.
• 추론: SSD를 메모리에 매핑하고, GPU가 DMA(Direct Memory Access)로 직접 읽는 구조일 가능성. CPU 개입을 최소화해 속도를 확보합니다.

4. SSD 내구성 관리

• 팩트: aiDAPTIVCache SSD는 100 DWPD(Drive Writes Per Day) 스펙을 공식 제시.
• 추론: 캐싱 과정에서 생기는 잦은 쓰기를 견디기 위해, 쓰기 병합(write coalescing)·순차 쓰기 최적화 같은 방식이 적용되었을 것.

---

실제 활용 사례

• GTC 2024 데모: 4×RTX 6000 Ada 워크스테이션 + aiDAPTIVCache SSD 2TB×2로 70B 모델(Llama 2) 실행.
• 엣지/Jetson 적용: 2025년, aiDAPTIVLink 3.0과 함께 엣지 디바이스·노트북까지 확장.
• 파트너 생태계: MAINGEAR(워크스테이션), PNY(SSD), ASUS/MSI/Gigabyte 등이 협력사로 참여.

---

장점과 한계

장점

• GPU 추가 구매 없이 대형 모델 구동 가능
• 클라우드 비용 절감 → 온프레미스 구축에 유리
• 데이터가 로컬에 머물러 보안 강화

한계

• SSD는 VRAM보다 느려 학습 속도 저하 불가피
• I/O 패턴에 따라 성능 편차 발생
• 아직은 연구·PoC 단계 중심으로 적용되는 초기 단계

 

---

"GPU 더 사자"의 대안

Phison aiDAPTIV+는 단순히 SSD 제품이 아니라, 온프레미스 LLM Enablement 솔루션입니다.

• 불가능했던 모델 실행 가능
• 비용 절감
• 데이터 보안 강화

물론, 속도와 지연 문제는 감수해야 하지만, GPU 증설 외에 새로운 길을 제시한다는 점에서 의미가 큽니다.

앞으로 연구기관, 기업 데이터센터, 엣지 디바이스에서 aiDAPTIV+가 어떻게 자리 잡을지 지켜볼 필요가 있을 것 같습니다.