0. 개요

1. 연산 및 IT 하드웨어 (Compute & Storage)

AI 학습 및 추론 작업을 직접 수행하는 "두뇌" 역할을 담당합니다.

• 가속기 및 서버 (Compute Nodes): 고성능 GPU(NVIDIA H100/B200 등)나 전용 NPU/ASIC(Google TPU, AWS Trainium 등)가 8개 이상씩 집적된 가속기 서버(HGX, NVL72 등).

• 고속 메모리 계층: 가속기 칩 내부의 HBM(고대역폭 메모리)뿐만 아니라, 시스템 메모리(DDR5)가 긴밀하게 연결되어 테라바이트급 대역폭을 유지합니다.

• 초고속 스토리지 (AI Storage): 거대언어모델(LLM)의 체크포인트를 수 초 내에 저장하고 방대한 학습 데이터를 쉬지 않고 피딩하기 위해 올플래시(NVMe-oF, GPUDirect Storage 지원) 기반 분산 병렬 파일 시스템(WEKA, VAST Data 등)을 채택합니다.

2. 초저지연 스케일아웃 네트워크 (AI Fabric Network)

수천~수만 개의 GPU가 마치 하나의 거대한 단일 컴퓨터처럼 통신해야 하므로 네트워크 대역폭과 지연 시간이 AI 학습 효율의 성패를 가릅니다.

• 스케일업(Scale-Up) 패브릭: 단일 노드 또는 단일 랙 내에서 가속기 간 직접 통신 (예: NVLink, NVSwitch).

• 스케일아웃(Scale-Out) 패브릭: 랙과 랙 사이 수천 대의 서버를 연결하는 네트워크.

  • InfiniBand: AI 클러스터의 전통적 강자로, 초저지연과 무손실(Lossless) 전송을 보장.

  • Ultra Ethernet / RoCE v2: 기존 이더넷 기반에서 RDMA(Remote Direct Memory Access)를 지원해 가속기 메모리 간 직접 데이터 전송.

• 광 트랜시버 및 스위치: 400G/800G를 넘어 1.6T 광모듈(Optical Transceiver)과 CPO(Co-Packaged Optics) 도입 가속화.

3. 전력 인프라 (Power Systems)

일반 데이터센터가 랙(Rack)당 5~15kW 수준이라면, AI 데이터센터는 랙당 40kW~100kW+에 달하는 막대한 전력을 소모합니다.

• 수전 및 변전 설비: 특고압 전력을 변전소로부터 공급받아 서버 전압으로 강압하는 대용량 수변전 시스템.

• UPS (무정전 전원장치) & 배터리: 정전이나 전압 급변 시 가속기 연산이 중단되지 않도록 전력을 즉시 완충(주로 리튬이온/ESS 기반).

• PDU 및 버스웨이(Busway): 랙 상단이나 바닥에서 초고밀도 전류를 각 서버 섀시로 안전하게 분배.

• 고전압 DC 공급 전환: 최근에는 AC-DC 변환 손실을 줄이고 랙 전력 밀도를 극대화하기 위해 랙 내부 48V 또는 고전압 DC(HVDC) 배전 아키텍처가 적극 도입되고 있습니다.

4. 고도화된 냉각 솔루션 (Cooling Infrastructure)

칩셋당 소비 전력이 700W~1,000W를 넘어가면서 기존의 공랭(공기 순환) 방식만으로는 발열을 감당할 수 없습니다.

• 액체 냉각 (Direct-to-Chip, D2C): 가속기 다이(Die) 위에 콜드플레이트를 얹고 냉각수를 직접 순환시켜 열을 흡수하는 방식.

• CDU (Cooling Distribution Unit): 서버 랙 내부로 흐르는 2차 냉각수와 외부 냉각탑/칠러로 이어지는 1차 냉각수 사이에서 열을 교환하고 압력/유량을 제어하는 핵심 장치.

• 침전 냉각 (Immersion Cooling): 비전도성 특수 액체(유전체 액체) 탱크에 서버 전체를 담가 냉각하는 차세대 방식.

• 외기 냉방 및 칠러/냉각탑: 건물 외부로 열을 방출하는 대형 기계 설비.

5. 물리적 인프라 & 제어 소프트웨어 (Facility & Orchestration)

• 화재 방지 및 안전 설비: 리튬이온 배터리와 초고압 장비, 절연액 누수 등을 실시간 감지하는 첨단 가스계 소화 설비 및 누수 감지 센서.

• DCIM (데이터센터 인프라 관리): 전력 사용 효율(PUE), 핫스팟 온도, 냉각수 유량을 초단위로 모니터링·자동 제어하는 시스템.

• AI 클러스터 오케스트레이션 (SW Layer): Kubernetes 기반 위에서 수만 개의 GPU 분산 학습 잡을 스케줄링하고, 노드 고장 시 체크포인트에서 즉각 복구하는 프레임워크(Slurm, Ray, Kubernetes 등).

1. 연산 및 IT 하드웨어 (Compute & Storage)

AI 워크로드(특히 거대 모델의 분산 학습)는 메모리 대역폭과 연산 유닛 간 데이터 이동 지연이 시스템 전체 성능을 결정짓는 핵심 병목(Memory Wall)입니다.

가속기 아키텍처와 HBM의 결합

• 패키징 기술 (CoWoS 등 2.5D/3D 패키징): 연산 코어(GPU/NPU 로직 다이)와 HBM(고대역폭 메모리)을 실리콘 인터포저 위에 마이크로 범프로 초미세 실장합니다. 배선 거리를 수 밀리미터 단위로 줄여 수 테라바이트/초(TB/s)의 메모리 버스 대역폭을 확보합니다.

• HBM 적층 및 열팽창 관리: DRAM 다이를 TSV(실리콘 관통 전극)로 8단, 12단, 16단 적층하면서 칩 중앙부의 열 방출 효율과 휨 현상(Warpage) 제어가 수율과 성능의 핵심 변수가 됩니다.

스토리지 계층: 체크포인팅과 GPUDirect Storage (GDS)

• 체크포인트 I/O 병목: 수천 개 노드가 수백 테라바이트 규모의 모델 가중치(Weights)와 옵티마이저 상태를 주기적으로 디스크에 덤프해야 합니다. 이 시간이 길어지면 고가의 GPU가 연산을 멈추고 유휴(Idle) 상태가 됩니다.

• GDS (GPUDirect Storage): 전통적인 I/O 경로(스토리지 NVMe -> 시스템 메모리(RAM) -> CPU 캐시 -> 가속기 메모리(HBM))를 우회합니다. PCIe/NVMe-oF 패브릭을 통해 스토리지 컨트롤러와 HBM 간에 데이터를 직접 DMA(Direct Memory Access) 전송하여 CPU 오버헤드와 왕복 지연시간을 0에 가깝게 줄입니다.

HBM (High Bandwidth Memory): 메모리 병목 돌파구

HBM은 AI 가속기(GPU/NPU) 바로 옆에서 방대한 파라미터를 초고속으로 실어나르는 핵심 부품입니다. 일반 GDDR 대비 I/O 핀 수를 1,024개(HBM3E 기준)에서 HBM4부터는 2,048개로 두 배 늘려 테라바이트급 대역폭을 달성합니다.

핵심 기술 및 공정 변화

• 베이스 다이(Base Die)의 파운드리 전환 (HBM4): 기존 HBM3E까지는 메모리 공정으로 만들었으나, HBM4부터는 GPU와의 인터페이스 최적화와 커스텀 연산 로직 수용을 위해 TSMC 등 선단 파운드리 로직 공정(3nm/5nm급)을 활용합니다.

• 패키징 방식의 진화:

  • MR-MUF (Mass Reflow Molded Underfill): 수천 개의 마이크로 범프를 한 번에 녹여 붙이고, 액체형 보호재(MUF)를 채워 넣는 방식으로 방열 성능과 공정 효율이 우수합니다.

  • 하이브리드 본딩 (Direct Cu-to-Cu): 마이크로 범프를 아예 없애고 구리 패드끼리 원자 수준에서 직접 접합하는 기술입니다. 16단 이상 초고적층에서 두께 규격(JEDEC standard)을 충족하고 I/O 밀도를 극대화하는 차세대 표준으로 자리잡고 있습니다.

HBM 밸류체인 및 진입장벽

• 메모리 IDM: SK하이닉스, 삼성전자, 마이크론 (설계·제조·적층 총괄)

• 어드밴스드 패키징/파운드리: TSMC (CoWoS 인터포저 인터그레이션), 한미반도체(TC 본더/듀얼 마이크로 본더 장비)

• 웨이퍼 CMP 및 계측: HBM 다이를 얇게 갈아내고 평탄화하는 고정밀 CMP 장비 및 파티클 검사 장비

• 핵심 진입장벽: 초박막 웨이퍼 적층 시 발생하는 휨 현상(Warpage) 제어, 적층된 다이 중 하나만 불량이어도 전체를 폐기해야 하는 KGD(Known Good Die) 수율 관리, 극한의 인터포저 정밀 정렬 기술.

2. 초저지연 스케일아웃 네트워크 (AI Fabric Network)

AI 클러스터는 수만 개의 연산 코어가 분산 텐서 병렬화(Tensor Parallelism), 파이프라인 병렬화(Pipeline Parallelism)를 수행하며 All-Reduce 같은 동기화 통신을 쉼 없이 반복합니다. 네트워크 패킷 하나만 지연되거나 손실(Packet Loss)되어도 전체 클러스터가 해당 노드의 응답을 대기(Straggler 문제)하게 됩니다.

Scale-Up vs. Scale-Out 패브릭의 분리

• Scale-Up (노드 내부 / 랙 내부): 수 센티미터~수 미터 거리에서 테라바이트급 초고속 통신이 필요합니다. 구리 트레이스 및 전용 백플레인(예: NVLink 케이블 카트리지)을 사용해 스위치 칩(NVSwitch)과 GPU 간 완전 연결(Full-mesh) 망을 구성합니다.

• Scale-Out (노드 간 / 랙 간): 랙 간 거리가 멀어지면 구리선 대신 광케이블을 사용합니다.

  • 무손실 전송 (Lossless Fabric): 버퍼 오버플로우로 인한 패킷 드롭을 막기 위해 하드웨어 기반 흐름 제어(PFC: Priority Flow Control)와 혼잡 알림(ECN: Explicit Congestion Notification) 메커니즘을 적용합니다.

  • InfiniBand vs. RoCE v2 (RDMA over Converged Ethernet): InfiniBand는 전용 크레딧 기반 흐름 제어로 완벽한 무손실을 제공하는 AI 전용망 표준이며, RoCE v2 및 Ultra Ethernet은 범용 이더넷 장비 생태계를 활용해 비용 절감과 확장성을 도모합니다.

광학 트랜시버(Transceiver) 및 CPO

• 초당 800Gbps, 1.6Tbps 수준으로 회선 속도가 증가함에 따라 신호 감쇠(Signal Loss)가 극심해집니다.

• 신호 보정을 위해 DSP(디지털 신호 처리기)가 탑재된 광모듈을 사용하거나, 전력 소모를 줄이기 위해 스위치 실리콘 바로 옆에 광학 엔진을 집적하는 CPO(Co-Packaged Optics) 아키텍처로 진화하고 있습니다.

광트랜시버 (Optical Transceiver): 스케일아웃 네트워크의 혈관

AI 클러스터는 수천~수만 개의 GPU가 서로 동기화(All-Reduce)되어야 하므로 구리선(DAC)의 물리적 한계 거리(수 미터 이내)를 넘는 순간 무조건 빛(Photonics) 기반 전송으로 전환해야 합니다. 현재 백본 네트워크는 800G를 거쳐 1.6T 광트랜시버로 고속 전환되고 있습니다.

기술 메커니즘 및 진화 축

• 전기-광 신호 변환 (E/O 변환): 가속기 스위치 ASIC에서 나오는 전기 신호를 광송신기(Laser/Modulator)를 통해 빛으로 변환하고, 수신단에서 포토다이오드(PD)로 다시 전기로 복원합니다.

• 신호 보정 (DSP의 역할): 800G/1.6T급으로 채널 속도가 올라가면 신호 왜곡과 노이즈가 극심해집니다. 이를 보정하기 위해 모듈 내부에 고성능 DSP(Digital Signal Processor)가 필수적으로 탑재되는데, 모듈 전력 소모의 30~50%를 이 DSP가 차지합니다.

• LPO 및 CPO (Co-Packaged Optics):

  • LPO (Linear Pluggable Optics): DSP를 제거하고 스위치 ASIC의 SerDes 드라이브 성능을 끌어올려 전력과 지연 시간을 대폭 절감하는 방식.

  • CPO (공패키징 광학): 플러그형 트랜시버 폼팩터를 버리고, 스위치 칩셋과 광학 엔진(Optical Engine)을 동일 기판/인터포저 위에 하나로 통합 패키징하여 구리 배선 길이를 밀리미터 단위로 축소.

광모듈 밸류체인

• 광트랜시버 완제품/모듈: 이노라이트(Innolight, 중제), 코히런트(Coherent), 루멘텀(Lumentum), 파이소텍(Fabrinet 등 외주 제조)

• 핵심 광원 및 레이저 다이: CW 레이저(연속파 레이저), EML, VCSEL 공급사 (Lumentum, Coherent, Sumitomo 등)

• 광모듈 전용 DSP 팹리스: 마벨(Marvell), 브로드컴(Broadcom) — 800G/1.6T PAM4 DSP 시장 과점

• 기판/광학 인터페이스/신소재: 고주파 RF 기판, 광도파로(Waveguide), 실리콘 포토닉스(SiPh) 칩셋 팹

3. 전력 인프라 (Power Systems)

AI 데이터센터의 전력 설계 핵심은 "극단적인 단위 면적당 전력 밀도"와 "순간 부하 변동(Transient Load) 대응"입니다.

전력 변환 계층과 손실 최소화

전력망(한전 등 유틸리티)에서 공급되는 수만 볼트의 전력이 칩의 수 볼트 미만 전압까지 내려오는 다단계 변환 과정이 있습니다.

$$\text{특고압(154kV 등)} \xrightarrow{\text{변전소}} 22.9\text{kV} \xrightarrow{\text{수전설비}} 480\text{V/415V} \xrightarrow{\text{PDU/PSU}} 48\text{V/12V} \xrightarrow{\text{VRM}} 0.8\text{V} \sim 1\text{V (칩 구동 전압)}$$

• 48V DC 버스바 아키텍처: 전통적인 12V 랙 배전 방식은 40kW 이상 환경에서 전류(I)가 수천 암페어로 치솟아 구리 부스바의 저항 손실($I^2 R$)과 발열이 기하급수적으로 커집니다. 이를 막기 위해 랙 레벨에서 48V 또는 수백 볼트 DC를 공급하고, 칩셋 직전의 VRM(전압 레귤레이터 모듈)에서 최종 1V 미만으로 강압합니다.

순간 부하 변동(di/dt) 및 전력 품질

• 대형 모델의 훈련 스텝이 시작되고 끝날 때, 수만 개의 칩셋이 일제히 최대 부하로 튀었다가 유휴 상태로 전환됩니다.

• 이 극단적인 전류 변화($di/dt$)는 전압 강하(Voltage Sag)와 고조파 왜곡을 유발하므로, 초대형 슈퍼커패시터, 응답 속도가 빠른 리튬이온 기반 BBU(배터리 백업 유닛), 정교한 액티브 필터 설비가 필수적입니다.

전력 인프라 (Power Systems)

AI 데이터센터는 랙(Rack)당 전력 밀도가 과거 5~15kW 수준에서 40kW~120kW+ 수준으로 폭증했습니다. 이에 따라 송배전부터 칩 직전까지의 전력 전달 효율과 안정성이 최우선 과제입니다.

전력 공급 계통의 단계별 핵심 설비

전력 유틸리티(한전 등)로부터 고전압을 받아 칩셋 코어가 사용하는 1V 미만까지 내려오는 계통 구조입니다.

[외부 송전망] 154kV / 345kV

     │ (초고압 변압기)

[수변전 설비] 22.9kV

     │ (배전 변압기)

[UPS / 백업 시스템] 480V / 415V (정전 방지 및 고조파 필터링)

     │ (버스웨이 / Busway)

[PDU (전력 분배 장치)] 480V/415V -> 랙 레벨

     │ (PSU / 전원공급모듈)

[랙 버스바] 48V DC

     │ (VRM / 전압 레귤레이터)

[가속기 다이 (GPU/NPU)] 0.8V ~ 1.0V DC (수천 암페어 전류 공급)

1. 초고압 변압기 및 배전반 (Switchgear):

   • 대규모 AI 캠퍼스는 기가와트(GW)급 부하를 요구하므로 수전 전압 자체가 154kV 이상 특고압입니다.

   • 변압기 제조 리드타임이 수년 이상 지연될 만큼 글로벌 공급 쇼티지가 심한 핵심 인프라입니다.

2. UPS (무정전 전원장치)와 BBU (배터리 백업 유닛):

   • 정전 시 디젤/가스 비상 발전기가 가동되기 전까지(약 10~30초) 전력을 버텨주는 장치입니다.

   • 납축전지(VRLA)에서 공간 효율과 충·방전 속도가 압도적인 리튬이온(LFP/NCM) 기반으로 완전 전환되었습니다.

3. 버스웨이 (Busway):

   • 전통적인 두꺼운 전선 케이블 뭉치 대신 랙 상단에 절연 구리/알루미늄 바 형태의 트랙을 깔아 전력을 공급합니다. 랙 추가·변경이 유연하고 고밀도 전류 수용에 유리합니다.

4. 48V DC 랙 배전:

   • 기존 12V 랙은 $P = VI$ 공식에 따라 100kW 부하 시 전류($I$)가 $8,300\text{A}$에 달해 도체 저항에 의한 전력 손실($I^2 R$)과 발열이 감당 불가능해집니다.

   • 전압을 48V로 올리면 전류가 4분의 1로 줄어들어 구리 부스바 저항 손실은 16분의 1($1/4^2$)로 급감합니다.

전력 품질과 순간 부하(di/dt) 병목

AI 모델 학습 시 대규모 텐서 연산이 시작되거나 종료될 때, 수천 대의 GPU가 찰나의 순간(수 마이크로초)에 유휴 상태에서 100% 풀로드로 전환됩니다. 이로 인해 극심한 전류 변화율($di/dt$)이 발생하여 전압이 출렁이는 새그(Sag) 현상이 일어납니다. 이를 상쇄하기 위해 랙 내부에 초고속 반응 커패시터 뱅크와 액티브 전력 필터 설비가 집중 배치됩니다.

4. 고도화된 냉각 솔루션 (Cooling Infrastructure)

칩 1개의 열유속(Heat Flux)이 $100\text{W/cm}^2$를 넘어서면서, 공기(공랭)의 낮은 열용량으로는 다이 접합부 온도(Tj)를 85°C 이하로 묶어둘 수 없습니다.

[1차 루프: 외부 설비]                  [2차 루프: 서버 내부 설비]

냉각탑 / 칠러 / 드라이쿨러 <== 熱交換 ==> CDU (펌프, 열교환기) <====> 콜드플레이트 (GPU/HBM 접촉)

D2C (Direct-to-Chip) 수랭 아키텍처

• 콜드플레이트(Cold Plate): 칩 표면의 구리 히트스프레더와 직접 맞닿는 미세 유로(Micro-channel) 구조체로, 열전도율이 높은 냉각수가 미세 핀 사이를 흐르며 열을 흡수합니다.

• CDU (Cooling Distribution Unit):

  • 외기의 영향을 받는 1차 냉각수(FWS: Facility Water System)와 랙 내부의 정밀한 2차 기술 냉각수(TCS: Technology Cooling System)를 물리적으로 격리하여 열만 교환합니다.

  • 서버 내부로 들어가는 냉각수의 온도, 유량, 압력을 제어하며 결로(Condensation)를 방지하기 위해 이슬점(Dew Point) 이상으로 수온을 유지합니다.

• 퀵 디스커넥트(Quick Disconnect, QD): 서버 섀시를 랙에서 탈착할 때 냉각수가 단 한 방울도 새지 않도록 차단하는 밀폐형 피팅 커넥터.

침전 냉각 (Immersion Cooling)

• 단상(Single-Phase): 서버 전체를 합성 탄화수소계 절연액에 담그고 펌프로 순환시켜 CDU로 열을 보냅니다. 안정성이 높고 증발 손실이 적습니다.

• 2상(Two-Phase): 불소계 액체가 칩 표면에서 끓어 기화(기화열 흡수)된 뒤 상단 응축기에서 다시 액체로 액화되는 방식입니다. 냉각 효율은 극상이지만, 냉매의 기밀 유지 비용과 환경 규제(PFAS 이슈)가 과제입니다.

고도화된 냉각 설비 (Cooling Infrastructure)

NVIDIA Blackwell 등 최신 AI 가속기는 단일 칩 소비전력이 1,000W~1,200W를 넘어섭니다. 이 수준에서는 팬을 아무리 강하게 돌려도 칩 표면의 열을 공기로 전달하는 속도보다 열이 쌓이는 속도가 빨라 수랭(Liquid Cooling) 도입이 필수가 되었습니다. 물은 공기보다 열용량이 약 4배 높고, 열전도율은 25배 이상 뛰어납니다.

D2C (Direct-to-Chip) 수랭의 구조와 핵심 부품

[1차 루프 (외부 Facility)]                [2차 루프 (랙 & 서버 IT)]

냉각탑 / 외기 칠러 <==== (판형 열교환기) ====> CDU (펌프) <==== (매니폴드/QD) ====> 콜드플레이트 (GPU 접촉)

• 콜드플레이트 (Cold Plate):

  • GPU 및 HBM 다이 상단에 밀착되는 초정밀 가공 구리 블록입니다.

  • 내부에는 수십 마이크로미터 폭의 미세 핀(Micro-fin) 유로가 촘촘히 깎여 있어 냉각수와의 접촉 단면적을 극대화합니다.

• CDU (Cooling Distribution Unit, 냉각 분배 장치):

  • 액체 냉각 시스템의 "심장" 역할을 하는 가장 중요한 장비입니다.

  • 외부 시설 냉각수(1차)와 서버 내부 냉각수(2차)를 섞이지 않게 열만 교환하는 판형 열교환기(PHE), 고압 정밀 펌프, 유량 제어 밸브, 여과 필터, 모니터링 컨트롤러가 일체화되어 있습니다.

  • 실내 습도에 의해 랙 내부에 이슬이 맺히는 결로 현상을 막기 위해 2차 수온을 실내 이슬점(Dew point)보다 항상 높게(보통 25~35°C 수준) 정밀 제어합니다.

• 매니폴드(Manifold)와 퀵 디스커넥트(QD, Quick Disconnect):

  • 매니폴드: CDU에서 나온 고압 냉각수를 랙 내부의 여러 서버 블레이드로 균등하게 분기·회수하는 배관입니다.

  • QD: 서버 유지보수 시 냉각수가 흐르는 배관을 뺐다 꽂아도 유체가 단 한 방울도 누유되지 않도록 완벽히 밀폐 차단하는 초정밀 기계식 밸브 커넥터입니다.

침전 냉각 (Immersion Cooling)의 현주소

서버 전체를 비전도성 유전체 플루이드(Dielectric Fluid) 탱크에 통째로 담그는 방식입니다.

• 단상 침전 (Single-Phase): 유체가 액체 상태를 유지하며 대류/펌프로 순환. 신뢰성이 높고 운영이 비교적 단순하나 펌핑 동력이 필요함.

• 2상 침전 (Two-Phase): 칩 표면에서 액체가 끓어 기체로 증발(잠열 흡수)한 뒤 상단 응축기에서 다시 액화. 열전달 효율은 가장 높으나, 불소계 냉매의 고가 비용 및 PFAS(영구 잔류성 화학물질) 환경 규제 이슈로 인해 단상 D2C 수랭이 현재 데이터센터의 주류 표준으로 채택되고 있습니다.

5. 물리적 인프라 & 제어 소프트웨어 (Facility & Orchestration)

하드웨어와 설비가 갖춰져도 이를 거대한 단일 시스템으로 엮어 안정적으로 운영하는 오케스트레이션과 인프라 관제 기술이 없으면 대규모 분산 학습은 중단됩니다.

DCIM (데이터센터 인프라 관리)

• 디지털 트윈 및 실시간 텔레메트리: 수만 개의 센서(온도, 습도, 랙 전력, 냉각수 압력, 유량, 누수 센서)로부터 초당 수십만 건의 메트릭을 수집합니다.

• 동적 제어 루프: 특정 랙의 GPU 부하가 급증하면 CDU 펌프 속도와 외기 냉방 밸브를 즉각 연동 조절하여 PUE(전력 사용 효용 지표: 총 소비 전력 / IT 장비 전력)를 1.1 이하로 통제합니다.

AI 워크로드 스케줄링 및 무중단 복구 (Fault Tolerance)

• Slurm / Kubernetes & Ray: 대규모 AI 잡을 분산 클러스터에 할당하고, 토폴로지 인식(Topology-Aware) 스케줄링을 통해 물리적으로 동일 스위치/동일 랙에 묶인 GPU들을 우선 매핑하여 네트워크 지연을 줄입니다.

• 고장 감지 및 핫 스페어 교체: 수만 개 칩 환경에서는 평균 무고장 시간(MTBF) 특성상 며칠에 한 번꼴로 노드 다운(메모리 에러, 링크 플랩 등)이 발생합니다. 소프트웨어 레이어에서 결함 노드를 감지하면 즉각 클러스터에서 격리(Drain)하고, 예비 노드를 투입한 뒤 가장 최근의 체크포인트부터 학습을 재개하는 자동 복구 파이프라인이 필수입니다.

글로벌 산업분류기준(GICS)의 11개 주요 섹터