"AI 의 병목(bottleneck)은 더 이상 '연산'이 아닙니다. 이제는 '메모리 대역폭'을 해결해야 합니다." AI 반도체 산업의 병목을 해소하기 위한 해법으로 '메모리 중심 구조'가 주목받고 있다.

3일 서울 삼성동 코엑스에서 열린 'SK AI Summit 2025' 오후 세션에서는 'AI 인프라 병목의 해법 : 메모리 중심 아키텍처가 열어갈 미래'를 주제로 구글, TSMC, SK하이닉스, 메타 등 글로벌기업의 반도체 전문가들이 참여한 패널토론이 진행됐다. 이번 논의에서는 인공지능(AI) 모델 대형화와 연산 수요 급증으로 인한 시스템 병목 현상을 해결하기 위한 설계 구조(아키텍처) 혁신 방향이 집중적으로 다뤄졌다.

주제 발표에 나선 데이비드 패터슨 UC버클리 명예교수는 AI 연산이 폭증하면서 기존 범용 CPU 중심 구조가 한계에 다다랐다고 분석했다. 무어의 법칙 둔화와 전력 제약으로 단일 프로세서의 성능 향상이 사실상 멈춘 만큼, 업계가 멀티코어 이후 '도메인 특화 아키텍처(DSA)'로 전환하고 있다는 것이다. 패터슨 교수는 연산 효율보다 데이터 이동 효율과 메모리 대역폭 확보가 성능을 좌우하는 핵심 요인으로 부상했다고 진단했다.

패터슨 교수는 특히 HBM(고대역폭 메모리)을 중심으로 한 메모리 지향형 구조가 이미 산업 전반으로 확산되고 있으며, 향후에는 고대역폭플래시메모리(HBF) 등 차세대 고대역 메모리 기술이 병목 해소의 열쇠가 될 것으로 전망했다. 또 3D 적층 구조와 메모리 내부·근접 연산(PIM·PnM) 기술이 AI 칩 효율 향상의 핵심 축으로 떠오를 것으로 내다봤다. 다만 발열, 표준화, 소프트웨어 스택 호환성이 상용화의 관건이 될 것이라고 덧붙였다.

이후 패널토론에는 구글·메타·TSMC·SK하이닉스 등의 글로벌 반도체 및 AI 전문가들이 참여해 AI 인프라의 병목 문제와 차세대 메모리 아키텍처 방향성을 논의했다. 참석자들은 공통적으로 AI 연산의 병목이 더 이상 '연산'이 아니라 '데이터 이동' 단계에서 발생하고 있다고 진단했다. 메타의 김창규 수석엔지니어는 AI 추론 과정에서 긴 문맥 처리와 멀티모달 입력 확대로 인해 메모리 지연이 성능과 사용자 경험을 좌우하게 됐다고 부연했다.

이어 SK하이닉스 김호식 펠로우는 HBM·HBF 등 고대역 메모리와 연산 근접 구조(PIM·PnM)를 결합하는 전략이 효율을 높이는 핵심이라고 보고, 단순한 부품 공급을 넘어 파트너십 기반의 기술 생태계 구축이 중요하다고 밝혔다. 이어 멤버지(MemVerge)의 찰스 팬 CEO는 메모리와 스토리지의 경계가 빠르게 희미해지고 있다며, AI 모델이 생성·저장하는 방대한 데이터를 처리하기 위해 '공유형 메모리-스토리지 구조'가 필요하다고 강조했다. 팬 CEO는 AI가 스스로 데이터를 생성하고 기억하는 시대에는 메모리가 단순한 부품이 아닌 데이터 플랫폼으로 기능하게 될 것이라고 내다봤다.

한편 이날 패널토론에서 '차세대 아키텍처의 대표 주자'로 거론된 SK하이닉스의 곽노정 대표는 오전 기조연설을 통해 "AI 시대를 맞아 메모리는 더 이상 단순한 부품이 아니라 생태계를 설계하는 핵심 플랫폼이 됐다"며 "HBM을 넘어 D램과 낸드, CXL 기반 메모리 확장으로 AI 효율성을 높이겠다"고 밝혔다.