임의철 SK하이닉스 부사장이 ‘2025년 제2회 상생포럼 Deep Tech Convergence 네트워킹 데이’ 행사에서 ‘Crushing the token cost wall of LLM Service-Attention offloading with PIM-GPU heterogeneous System’이란 주제로 발표했다. 임의철 부사장은 PIM과 GPU를 함께 써서 어텐션 연산을 메모리 쪽으로 분리 처리함으로써 토큰 길이에 따라 급증하는 비용·지연 문제를 근본적으로 낮춰야 한다고 밝혔다.
e4ds+ 멤버십에 가입하시고 프리미엄 유료 기사를 경험하세요
유료 웨비나, 컨퍼런스, 컨퍼런스 리뷰 콘텐츠 등을 멤버십 특별 할인가격에 이용할 수 있습니다.
E4ds+ 가입하기