AI 차세대 메모리 PIM과 관련기업

안녕하세요, HBM 이후 AI시대의 선택을 받을 차세대 메모리 반도체는 무엇일까요? 수많은 메모리 반도체 제조업체들이 현재 HBM 이후 PIM이란 반도체 개발을 위해 수많은 노력을 기울이고 있습니다. 따라서 이러한 추세에 따르면 HBM 이후 차세대 메모리 반도체 기술은 PIM가 될 확률이 높을 것 입니다, 오늘은 이러한 PIM의 개념과 관련기업에 대해서 살펴보는 시간을 가져보겠습니다

 

PIM이란 ?

PIM은 "Processing in memeory"의 약자로 프로세싱이 가능한 메모리라는 뜻으로 해석할 수 있습니다. 즉  연산 기능을 탑재한 메모리라는 뜻이 됩니다. 기존에 우리가 알고 있는 컴퓨터는 cpu와 같은 프로세서가 입력된 명령에 대한 계산을 수행하고 관련된 데이터는 메모리가 저장하는 형식으로 동작을 하죠, 하지만 PIM는 계산 능력을 탑재한 메모리이기에 메모리 자체에서 cpu 등의 프로세서가 수행하는 계산 작업의 일부분을 처리할 수 있게 됩니다. 즉 PIM은 계산을 할 수 있는 똑똑한 메모리라 보시면 될 것 같습니다.

 

 

 

 

PIM의 필요성

 

 

PIM 메모리 기술이 차세대 메모리 반도체 기술로 각광받는 이유는 "인공지능" 분야의 대두입니다, ai를 학습시키기 위해서는 굉장히 많은 데이터의 처리가 필요하게 되는데, 이때 gpu 혹은 cpu가 ai 학습을 위한 데이터들을 처리 시 메모리 반도체에 저장된 데이터를 계속 다량으로 불러와야 하는데, 기존 메모리 반도체의 경우 다량의 메모리를 불러오는 과정에서 처리 속도가 느려지는 병목 현상이 발생합니다.

 

이는 데이터라는 차가 일정 통로를 빠져나오며 길이 막히는 것과 같은 이치인데요, 이렇게 되면 ai를 학습시키는 과정은 정말 오랜 시간이 걸립니다. 이러한 데이터 간의 병목 현상을 해결하기 위해 ai 분야에서는 요즘 HBM이라는 메모리를 활용하고 있다는 건 다 아실 겁니다.

 

 HBM의 경우 메모리를 한 번에 많이 빼낼 수 있는 능력을 가진 반도체입니다. 따라서 ai가 학습 시 요구되는 수많은 데이터를 빠르게 빼내고 처리할 수 있습니다. 이러한 HBM에서 더 나아가 메모리가 아예 ai 학습에 필요한 일정 단순 계산 작업을 처리해 버리면 어떨까요?

 

 

ai 학습에 필요한 계산을 메모리에서 실시간으로 일정 부분을 수행하면 메모리에서 gpu 혹은 cpu로 데이터를 옮기고 계산하는 과정이 일부 사라지게 되며, 또한 ai 학습을 위한 계산을 수행하는 파트들도 더 많아집니다. 따라서 ai의 학습은 지금보다도 더욱더 빨라질 것입니다. 이것이 현재 여러 기업들이 PIM 개발에 관심을 가지고 또한 PIM이 차세대 메모리 반도체 기술로 불리는 이유가 됩니다.

 

PIM은 아직 상용화가 되지 않았기 때문에 완벽히 확정된 구조는 아직 없으며 업체마다 구조 및 적용 기술이 다를 수 있게 됩니다. 현재 HBM 구조를 기준으로 PIM 기술을 적용한 " HBM-PIM "구조가  가장 널리 알려지고 연구 개발이 진행되고 있습니다.

 

HBM - PIM 구조

HBM 구조는 D램들이 적층 되며 D램들이 마치 빌딩 구조를 이루는 형태입니다. 여기서 각각의 D램들은 TSV라 불리는 공법에 의해 연결됩니다. 이 TSV 공법으로 인해 만들어지는 연결 통로로 각 D램들의 데이터는 다량으로 빠져나올 수 있습니다. 따라서 HBM 메모리는 다량의 메모리를 한 번에 빼낼 수 있게 됩니다. 여기서 HBM PIM 이 HBM 구조상 D램의 빌딩 맨 아래층에 계산을 위한 층인 로직 다이라는 파트를 추가하게 됩니다.

 

 

이때 위 그림과 같은 같은 HBM-PIM 구조에서는 D램에서 데이터들이 TSV 공법을 통한 통로로 다량으로 빠져나오게 되며, 이 빠져나오는 데이터들은 아래에 모여서 로직 다이로 도달합니다. 여기서 로직 다이는 빠져나오는 데이터들을 모아 연산 작업을 처리할 수 있게 되고, HBM-PIM 구조는 메모리 내에서 일정 계산이 처리되는 PIM란 메모리 기술 이론을 실제 수행할 수 있게 됩니다.

 

 

관련기업들의 활동

현재 PIM메모리에 대해서 많은 반도체 기업들이 연구개발을 하고 있으며, 삼성전자 같은 경우는 HBM-PIM을 상용화해서 공급을 추진 중에 있습니다, 하지만 이제 시장이 열리고 있고 HBM이후 차세대 AI메모리로서 HBM과 혼합된 형태로 AI반도체를 좀더 고성능화 시킬겁니다, 현재 PIM과 관련된 기업들의 현황을 간단하게알아보겠습니다.

 

• 삼성전자: HBM-PIM 2021년 세계최초개발 하여 AMD의 MI-100에 공급 추진중
• SK하이닉스 : 23년 9월 PIM접목한 GPU용 메모리 GDDR6 - AiM채용한 AI가속기 AiMX 시제품 첫 공개
• 삼성 SDS : PIM/PNM 기술 기반의 AI워크로드 최적화를 통한 AI성능 가속 기능 연구
• 매커스 :자일링스 AI 가속기 통한 HBM-PIM 성능 테스트업체
• 네패스 :프로세서와 고속적층 메모리 통합 PIM프로세서 패키지 개발

 

 

마치면서

이러한 HBM-PIM 구조는 아직 상용화, 보편화된 기술은 아닙니다, 지금까지 PIM 반도체에 대한 개념 및 현재 기술 개발이 이루어지고 있는 HDM-PIM 구조를  살펴보았는데, AI 시대를 맞이하여 차세대 메모리 반도체로 언제쯤 자리매김할지, PIM이 개발되는 과정에서 HDM-PIM 구조가 정말 확정적인 구조가 될 것인지, 혹은 다른 구조들을 바탕으로 PIM이 개발될지, 마지막으로 PIM 메모리의 승자는 어떤 회사가 될지 이러한 과정을 지켜보는 것도 PIM을 지켜보는 하나의 재밌는 요소가 될 것 같습니다

 

차세대 음극재 리튬메탈과 핵심기업

 

차세대 반도체 기술 유리기판과 주요 업체 딱3종목

 

AI시대에 변압기 전력설비 업체들의 향후전망 분석