PIM(Processing-in-Memory)는 진짜 유명한 지능형 메모리 반도체임. 연산이 가능한 메모리반도체, PIM개발 담당자가 알려드립니다.
안녕하세요, SK하이닉스 20기 SK하이닉스 취재기자 김시은입니다!! 메모리 반도체가 AI처럼 생각을 한다면 어떨까요? 메모리 반도체가...? AI? 둘은 절대 하나가 될 수 없다고 생각하셨다면 오산입니다!
PIM는 메모리 반도체에 연간 기능을 더한 지능형 메모리 반도체인데요! 오늘은 이 PIM개발을 담당하시는 PIM SW팀의 박용훈 TL님을 모셔서 이야기 나눠봤습니다!
차세대 반도체인 만큼 반도체의 미래를 이끌고 싶다! 하시는 분들 모두 두 눈 크게 뜨고 끝까지 봐주세요!
SK Careers Editor 20기 김시은
박용훈 TL: 안녕하세요, SK하이닉스 Solution AT(Advanced Technology, 선행기술) 부서의 PIM SW 팀에서 소프트웨어 개발자로 근무하고 있는 박용훈 TL입니다.
박용훈 TL: SK하이닉스의 Solution 부문은 분당캠퍼스에 위치하고 있어요. 분당은 이천, 청주캠퍼스처럼 회사 셔틀버스가 다니지 않기 때문에 대체로 대중교통을 이용해서 출퇴근하고, 가끔 운 좋게 캠퍼스 일일 주차 신청에 성공하면 직접 운전해서 오기도 합니다. SK하이닉스는 유연근무제를 시행하고 있어서 출퇴근 시간이 자유로운데, 저는 저녁이 있는 삶을 좋아해서 늦어도 오전 8시 반까지 출근하는 편이에요. 회사에 도착하면 아침 간편식을 챙겨서 사무실로 갑니다. 새로 도착한 메일과 사내 메신저, 팀 내 업무현황 대시보드를 확인하고 오늘 해야 할 리스트를 정리한 후 업무를 시작해요. 점심시간이 되면 구내식당으로 이동해 마음에 드는 메뉴를 골라 맛있는 식사를 합니다. 그리고 오후 1시까지 팀원들과 탄천 산책을 하거나 사무실에서 낮잠을 자요. 오후에는 개인 업무 외에도 종종 온/오프라인 미팅, 세미나 등 다양한 일정에 참석하고 업무현황 대시보드를 업데이트 및 공유합니다. 중요한 프로젝트 기간을 제외하면 보통 오후 6시 정도에 업무를 마치고 퇴근해요. 물론 저녁 간편식도 꼭 챙겨서 갑니다.
박용훈 TL: 이름에서 아실 수 있듯이 저희는 반도체 소프트웨어 개발 팀입니다. SK하이닉스는 현재 AiM(Accelerator-in-Memory)이라는 DRAM PIM 반도체를 개발한 상태인데, 이 AiM이 실제 컴퓨터에 장착되어 프로그램을 구동하기 위해서는 중간에 다리 역할을 해주는 “솔루션”이라는 제품이 필요해요. 이 솔루션의 소프트웨어 부분을 개발하는 것이 PIM SW의 주된 업무입니다. 컴퓨터공학을 공부하신 분이라면 사용자 어플리케이션 단부터 디바이스 드라이버 단까지 다양한 소프트웨어 계층이 존재한다는 사실을 잘 아실 거예요. PIM SW 팀은 AiM이 작동하는 데 필요한 모든 소프트웨어 계층을 개발하며, 이를 AiM SDK(Software Development Kit)라고 합니다.
AiM SDK 개발 과정에서 최신 AI 기술 동향을 분석하는 일도 저희 팀의 중요한 업무입니다. 급증하는 AI 반도체 수요에 발맞춰 AiM이 생성형 AI 모델의 추론(inference) 과정을 효율적으로 지원할 수 있도록 최신 논문과 뉴스, 칼럼 등을 지속적으로 분석하고 AiM SDK에 반영하기 위해 노력하고 있습니다. 아울러 PIM HW 팀과 함께 각종 국내외 학회와 전시회에서 자사 제품의 우수한 성능을 시연하고 홍보하는 일도 다양하게 진행 중입니다.
박용훈 TL: PIM(Processing-in-Memory)을 한마디로 표현하면 “저장과 연산의 경계를 허문 메모리”입니다. 기존의 컴퓨터 구조를 생각해보면, 폰 노이만이 저장 장치와 연산 장치가 분리된 컴퓨터 구조를 정립한 후 지금까지 모든 컴퓨터가 이러한 구조를 따르고 있죠. 문제는 메모리와 프로세서 간의 처리 속도 및 용량 차이가 지속적으로 벌어지고, 프로세서가 처리해야 할 데이터가 급격히 증가하면서 두 장치 사이의 병목현상이 갈수록 심화하고 있습니다. 이는 컴퓨터의 성능을 떨어뜨리고 전력 소모를 높이는 요인으로 작용해요.
PIM은 저장 장치와 연산 장치를 함께 집적한 메모리 반도체입니다. 데이터가 저장되는 셀 옆에 PU(Processing Unit)가 배치된 구조를 갖추고 있습니다. 데이터 병목현상을 일으키는 연산을 메모리 자체적으로 처리한 후 결과값만 프로세서에 전달함으로써 폰 노이만 구조의 문제를 개선하게 됩니다.
박용훈 TL: 앞서 말씀드린 것처럼 PIM은 폰 노이만 병목현상을 해결하기 위해 기존의 컴퓨터 구조에서 벗어난다는 특징을 지닙니다. 결국 메모리가 자체적인 연산 능력을 갖추도록 하는 기술이 기존의 메모리 기술과의 가장 큰 차이점이라고 할 수 있어요.
박용훈 TL: 소프트웨어 관점에서 PIM 기술 구현의 중요한 기술적 과제는 도메인(산업 분야)에 특화된 컴퓨팅 시스템 구조를 상위 계층부터 하위 계층까지 모두 고려해 수직적으로 설계해야 한다는 점입니다. PIM에 탑재되는 PU는 기존의 프로세서가 처리하는 연산 중 일부, 특히 병목현상을 일으키는 연산을 잘 지원해야 성능과 전력 소모를 효과적으로 개선할 수 있어요. 문제는 PIM 반도체를 활용할 도메인에 따라 필요로 하는 연산이 상이하고, 한 도메인 안에서도 구체적인 어플리케이션마다 최적화 방법이 달라지게 됩니다. 때문에 소프트웨어 계층의 최상단인 사용자 앱부터 개발자 프레임워크, 런타임 라이브러리, 커널 디바이스 드라이버 등 하드웨어 계층에 이르기까지 컴퓨터 구조의 모든 층위에 대한 깊이 있는 분석과 개발이 중요합니다.
박용훈 TL: PIM은 AI 시대에 크게 주목받는 기술입니다. 최근 ChatGPT를 중심으로 다양한 LLM(Large Language Model) 서비스 시장이 폭발적으로 성장하고 있죠. 문제는 LLM을 구성하는 거대한 파라미터 때문에 메모리-프로세서 간의 병목현상이 커질 수밖에 없습니다. 여기에 PIM 기술을 도입하면 메모리 외부로 이동하는 데이터의 양을 줄임으로써 LLM의 답변 시간과 전력 소모를 효과적으로 감소시킬 수 있어요. 실제로 AiM을 기반으로 제작된 AiMX 가속기 카드는 다양한 전시회에서 생성형 AI 모델을 구동하며 우수한 성능을 보였습니다.
박용훈 TL: 현재 SK하이닉스에서는 Solution AT 부서의 PIM SW, PIM HW 팀이 PIM을 전담하고 있습니다. AiM이 실제 컴퓨터 시스템에서 효과적으로 동작할 수 있도록 관련 연구를 PIM SW 팀과 PIM HW 팀이 함께 진행하고 있습니다. PIM HW 팀의 주요 업무는 메모리 아키텍처를 설계하고 평가하는 일로, 시장의 요구에 맞는 최적의 PIM 아키텍처를 도출하는 것이 핵심 목표입니다. 그리고 SK하이닉스의 PIM 솔루션을 대외적으로 선보일 수 있는 AiMX 가속기 카드도 제작하고 있습니다. 업계 표준 규격에 맞춰 카드 폼팩터와 통신 인터페이스, 회로를 설계하고 PIM SW의 SDK와 맞물려 AiM이 정확한 동작을 수행할 수 있는 가속기 카드를 개발하는 것이죠.
아울러 AiM 칩을 개발한 DRAM 설계 부서와 패키지 개발 부서가 있습니다. PIM 구조를 갖춘 메모리 반도체의 회로와 패키지를 설계하고 칩을 도출하기까지의 과정을 두 조직이 함께 진행했습니다. 다만 양 부서는 PIM뿐만 아니라 다양한 DRAM 반도체를 연구 및 개발한다는 점에서 PIM만을 전담하는 조직이 아니라는 차이점이 있어요.
박용훈 TL: PIM SW, PIM HW 팀은 사실상 하나의 조직으로 움직입니다. 실제로 사무실 공간도 붙어있어요. AiM SDK부터 AiMX에 이르기까지 소프트웨어, 하드웨어 개발 전 과정에서 긴밀히 소통하고 협업합니다. 최근에는 두 팀이 함께 신형 AiMX 가속기 카드에서 메타의 최신 LLM인 Llama 3를 성공적으로 시연하며 SK하이닉스의 PIM 기술력을 입증하고 있습니다. 아울러 DRAM 설계 부서 및 패키지 개발 부서와는 차기 AiM에 대한 논의를 지속적으로 이어가고 있습니다.
박용훈 TL: 앞서 PIM 기술 구현의 중요한 기술적 과제로 도메인에 특화된 컴퓨팅 시스템 구조를 상위 계층부터 하위 계층까지 모두 고려해야 한다는 말씀을 드렸습니다. 때문에 이러한 계층들을 종합적으로 이해할 수 있는 전공지식을 갖추는 것이 중요하다고 생각해요. 가령 저는 컴퓨터공학을 전공했는데, 학교에서 수강한 논리설계, 컴퓨터 구조, 하드웨어 시스템 설계 등 하드웨어와 접해있는 전공 수업부터 시스템 프로그래밍, 자료구조, 어플리케이션 개발 등 소프트웨어 중심 수업까지의 모든 전공 지식이 업무에 폭넓게 활용되고 있습니다. 그리고 대부분의 개발 환경이 리눅스이기에 평소 학교 프로젝트를 수행할 때 기본적인 쉘 사용법부터 임베디드 리눅스의 기초적인 내용을 숙지하시면 현업에 적응할 때도 큰 도움이 되실 거예요.
박용훈 TL: 결국 컴퓨터 시스템 전반에 대한 흥미가 있어야 한다고 생각해요. 제가 학교 다닐 때를 생각해보면, 전공 필수였던 하드웨어 관련 수업을 들으면서 컴퓨터공학부 친구들마다 반응이 극명하게 갈렸던 기억이 있습니다. 저처럼 재미있게 들은 친구들도 있었고 왜 이런 수업을 필수로 듣는지 모르겠다며 푸념하던 친구들도 있었어요. 물론 소프트웨어가 재미 없고 하드웨어가 더 흥미로운 친구도 있었죠. 저는 전공 수업을 전 영역에 걸쳐 즐겁게 수강한 학생이었고, 덕분에 현재 PIM SW 팀에서도 무척 만족스럽게 업무에 임하고 있습니다.
박용훈 TL: AI 반도체 산업의 패러다임을 바꾼 HBM은 SK하이닉스 구성원들의 선행기술에 대한 꾸준한 연구와 개발 덕분에 지금의 자리에 오를 수 있었습니다. PIM 역시 SK하이닉스를 중심으로 새로운 AI 반도체의 역사를 써나갈 것이라고 생각합니다. 미래의 PIM 개발자 여러분과 이 과정을 함께 할 수 있으면 진심으로 좋겠습니다.
지금까지 PIM 개발을 담당하고 계시는 PIM SW팀의 박용훈 TL님과 함께 SK하이닉스의 차세대 메모리 반도체, PIM에 대해 이야기 나눠보았습니다!박용훈 TL님은 메모리 반도체의 새로운 가능성을 열기 위해 끊임없이 노력하며, AI 시대의 도약을 이끌어 가고 계셨는데요.'PIM'이라는 기술은 단순한 반도체를 넘어, 데이터 처리의 혁신을 가져오는 중요한 역할을 하고 있다는 점이 인상 깊었습니다ㅎㅎ
PIM을 통해 미래의 반도체 기술을 선도하는 SK하이닉스에 많은 관심 부탁드리며, 다음에도 유익한 기사로 찾아오겠습니다!!
