AI 반도체 자세히 알아보기

 

AI가 모든 산업군에 스며들면서 자연스럽게 AI 반도체도 많은 주목을 받고 있습니다. 뉴스에도 정말 많이 나오곤 하지만, GPU부터 FPGA, NPU, 뉴로모픽, PIM까지 종류가 너무 많아 헷갈리곤 합니다. 다양한 AI 반도체가 있지만 왜 하필 엔비디아의 GPU가 AI 학습에 가장 많이 사용되는지도 의문이죠.

 

그래서 오늘은 AI 반도체란 무엇이고, 어떤 원리로 돌아가며, 종류는 어떤 것들이 있는지 자세히 살펴보겠습니다.

---

AI 반도체 자세히 알아보기

AI 반도체는 인공지능(AI) 연산 처리에 최적화된 반도체를 통칭하는 단어로, 굉장히 넓은 개념입니다. AI 가속기, AI 칩셋 등 다른 이름으로 불리기도 합니다.

 

📱 CPU, GPU부터 알고 가자

인공지능(AI) 연산을 위해서는 매우 많은 데이터가 필요하고, 그 데이터에 대해 하나하나 연산을 진행해야 합니다. 그런데 일반적인 컴퓨터의 두뇌 역할을 하는 중앙처리장치(CPU)는 연산을 하나하나 순서대로 작업하는 직렬 연산 방식을 택하고 있기에, 인공지능 연산을 하기에는 너무나 많은 시간과 비용이 필요합니다.

 

반면, 그래픽처리장치(GPU)는 여러 연산을 동시에 수행하는 병렬 연산 방식을 택해, 인공지능 연산에 비교적 유리합니다. 그래서 AI 반도체가 나오기 전부터 지금까지 인공지능 연산에 GPU가 쓰이고 있습니다.

CPU, GPU

🧐 그럼 GPU 쓰면 되는 거 아냐?

GPU는 그래픽 처리를 위해 만들어진 반도체인 만큼, AI 연산에 굳이 필요 없는 기능도 탑재돼 있습니다. 이는 전력 낭비로 이어지곤 하는데요. AI 반도체는 GPU와 달리 AI 연산에 필요한 부품과 기능만 남겨두기에 GPU보다 낮은 전력으로 구동이 가능하며, 연산 효율도 좋습니다. 불필요하게 낭비되는 전력과 발열도 결국 다 비용이기에, 이 비용을 줄이기 위해 많은 기업이 AI 반도체 개발에 열을 올리고 있습니다.

 

🔬 AI 발전에 꼭 필요한 AI 반도체

그동안 AI 이론은 빠르게 발전해 왔지만, 이를 실제로 구현하기에는 하드웨어가 받쳐주지 못하는 상황이었습니다. CPU와 GPU를 기반으로 한 기존 컴퓨팅 구조에서도 거대 인공지능 모델을 구현할 수는 있었지만, 너무나 많은 시간과 비용이 들었습니다. 그래서 등장한 게 AI 반도체인데요.

 

고도화된 AI를 실제로 구현하기 위해서는 하드웨어적인 문제를 해결해야 했고, 그 해결사로 떠오른 AI 반도체는 AI 발전에 필수적인 존재가 됐습니다.

 

📝 AI 반도체? AI 가속기?

AI 반도체엔 여러 이름이 있습니다. AI 가속기라는 표현이 AI 반도체 다음으로 많이 쓰이는데요. 개념적으로는 AI 가속기가 조금 더 정확한 표현입니다. 앞서 설명했듯 CPU나 GPU로도 인공지능 연산을 수행할 수 있습니다. 그러나 AI 반도체를 사용하면 연산을 더 적은 비용으로, 효율적이고 빠르게 수행할 수 있기에 AI 가속기란 이름이 붙은 거죠.

퀄컴 AI 가속기

---

AI 반도체의 다양한 종류

1️⃣ FPGA 반도체

FPGA(Field Programmable Gate Array)는 사용자가 활용 목적에 따라 반도체 내부 구성을 수정할 수 있는 반도체입니다. 용도에 맞게 반도체 내부의 하드웨어를 재프로그래밍할 수 있는 반도체인데요.

 

인공지능 연산에 맞게 FPGA 반도체를 프로그래밍하면 FPGA 반도체도 꽤 훌륭한 AI 반도체가 될 수 있습니다. FPGA 반도체는 재프로그래밍에 특화됐기 때문에 개발에 긴 시간이 필요하지 않고, 전력 소비량도 GPU에 비해 낮다는 장점이 있습니다. 다만, AI 반도체 말고도 다양한 기능을 할 수 있어 단가가 비싸고, 대량 생산에 적합하지 않다는 것이 단점이죠.

2️⃣ NPU

NPU(Neural Processing Unit)란 인공신경망을 이용해 인공지능 연산에 더욱 적합하게끔 만든 반도체입니다. GPU에서 AI에 불필요한 부분은 덜어내고 AI에 필요한 연산 기능은 강화한, 진화된 AI 반도체죠.

 

NPU는 GPU를 AI에 맞게 변형해 만들기도 하고, 기존의 폰 노이만 구조를 벗어나 인간의 뇌 구조를 모방한 형태로 만들기도 하는 등 굉장히 다양한 형태의 반도체를 모두 포함하는 개념입니다. 따라서 AI 반도체를 NPU라고 뭉뚱그려서 부르기도 합니다.

 

🔍 폰 노이만 구조: 천재 수학자 폰 노이만이 고안한 컴퓨팅 구조로, CPU에 명령어가 입력되면 명령어와 데이터가 저장된 메모리 영역에서 필요한 정보를 가져와 CPU에서 연산하고, 이를 출력하는 방식입니다.

 

폰 노이만 구조는 연산이 복잡해지고 데이터가 늘어날수록 속도가 느려지고, 전력 소모도 커진다는 단점이 있습니다. 따라서 대량의 데이터를 처리해야 하는 AI 분야에서는 폰 노이만 구조를 탈피하는 AI 반도체 연구개발이 적극적으로 이뤄지고 있습니다.

 

3️⃣ 뉴로모픽 반도체

NPU 중 폰 노이만 구조를 탈피한 반도체를 일컫습니다. 뉴로모픽(Neuromorphic)이라는 이름 그대로 우리 뇌와 신경 구조를 모방한 반도체인데요. 앞서 폰 노이만 구조에서는 하나의 연산을 할 때 메모리와 CPU를 왔다 갔다 합니다.

 

이와 달리 우리 뇌는 각 뉴런에서 병렬적으로 연산을 수행하고 인접한 뉴런에 결괏값을 전달합니다. 뉴로모픽 반도체는 반도체 안에 뉴런 역할을 하는 다수의 처리장치(Processing Unit)를 넣어 인공지능 연산을 뇌처럼 동시다발적으로 처리하죠.

 

뉴로모픽 반도체는 폰 노이만 구조를 가진 NPU에 비해 필요한 전력이 현저히 적고 연산 효율도 높다는 장점이 있습니다. 다만, 아직은 연구 단계에 있어, 상용화까지는 많은 시간이 필요할 것으로 예상됩니다.

SK 하이닉스

 

4️⃣ PIM 반도체

PIM(Processing In Memory) 반도체란 하나의 칩 안에 메모리 반도체와 연산을 담당하는 시스템 반도체를 합쳐 놓은 반도체입니다.

 

기존에는 연산에 필요한 정보를 메모리 반도체에서 시스템 반도체로 가져온 뒤 연산을 진행해 결괏값을 도출했는데요. PIM 반도체는 내부에서 데이터 처리와 연산을 동시에 할 수 있어 더욱 빠르고 필요 전력도 적습니다. 이에 삼성전자를 비롯해 많은 반도체 기업이 PIM 반도체를 개발하고 있죠.

삼성

✅ AI 반도체의 핵심 2가지

지금까지 다양한 AI 반도체를 살펴봤는데요. 종류는 다양하지만 결국 AI 반도체가 추구하는 핵심 성능은 크게 2가지, 대역폭과 저전력입니다. 인공지능 연산에서 특히 중요한 대역폭이란 동시에 얼마나 많은 데이터를 처리할 수 있는지를 나타냅니다. 또한, 수많은 데이터에 대한 연산을 가능한 낮은 비용으로 처리하기 위해 저전력 기술도 필수적이죠.

 

---

인공지능과 반도체 이모저모

💡 함께 주목받는 HBM 반도체란?

HBM(High Bandwidth Memory, 고대역폭 메모리) 반도체는 기존 D램 메모리를 여러 층으로 쌓아 만든 반도체입니다. D램 메모리가 여러 개 합쳐졌기 때문에 용량이 늘어 더 많은 데이터를 저장할 수 있고, 같은 면적에서도 훨씬 큰 대역폭을 사용할 수 있는데요.

 

덕분에 동일한 시간 동안 더 많은 데이터를 교환할 수 있습니다. 많은 데이터를 저장하고, 한 번에 많은 양의 데이터를 AI 반도체에 보낼 수 있어 HBM 반도체는 AI 반도체의 단짝이 될 전망입니다.

 

🤔 왜 아직 GPU를 쓰는 걸까?

뉴로모픽 반도체나 PIM 반도체는 아직 많은 연구가 필요하지만, NPU 수준의 AI 반도체는 지금도 충분히 현업에서 사용이 가능합니다. 그러나 주변을 둘러보면 아직 GPU, 특히 엔비디아의 GPU를 AI 연구개발에 사용하는 경우가 많은데요. 이는 엔비디아의 인프라 때문입니다.

 

엔비디아는 예전부터 쿠다(CUDA)라는 인공지능 개발 표준을 지원해 왔고, 많은 AI 개발자가 쿠다에 익숙해지면서 아직도 AI에 최적화된 AI 반도체보다 GPU가 더 인기가 높은 것입니다. 최근 AMD 등 여러 반도체 기업이 자체 AI 반도체를 내놓고 있지만, 엔비디아가 구축한 인프라가 워낙 강력해 시장 점유율 확대가 쉽지 않은 상황이죠.

엔비디아

---

세계적인 공학자 카버 미드 교수는 머지않아 반도체의 구조가 크게 바뀔 것이라고 내다봤습니다. 지금의 폰 노이만 구조 아래에서는 아무리 CPU와 메모리 반도체의 성능이 좋아져도 한계가 있다는 것인데요. 그는 반도체의 구조가 우리의 뇌 구조와 비슷하게 발전할 것이라 예상했고, 실제로 지금 AI 반도체는 그렇게 가고 있죠. 곧 AI 반도체를 시작으로 커다란 반도체 혁신이 시작될 것 같습니다.