๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
NEWSLETTER/์‚ฐ์—… LETTER

GTC 2024, ๋” ๊ฐ•๋ ฅํ•ด์ง€๋Š” ์—”๋น„๋””์•„

by ์นฒ ์กฐ 2024. 3. 22.
728x90
๋ฐ˜์‘ํ˜•

 

๐Ÿš€ ํ˜„์žฌ ์ธ๊ณต์ง€๋Šฅ(AI) ์‹œ์žฅ์„ ์žฅ์•…ํ•˜๊ณ  ์žˆ๋Š” ์—”๋น„๋””์•„. 1๋…„ ์ƒˆ ์ฃผ๊ฐ€๊ฐ€ 3๋ฐฐ ๋„˜๊ฒŒ ์ƒ์Šนํ•˜๋ฉด์„œ ์‹œ๊ฐ€์ด์•ก ๊ธฐ์ค€ ์ „ ์„ธ๊ณ„ 3์œ„ ๊ธฐ์—…์œผ๋กœ ์šฐ๋š ์„ฐ๋Š”๋ฐ์š”. ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์—”๋น„๋””์•„๊ฐ€ ๊ฐœ์ตœํ•˜๋Š” GTC 2024ํ–‰์‚ฌ์—๋„ ์—„์ฒญ๋‚œ ๊ธฐ๋Œ€๊ฐ€ ์ ๋ ธ์Šต๋‹ˆ๋‹ค.


H100 ์ด์„ AI ๋ฐ˜๋„์ฒด๋Š”?

๐Ÿ™Œ GTC 2024์— ๋ชฐ๋ฆฐ ๋ˆˆ

์ง€๋‚œ 18์ผ(ํ˜„์ง€ ์‹œ๊ฐ), ์—”๋น„๋””์•„๋Š” ๋ฏธ๊ตญ ์บ˜๋ฆฌํฌ๋‹ˆ์•„ ์ƒˆ๋„ˆ์ œ์ด์—์„œ ์„ธ๊ณ„ ์ตœ๋Œ€ AI ์ฝ˜ํผ๋Ÿฐ์Šค์ธ ‘GTC 2024’๋ฅผ ๊ฐœ์ตœํ–ˆ์Šต๋‹ˆ๋‹ค. ์—…๊ณ„ ๋™ํ–ฅ๊ณผ ๋ฏธ๋ž˜ ๊ธฐ์ˆ ์„ ์‚ดํŽด๋ณผ ์ˆ˜ ์žˆ๋Š” ํ–‰์‚ฌ๋กœ, ์ „ ์„ธ๊ณ„ 300์—ฌ ๊ฐœ์˜ ๊ธฐ์—…์ด ์ฐธ์—ฌํ–ˆ๋Š”๋ฐ์š”. ์˜จ๋ผ์ธ๊นŒ์ง€ ํ•ฉํ•˜๋ฉด ์ „ ์„ธ๊ณ„์ ์œผ๋กœ ์ฐธ๊ด€๊ฐ์ด 30๋งŒ ๋ช…์— ์œก๋ฐ•ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ’ก ์ƒˆ๋กœ์šด GPU ์„ ๋ณด์—ฌ

ํ–‰์‚ฌ ์ฒซ๋‚  ์  ์Šจ ํ™ฉ ์—”๋น„๋””์•„ CEO๋Š” ์ƒˆ๋กœ์šด ๊ทธ๋ž˜ํ”ฝ์ฒ˜๋ฆฌ์žฅ์น˜(GPU) ‘B100’๊ณผ ‘B200’์„ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ์•„ํ‚คํ…์ฒ˜๋ณด๋‹ค ์„ฑ๋Šฅ์ด ํ–ฅ์ƒ๋œ ๋ธ”๋ž™์›ฐ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ์นฉ์ธ๋ฐ์š”.

GPU ๋‘ ๊ฐœ๋ฅผ ํ•˜๋‚˜๋กœ ์—ฐ๊ฒฐํ•˜๊ณ , ์ „๊ธฐ ์‹ ํ˜ธ๋ฅผ ์กฐ์ ˆํ•˜๋Š” ํŠธ๋žœ์ง€์Šคํ„ฐ๋ฅผ 2.5๋ฐฐ ๋งŽ์ด ์‚ฌ์šฉํ–ˆ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ์ œํ’ˆ์ธ ‘H100’์— ๋น„ํ•ด ์ตœ๋Œ€ 30๋ฐฐ ์ •๋„ ๊ธฐ๋Šฅ์ด ๊ฐœ์„ ๋๋‹ค๋Š” ์„ค๋ช…์ž…๋‹ˆ๋‹ค.

 

๐Ÿ” ๊ทธ๋ž˜ํ”ฝ์ฒ˜๋ฆฌ์žฅ์น˜(GPU): ์ปดํ“จํ„ฐ์—์„œ ๊ทธ๋ž˜ํ”ฝ ์—ฐ์‚ฐ์„ ์ฒ˜๋ฆฌํ•ด ๊ฒฐ๊ด๊ฐ’์„ ๋ชจ๋‹ˆํ„ฐ์— ์ถœ๋ ฅํ•˜๋Š” ์—ฐ์‚ฐ ์žฅ์น˜์ž…๋‹ˆ๋‹ค. ์ˆ˜๋งŽ์€ ๋‹จ์ˆœ ๊ณ„์‚ฐ์„ ๋น ๋ฅด๊ฒŒ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์–ด ๋งŽ์€ ์—ฐ์‚ฐ์ด ํ•„์š”ํ•œ AI ํ•™์Šต์— ๋„๋ฆฌ ํ™œ์šฉ๋ฉ๋‹ˆ๋‹ค.

 

๐Ÿ–ฅ๏ธ ์Šˆํผ์ปดํ“จํ„ฐ๋„ ๊ณต๊ฐœ

์—”๋น„๋””์•„๋Š” ์ƒˆ๋กœ์šด ์Šˆํผ์ปดํ“จํ„ฐ ‘DGX ์ŠˆํผํŒŸ๋„ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์•ž์„œ ์†Œ๊ฐœํ•œ B200 ์นฉ ๋‘ ๊ฐœ์™€ ์ž์ฒด ๊ฐœ๋ฐœํ•œ ๊ทธ๋ ˆ์ด์Šค ์ค‘์•™์ฒ˜๋ฆฌ์žฅ์น˜(CPU)๋ฅผ ๊ฒฐํ•ฉํ•ด ์Šˆํผ ์นฉ ‘GB200’์„ ๋งŒ๋“ค์—ˆ๋Š”๋ฐ์š”. ์ด ์นฉ์„ 36๊ฐœ ์—ฐ๊ฒฐํ•ด ‘DGX ์ŠˆํผํŒŸ์ด๋ผ๋Š” ์Šˆํผ์ปดํ“จํ„ฐ๋ฅผ ๊ฐœ๋ฐœํ–ˆ๊ณ , ์˜ฌํ•ด ๋ง์— ์ถœ์‹œํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

DGX  ์ŠˆํผํŒŸ

๐Ÿ™„ ์‚ผ์„ฑ์ „์ž๋Š” ์›ƒ๊ณ  ์žˆ๋‹ค?

์ด๋ฒˆ ํ–‰์‚ฌ์—๋Š” ์‚ผ์„ฑ์ „์ž, SKํ•˜์ด๋‹‰์Šค ๋“ฑ ๊ตญ๋‚ด ๊ธฐ์—…๋„ ์ฐธ์—ฌํ–ˆ์Šต๋‹ˆ๋‹ค. ‘B200’์—๋Š” ๊ณ ๋Œ€์—ญํญ ๋ฉ”๋ชจ๋ฆฌ(HBM)๊ฐ€ ๋” ๋งŽ์ด ํƒ‘์žฌ๋˜๋Š” ๋งŒํผ ๊ตญ๋‚ด ๊ธฐ์—…์ด ์–ผ๋งˆ๋‚˜ ์ˆ˜ํ˜œ๋ฅผ ๋ˆ„๋ฆด ์ˆ˜ ์žˆ์„์ง€๋„ ํฐ ๊ด€์‹ฌ์„ ๋ฐ›์•˜์ฃ .

 

์  ์Šจ ํ™ฉ CEO๊ฐ€ ์‚ผ์„ฑ์ „์ž HBM์— ๋Œ€ํ•ด ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ ์ค‘์ด๋ฉฐ, ๊ธฐ๋Œ€๊ฐ€ ํฌ๋‹ค๊ณ  ๋งํ•˜๋ฉฐ ํŠนํžˆ ํ™”์ œ๊ฐ€ ๋๋Š”๋ฐ์š”. ์—”๋น„๋””์•„ ๋‚ฉํ’ˆ์— ๋Œ€ํ•œ ๊ธฐ๋Œ€๊ฐ์ด ์ปค์ง€๋ฉฐ ์ง€๋‚œ 20์ผ ์‚ผ์„ฑ์ „์ž์˜ ์ฃผ๊ฐ€๊ฐ€ 5% ๋„˜๊ฒŒ ๊ธ‰๋“ฑํ•˜๊ธฐ๋„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

 

๐Ÿ” ๊ณ ๋Œ€์—ญํญ ๋ฉ”๋ชจ๋ฆฌ(High Bandwidth Memory, HBM): ์‹ ๋ฉ”๋ชจ๋ฆฌ์—์„œ ํ•œ ๋ฒˆ์— ์ „์†กํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ์–‘(๋Œ€์—ญํญ)์— ์ค‘์ ์„ ๋‘ฌ, ๊ธฐ์กด๋ณด๋‹ค ๋งŽ์€ ์–‘์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๋‹จ๋ฒˆ์— ์ „์†กํ•  ์ˆ˜ ์žˆ๋Š” ๊ณ ์„ฑ๋Šฅ ๋ฉ”๋ชจ๋ฆฌ์ž…๋‹ˆ๋‹ค.


ํ”Œ๋žซํผ ๊ธฐ์—…์œผ๋กœ ๋„์•ฝ ์„ ์–ธ

โ˜ ์˜ด๋‹ˆ๋ฒ„์Šค ํด๋ผ์šฐ๋“œ

์—”๋น„๋””์•„๋Š” ์นฉ๋งŒ ๋งŒ๋“œ๋Š” ์ œ์กฐ์‚ฌ์—์„œ ๋ฒ—์–ด๋‚˜, ์†Œํ”„ํŠธ์›จ์–ด์™€ AI ์„œ๋น„์Šค๊นŒ์ง€ ์ œ๊ณตํ•˜๋Š” ์ข…ํ•ฉ ํ”Œ๋žซํผ ๊ธฐ์—…์œผ๋กœ ๊ฑฐ๋“ญ๋‚˜๊ฒ ๋‹ค๋Š” ํฌ๋ถ€๋ฅผ ๋ฐํ˜”์Šต๋‹ˆ๋‹ค. ๊ทธ ์ผํ™˜์œผ๋กœ ์˜ด๋‹ˆ๋ฒ„์Šค ํด๋ผ์šฐ๋“œ๋ฅผ ์†Œ๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค.

 

์˜ด๋‹ˆ๋ฒ„์Šค ํด๋ผ์šฐ๋“œ๋Š” ํ˜„์‹ค ์„ธ๊ณ„๋ฅผ ๊ฐ€์ƒ ํ™˜๊ฒฝ์—์„œ ์ง์ ‘ ํ…Œ์ŠคํŠธํ•ด ๋ณผ ์ˆ˜ ์žˆ๋Š” ์„œ๋น„์Šค๋กœ, ๊ฑด์ถ•๋ฌผ์„ ๋ฏธ๋ฆฌ ์ง€์–ด๋ณด๊ณ  ๋ฌธ์ œ๊ฐ€ ์žˆ๋Š”์ง€ ์ฒดํฌํ•˜๊ฑฐ๋‚˜, ๊ฐ€์ƒ ํ™˜๊ฒฝ์—์„œ ์ž๋™์ฐจ๋ฅผ ์ฃผํ–‰ํ•ด ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ’ป AI ์„œ๋น„์Šค

๊ธฐ์—…์šฉ ์†Œํ”„ํŠธ์›จ์–ด์ธ NIM(NVIDIA Inference Micro service)๋„ ํ•จ๊ป˜ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์—”๋น„๋””์•„๊ฐ€ ๊ฐœ๋ฐœํ•œ ์ปดํ“จํŒ… ํ”Œ๋žซํผ์ธ ์ฟ ๋‹ค๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ž‘๋™ํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์ธ๋ฐ์š”. ์‚ฌ์ „์— ํ›ˆ๋ จ๋œ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์„ ์ œ๊ณตํ•ด์„œ ๊ธฐ์—…์ด ๋‹ค๋ฐฉ๋ฉด์œผ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค.

 

๐Ÿ” ์ฟ ๋‹ค(CUDA): ์—”๋น„๋””์•„์—์„œ ๊ฐœ๋ฐœํ•œ ์ปดํ“จํŒ… ํ”Œ๋žซํผ์œผ๋กœ, ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด๋กœ ์ž‘์„ฑ๋œ ํ”„๋กœ๊ทธ๋žจ์ด ํšจ๊ณผ์ ์œผ๋กœ GPU ์—ฐ์‚ฐ์„ ํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ค๋‹ˆ๋‹ค. ์ฟ ๋‹ค๋ฅผ ํ†ตํ•ด ๋Œ€๋Ÿ‰์˜ ๋ณ‘๋ ฌ ์—ฐ์‚ฐ ๋Šฅ๋ ฅ์„ ๊ณผํ•™ ์—ฐ๊ตฌ, ์ธ๊ณต์ง€๋Šฅ ํ•™์Šต, ์—”์ง€๋‹ˆ์–ด๋ง ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์— ์‰ฝ๊ฒŒ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋์Šต๋‹ˆ๋‹ค. ์—”๋น„๋””์•„ GPU๊ฐ€ ์žˆ์–ด์•ผ ๊ตฌ๋™๋˜๊ธฐ์— ์ฟ ๋‹ค๋Š” ์—”๋น„๋””์•„ GPU ๋…์ฃผ ์ฒด์ œ์— ํฌ๊ฒŒ ๊ธฐ์—ฌํ•˜๊ณ  ์žˆ์ฃ .

 

๐Ÿข ๋ฐ์ดํ„ฐ์„ผํ„ฐ ๊ตฌ์ถ•

์—”๋น„๋””์•„๋Š” AI๋ฅผ ์œ„ํ•œ ๋ฐ์ดํ„ฐ ์„ผํ„ฐ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ฒ ๋‹ค๋Š” ๊ณ„ํš๋„ ๋ฐํ˜”์Šต๋‹ˆ๋‹ค. ์ด 1์กฐ ๋‹ฌ๋Ÿฌ๋ฅผ ํˆฌ์ž…ํ•  ์˜ˆ์ •์ธ๋ฐ์š”. ์›๋ž˜๋Š” ํด๋ผ์šฐ๋“œ ์—…์ฒด์— ๋”ฐ๋กœ ๋น„์šฉ์„ ๋‚ด๊ณ  ์„œ๋น„์Šค๋ฅผ ์ œ๊ณตํ–ˆ์ง€๋งŒ, ์ด์ œ๋Š” ์ž์ฒด ๋ฐ์ดํ„ฐ ์„ผํ„ฐ๋ฅผ ์„ค๋ฆฝํ•˜๊ฒ ๋‹ค๋Š” ๊ฑฐ์ฃ . ๋‹ค์–‘ํ•œ AI ์‘์šฉ ์„œ๋น„์Šค๋ฅผ ๋’ท๋ฐ›์นจํ•˜๊ธฐ ์œ„ํ•œ ์ค€๋น„๋ผ๊ณ  ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.


๋กœ๋ด‡ ๊ฐœ๋ฐœ๊นŒ์ง€ ์‹œ์ž‘ํ•œ๋‹ค๊ณ ?

๐Ÿ’ฌ ๊ทธ๋ฃจํŠธ ํ”„๋กœ์ ํŠธ

์—”๋น„๋””์•„๋Š” ๋กœ๋ด‡ ์‚ฐ์—… ์ง„์ถœ๊นŒ์ง€ ์˜ˆ๊ณ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋กœ๋ด‡ ํ†ตํ•ฉ ํ”„๋กœ์ ํŠธ์ธ ๊ทธ๋ฃจํŠธ(GR00T) ํ”„๋กœ์ ํŠธ๋ฅผ ๋ฐœํ‘œํ–ˆ๋Š”๋ฐ์š”. ์ธ๊ฐ„๊ณผ ํ•จ๊ป˜ ์ž‘์—…ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฒ”์šฉ ๋กœ๋ด‡ ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•˜๊ณ , AI ๋กœ๋ด‡์˜ ์„ค๊ณ„์™€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ์ง€์›ํ•˜๋Š” ํ”Œ๋žซํผ๋„ ๋งŒ๋“œ๋Š” ํ”„๋กœ์ ํŠธ์ฃ .

๐Ÿ’ป ๋กœ๋ด‡ ๊ธฐ์ˆ  ๊ณต๊ฐœ

๊ตฌ์ฒด์ ์ธ ๊ธฐ์ˆ ๋„ ๊ณต๊ฐœ๋์Šต๋‹ˆ๋‹ค. ๋กœ๋ด‡์ด ๋ฌผ๊ฑด์„ ์ง‘๊ฑฐ๋‚˜ ๋“ค์–ด ์˜ฌ๋ฆฌ๋Š” ์„ธ๋ฐ€ํ•œ ์ž‘์—…์„ ์œ„ํ•ด ํŒ”์„ ์ œ์–ดํ•˜๋Š” ๊ธฐ์ˆ ์ธ ์•„์ด์ž‘ ๋งค๋‹ˆํ“ฐ๋ ˆ์ดํ„ฐ์™€ ์ฃผ๋ณ€ ํ™˜๊ฒฝ์„ ์ธ์‹ํ•ด์„œ ์žฅ์• ๋ฌผ์„ ํ”ผํ•˜๊ฑฐ๋‚˜ ํƒ์ƒ‰ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๋Š” ์•„์ด์ž‘ ํผ์…‰ํ„ฐ๊ฐ€ ๋Œ€ํ‘œ์ ์ž…๋‹ˆ๋‹ค.

๐Ÿค” ์—”๋น„๋””์•„์˜ ๋ฏธ๋ž˜

๋‹ค๋งŒ ์‹œ์žฅ์€ ์ด๋ฒˆ ํ–‰์‚ฌ์— ํฌ๊ฒŒ ๋ฐ˜์‘ํ•˜์ง€๋Š” ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์ง€๋‚œ 19์ผ(ํ˜„์ง€ ์‹œ๊ฐ) ์—”๋น„๋””์•„ ์ฃผ๊ฐ€๋Š” 1% ์˜ค๋ฅด๋Š” ๋ฐ ๊ทธ์ณค์ฃ . ๊ทธ๋Ÿฌ๋‚˜ ์ด๋ฏธ AI ์‹œ์žฅ์„ ์žฅ์•…ํ•œ ์—”๋น„๋””์•„๊ฐ€ ์‚ฐ์—…์„ ๋” ํ™•์žฅํ•ด ๋‚˜๊ฐ„๋‹ค๋Š” ์†Œ์‹์ด ํ•ต์‹ฌ์ด์—ˆ๋˜ ๋งŒํผ, ๋‹น๋ถ„๊ฐ„ ๋…์ฃผ ์ฒด์ œ๋Š” ์ด์–ด์งˆ ๊ฐ€๋Šฅ์„ฑ์ด ์ปค ๋ณด์ž…๋‹ˆ๋‹ค.

728x90
๋ฐ˜์‘ํ˜•