핵심 요약
AI 하드웨어 산업에 관한 6편짜리 시리즈예요. 반도체를 전혀 몰라도 돼요. 가장 기초부터 시작하거든요. 다 읽고 나면 공급망 전체를 다른 사람에게 설명할 수 있을 거예요. 누가 뭘 만드는지, 소수의 기업이 왜 핵심 지점을 장악했는지, 성장 속도를 물리적으로 제한하는 게 뭔지, 그리고 한국이 이 안에서 어디쯤 있는지요.
서울에서 하루를 살아가는 데 이 지식이 꼭 필요하진 않아요. 하지만 한국에 살고 있다면, 이 산업은 조용히 전기 요금, 국가 예산, 원화 가치, 그리고 취업 시장을 바꿔놓고 있어요. 알아둘 가치가 있어요.
칩이란 무엇인가
모래에서 시작해봐요. 보통 모래는 대부분 이산화규소예요. 이걸 충분히 정제하면 제조업에서 거의 유례없는 순도의 실리콘이 돼요. 이 실리콘을 단결정 원통으로 키우고, 지름 약 30센티미터의 원판으로 잘라내면 웨이퍼가 돼요. 모든 칩이 만들어지는 빈 캔버스예요.
실리콘은 반도체예요. 어떤 조건에서는 전기를 전도하고 다른 조건에서는 전도하지 않아요. 이 성질 덕분에 움직이는 부품 없이 스위치를 만들 수 있어요. 한쪽 단자에 작은 전압을 걸면 다른 두 단자 사이에 전류가 흐르고, 전압을 빼면 흐름이 멈춰요. 이게 트랜지스터예요. 칩은 기본적으로 트랜지스터만으로 이루어져 있어요.
트랜지스터 하나는 스위치예요. 몇 개를 연결하면 단순 논리를 수행하는 회로가 돼요. 이것과 저것, 이것 또는 저것, 이것의 반대. 수백만 개를 연결하면 숫자를 더할 수 있어요. 엄청나게 많이 연결하면 AI 모델을 실행할 수 있어요.
규모는 정말 실감하기 어려워요. 고성능 AI 프로세서에는 우표 크기의 실리콘 위에 어마어마한 수의 트랜지스터가 집적돼 있어요. 불과 몇 년 전 칩과는 비교도 안 되는 수준이에요. 하나씩 배치하는 건 불가능하고, 인쇄 방식으로 만들어요. 화학 코팅된 웨이퍼에 광패턴을 투영하고, 사진 필름처럼 현상하고, 패턴을 통해 재료를 식각하고 증착해요. 이 인쇄 과정을 리소그래피라고 해요. 이 산업에서 가장 어려운 단계예요. 네덜란드의 한 회사가 가장 앞선 공정에 쓰이는 EUV 장비를 독점하는 이유는 3편에서 다뤄요.
"2nm"가 치수가 아닌 이유
칩을 설명할 때 공정 노드가 항상 붙어 나와요. 7nm, 5nm, 3nm, 2nm. 어떤 크기를 나타내는 것처럼 보이죠. 예전에는 그랬어요. 하지만 벌써 10년도 넘게 그렇지 않아요.
지금 이 명칭들은 세대 레이블이에요. 자동차 모델 연도와 비슷해요. 2nm 칩에 실제로 2나노미터 폭인 회로는 없어요. 이 레이블이 말해주는 건, 제조사가 이전 세대보다 트랜지스터를 더 촘촘하게 집적할 수 있다는 거예요. 보통 같은 연산을 더 좋은 성능으로, 더 낮은 전력으로 처리할 수 있어요.
실용적으로 두 가지 결론이 따라와요. 첫째, 회사마다 노드 이름을 직접 붙이기 때문에 회사 간 비교가 안 돼요. 어떤 회사의 2nm가 다른 회사의 3nm보다 반드시 밀도가 높은 건 아니에요. 둘째, 마케팅 명칭만으로는 칩 품질을 판단하기 어려워요. 중요한 건 트랜지스터 밀도, 전력 효율, 그리고 수율이에요. 수율은 웨이퍼 한 장에서 정상 작동하는 칩이 나오는 비율이에요. 제조사들이 가장 철저히 숨기는 수치이기도 해요. 사양은 훌륭해도 수율이 나쁘면 웨이퍼마다 손실이 나거든요.
AI가 다른 종류의 칩을 필요로 하는 이유
소수의 시니어 전문가 팀과 계산기를 든 수만 명이 꽉 찬 경기장을 비교해보세요.
CPU(중앙처리장치)는 소수 팀이에요. 강력한 코어가 몇 개 있고, 복잡하고 예측 불가능한 명령을 처리하며 다음에 뭘 할지 스스로 판단해요. 운영 체제를 실행하는 데 딱 맞는 구조예요. 각기 다른 작업이 정해진 순서 없이 계속 들어오니까요.
GPU(그래픽처리장치)는 경기장이에요. 단순한 코어가 매우 많고, 개별 성능은 낮지만 서로 다른 데이터에 같은 연산을 동시에 적용해요. GPU는 그래픽용으로 만들어졌어요. 200만 픽셀의 색상을 한꺼번에 계산하는 게 주된 일이거든요. 픽셀마다 같은 종류의 연산이 필요하니까요.
그런데 AI도 같은 구조를 가졌어요. 인터페이스 뒤에서, AI 모델을 실행하는 건 압도적으로 한 가지 연산이에요. 행렬 곱셈, 즉 거대한 숫자 격자를 서로 곱하고 결과를 더하는 거예요. 초등학생도 할 수 있는 산수예요. 그 양이 상상을 초월할 뿐이에요. 경기장 문제인 거예요. 전문가 팀 문제가 아니라요. 그게 그래픽카드 산업이 어쩌다 인공지능의 중심에 서게 된 이유예요.
AI 칩이 다 GPU인 건 아니에요. 몇몇 대형 기술 회사는 그래픽 계보를 버리고 AI 연산만을 위한 자체 가속기를 설계해요. 구글의 TPU, 아마존의 Trainium과 Inferentia, 메타의 MTIA가 그것들이에요. 이것들은 ASIC, 즉 응용별 집적회로예요. 좁은 작업에서는 더 효율적이지만 다른 용도로는 쓸 수 없다는 게 트레이드오프예요. 이 회사들이 왜 그 비용을 부담하는지는 2편에서 다뤄요.
학습과 추론은 다른 문제예요
AI 경제학에 관한 혼란스러운 주장 대부분은 이 둘을 구분하면 깔끔해져요.
학습은 모델을 만드는 거예요. 엄청난 양의 텍스트, 이미지, 또는 다른 데이터를 가져다가 방대한 파라미터를 가진 네트워크에 통과시키고, 출력값을 정답과 비교해서 모든 파라미터를 오차가 줄어드는 방향으로 조금씩 조정해요. 그러고는 같은 걸 반복하고, 또 반복하고, 엄청나게 많은 칩을 오랜 시간 계속 돌려요. 학습은 크고 집약적인 일회성 비용이에요. 데이터센터 캠퍼스 하나가 중소 도시만큼 전력을 쓴다고 할 때, 바로 이걸 두고 하는 말이에요.
추론은 완성된 모델을 사용하는 거예요. 질문을 보내면, 모델이 파라미터를 읽고 산수를 해서 답을 내놓아요. 추론 한 번은 학습에 비해 규모가 아주 작아요. 하지만 제품을 사용하는 사람이 있을 때마다 일어나요. 지금은 하루에 수십억 번이에요.
업계는 2023년과 2024년을 학습 수요 중심으로 보냈어요. 이제 무게 중심이 추론 쪽으로 이동하고 있어요. 모델이 한번 완성되고 나면 서비스 비용이 끊이질 않기 때문이에요. 이 변화는 상업적으로 중요해요. 추론은 효율성과 낮은 답변당 비용이 경쟁력이에요. 순수 학습 성능 경쟁과는 다른 게임이에요. 6편에서 다룰 두 한국 스타트업을 포함해 전문 칩 설계사들이 파고드는 틈이에요.
메모리 장벽, 이게 핵심이에요
대부분의 설명이 건너뛰는 부분이 있어요. 한국이 왜 중요한지를 이게 설명해요.
AI 칩의 한계가 계산 속도일 거라고 생각하기 쉬워요. 대개는 그렇지 않아요. 프로세서는 시스템의 나머지 부분이 숫자를 공급하는 속도보다 훨씬 빠르게 연산할 수 있어요. 공급이 너무 느리면 비싼 프로세서가 기다리며 놀아요. 엔지니어들은 이걸 메모리 장벽이라고 불러요.
이유는 물리적이에요. AI 모델의 파라미터는 어딘가에 저장돼야 하는데, 너무 많아서 프로세서 내부에 다 넣을 수 없어요. 그래서 근처 메모리 칩에 있고, 모든 연산에서 연결을 통해 가져와야 해요. 그 연결은 폭도, 속도도 정해져 있어요. 초당 얼마나 많은 데이터를 옮길 수 있는지를 대역폭이라고 해요. 대역폭이 먼저 바닥나요.
딱 맞는 비유가 있어요. 프로세서는 놀랍도록 빠른 요리사이고, 메모리 대역폭은 주방 문의 폭이에요. 더 빠른 요리사를 고용해봤자, 재료가 한 번에 하나씩밖에 못 들어오면 소용없어요.
그래서 메모리가 더 이상 평범한 범용품이 아니게 됐어요. 수십 년간 메모리 칩은 주로 기가바이트당 가격으로 경쟁했어요. 공급 과잉과 부족이 반복되는 냉혹한 사이클이었어요. AI가 질문을 바꿨어요. "얼마나 많이 저장할 수 있어?"에서 "얼마나 빠르게 전달할 수 있어?"로요. 두 번째 질문에 답할 수 있었던 회사들은 훨씬 대체하기 어려운 걸 팔게 됐어요.
HBM이 정확히 뭔가요
메모리 장벽에 대한 업계의 답이 고대역폭 메모리, 즉 HBM이에요. 세 가지 아이디어를 문자 그대로, 그리고 비유적으로 쌓아올린 거예요.
수직으로 쌓기. 메모리 칩을 나란히 배치하는 대신, 탑처럼 위로 쌓아요. 12개 이상의 층으로요.
직접 뚫기. 실리콘을 직접 뚫은 수천 개의 수직 채널(비아)로 층과 층을 연결해요. 신호를 가장자리로 돌려 보내는 것보다 훨씬 넓은 데이터 통로가 생겨요.
옆에 배치하기. 완성된 스택을 프로세서와 같은 패키지에, 수 밀리미터 거리에 올려놓아요. 수 센티미터 대신요. 신호를 주고받는 공유 베이스 층 위에요.
결과는 일반 메모리보다 몇 배나 넓은 데이터 통로예요. 단점은 제조가 정말 어렵다는 거예요. 종이처럼 얇은 실리콘 층들을 미세한 정렬 공차로 접합해야 해요. 층 하나가 잘못되면 전체 스택이 망가지더라고요. 수율이 낮고 가격은 일반 메모리보다 훨씬 비싸거든요.
규모 있게 HBM을 만드는 회사는 SK하이닉스, 삼성, 마이크론 세 곳뿐이에요. 그 중 둘이 한국이에요. 2026년 1분기 기준으로 카운터포인트 리서치는 SK하이닉스의 HBM 시장 점유율을 58%, 삼성과 마이크론이 각각 21%로 집계했어요. 이 수치 하나가 한국이 AI 붐의 방관자가 아닌 이유를 대부분 설명해요.
칩에서 데이터센터까지
용어 하나를 더 정리해두면 좋아요. 규모가 커질수록 사람들이 헷갈리기 시작하거든요. 안에서 바깥으로 나가봐요.
다이는 웨이퍼에서 잘라낸 실리콘 조각 자체예요.
패키지는 다이에 HBM 스택을 올리고, 두 사이를 연결하는 베이스 위에 함께 밀봉한 것이에요. 사람들이 '칩'이라고 할 때 보통 이걸 말해요. 이 조립 과정을 첨단 패키징이라고 하는데, 그 자체로도 병목이에요. 3편에서 다뤄요.
보드와 서버는 CPU, 스토리지, 전원 공급, 냉각 장치와 함께 여러 패키지를 하나의 케이스에 담아요. 랙에 슬라이드해 넣어요.
랙은 서버 여러 대를 하나의 거대한 프로세서처럼 작동하도록 촘촘하게 연결한 캐비닛이에요. AI 하드웨어가 일반 컴퓨팅과 달라지는 지점이에요. 최신 세대 AI 랙은 100킬로와트를 훌쩍 넘게 소비해요. 장롱 크기의 캐비닛에 소형 아파트 단지보다 많은 전력이 집중되는 거예요. 공기로는 그 열을 감당할 수 없어서, 칩에 직접 액체를 흘려 냉각해요.
클러스터는 수천 개의 랙을 초고속 전용 네트워크로 연결한 것이에요. 대형 모델을 학습하려면 모든 칩이 계속해서 결과를 주고받아야 하니까요. 여기서 네트워크는 배관이 아니에요. 컴퓨터의 일부예요. 그게 왜 네트워크 칩이 큰 사업이 됐는지는 2편에서 설명해요.
데이터센터는 건물, 전력 공급 시설, 냉각 설비, 수자원이에요. 요즘 업계는 이것들을 면적이나 서버 수가 아닌 전기 용량(기가와트)으로 측정해요. 그게 진짜 제약이 뭔지를 말해줘요. 4편이 그 제약에 관한 거예요.
왜 이렇게 큰돈이 쏟아지는 건가요
규모를 숫자로 보면: 엔비디아는 2026년 4월에 끝난 단일 분기에 데이터센터 매출로 752억 달러를 기록했어요. 전년 동기 대비 92% 증가예요. 한 회사, 제품 라인 하나, 3개월이에요.
이 숫자가 존재하는 건, 미국 4대 클라우드 기업이 집단적으로 평시에는 유례를 찾기 어려운 규모로 지출하고 있기 때문이에요. 그 칩 하나하나에 메모리, 패키징, 네트워킹, 건물, 전력 연결이 필요하잖아요. 이 체인의 각 층에는 자체 선두 주자, 자체 경제학, 자체 병목이 있어요.
2편은 이 체인 전체를 층별로 지도로 그리고, 각 층을 이끄는 곳이 어디인지 이름을 붙여요.