AI 2라운드, 서버를 벗어나다

2026년 현재 인공지능(AI)은 이제 우리의 일상 깊숙한 곳까지 들어왔어요. 메신저에서 대화를 요약하고, 해외 사이트를 번역해 읽고, 사진 한 장을 몇 초 만에 보정하는 등 우리는 이미 하루에도 몇 번씩 AI를 사용하고 있어요.그런데 이 AI는 어디에서 돌아가고 있을까요.

지금까지 AI 계산은 대부분 데이터센터에서 이뤄졌어요. 챗봇에 질문을 입력하면, 그 데이터는 수천 대의 그래픽처리장치(GPU)가 탑재된 서버로 전송되고, 계산이 끝난 답변만 다시 우리의 컴퓨터 화면에 표시되는 구조였어요.이렇게 형성된 데이터센터 중심 AI 반도체 시장은 2025년 기준 100조 원을 훌쩍 넘기는 규모로 평가되고 있어요.

그리고 데이터센터는 여전히 AI의 중심이에요. 규모가 큰 AI 모델을 학습하고, 복잡한 계산을 처리하는 역할은 지금도 서버가 맡고 있어요.다만 모든 기능을 서버에만 맡기기에는 한계가 있어요. 데이터가 오가는 데 시간이 걸리고, 연산이 늘어날수록 전력 사용량과 비용도 함께 증가해요. 개인정보를 서버 외부로 보내야 한다는 점도 신경 쓰이는 부분이고요.

그래서 최근에는 AI 기능을 기기 안에서 직접 처리하려는 움직임이 확대되고 있어요. 오늘의 디깅에서는 이 변화가 어디까지 진행됐는지, 그리고 한국은 이 흐름 속에서 어떤 위치에 서 있는지 차근히 정리해볼게요.

온디바이스 AI란?
‘온디바이스 AI(On-Device AI)’는 말 그대로 ‘기기 안에서 돌아가는’ AI예요. 지금까지 많은 AI 기능은 데이터센터 서버에 연결돼 있어야 작동했어요. 질문을 보내고 답을 받아오는 방식이었죠. 반면 온디바이스 AI는 스마트폰이나 자동차, 로봇 같은 기기 안에서 직접 계산을 처리해요.

이용자 개별 사용 데이터 외부 서버로의 이동 없는 온디바이스 AI. /자료=삼정KPMG 경제연구원

예를 들어 스마트폰에서 음성을 바로 텍스트로 바꾸거나, 사진 속 인물을 실시간으로 보정하거나, 번역을 수행하는 등 기능은 점점 기기 내부에서 실행되고 있어요. 데이터를 멀리 보내지 않고 그 자리에서 바로 계산하는 방식이에요.온디바이스 AI의 가장 큰 특징은 서버를 거치지 않는다는 점이에요. 데이터를 외부로 보내지 않기 때문에 반응 속도가 빠르고, 인터넷이 불안정한 환경에서도 일부 기능을 사용할 수 있어요.그리고 이런 변화를 가능하게 하는 핵심이 바로 AI 연산에 특화된 전용 반도체예요. 이를 ‘NPU’라고 부르는데, 조금 더 자세히 살펴볼게요.

CPU, GPU, NPU 렛츠고
NPU를 이해하려면 먼저 지금까지 AI 연산을 담당해 온 CPU와 GPU가 어떤 역할을 해왔는지부터 살펴볼 필요가 있어요.CPU(중앙처리장치)는 컴퓨터의 ‘기본 엔진’이에요. 다양한 작업을 두루 처리하는 범용 칩이에요. 문서 작업, 웹브라우징, 운영체제 구동처럼 여러 명령을 순차적으로 처리하는 데 최적화돼 있어요.GPU(그래픽처리장치)는 원래 그래픽을 빠르게 그리기 위해 등장했어요.

대신 한 번에 많은 계산을 동시에 처리하는 데 강해요. 이 ‘병렬 처리 능력’ 덕분에 대규모 AI 모델을 학습시키는 데 활용되기 시작했고 오늘날 데이터센터 AI의 핵심이 됐어요.

하지만 CPU는 AI 연산에 특화돼 있지 않고요. GPU는 전력 소모가 크고 규모가 커요. 스마트폰이나 자동차처럼 전력과 공간이 제한된 환경에서는 그대로 쓰기 어려워요. 여기서 등장한 것이 NPU예요.

NPU는 ‘Neural Processing Unit(신경망 처리 장치)’의 약자로, AI 연산에 특화된 전용 반도체예요.

CPU, GPU, NPU의 연산 구조를 단순화한 개념도. NPU는 연산 유닛(회색 블록, 데이터를 실제로 계산하는 하드웨어 블록)들이 촘촘히 연결된 구조를 띤다. 신경망처럼 다층적으로 연결된 경로를 따라 데이터가 흐르도록 설계돼 있으며, 딥러닝의 추론과 학습 연산에 최적화돼 있다.

반복 계산에 최적화된 칩, NPU
NPU가 중요한 이유는 AI가 하는 계산의 성격 때문이에요. 겉으로 보면 AI가 문장을 이해하고, 사진을 인식하고, 음성을 분석하는 것처럼 보이지만 실제로는 수천만 번 이상의 곱셈과 덧셈이 반복된 숫자 계산의 결과예요.AI의 핵심 계산은 대부분 ‘인공신경망(Neural Network)’ 구조에서 이뤄져요.

각 단계에서 숫자를 계산해 다음 단계로 넘기고, 이 과정이 쌓이면서 점점 더 복잡한 판단이 가능해져요. 그리고 이 ‘단순하지만 반복이 많은 계산 구조’에 맞춰 설계된 칩이 바로 NPU예요. 서버에 있는 거대한 GPU가 하던 계산을 그대로 옮긴 것이 아니라, AI에 꼭 필요한 반복 연산만 빠르게 처리하도록 회로를 단순화한 구조예요.

불필요한 기능은 줄이고, 행렬 곱셈 같은 핵심 연산 경로만 강화했어요.예를 들어 아이폰에서 사진을 찍는 순간 인물과 배경을 구분해 보정하거나, 음성을 실시간으로 텍스트로 바꾸고, 얼굴을 인식해 잠금을 해제하는 작업에 NPU가 쓰여요. 자동차에서는 차선 인식, 보행자 감지, 운전자 상태 모니터링처럼 수많은 센서 데이터를 동시에 분석하는 데 활용돼요. 모두 ‘빠른 반복 계산’이 핵심인 작업이에요.

이렇게 설계하면 같은 AI 추론 작업을 수행해도 전력 소모를 크게 줄일 수 있고, 발열과 칩 크기도 낮출 수 있어요. 그래서 스마트폰이나 자동차처럼 전력과 공간이 제한된 환경에서도 일부 AI 기능을 직접 실행할 수 있게 된 거예요.

온디바이스 AI의 창창한 미래?
그렇다면 온디바이스 AI 시장은 얼마나 커질 수 있을까요.이미 데이터센터 중심 AI 반도체 시장은 2025년 기준 1000억 달러(약 140조 원) 규모로 평가되고 있어요. 하지만 AI가 탑재될 ‘기기’의 수는 서버보다 훨씬 많잖아요. 글로벌 스마트폰 출하량은 연간 약 12억 대 수준이고, 자동차 생산량은 약 9000만 대에 달해요.

여기에 노트북, 태블릿, 산업용 로봇, CCTV, 스마트 가전, 각종 사물인터넷(IoT) 기기까지 더하면 AI가 들어갈 수 있는 디바이스 수는 쉽게 수십억 대에 이를 수 있어요.이 많은 기기들이 단순한 전자제품이 아니라, 실시간 판단과 분석을 수행하는 연산 장치로 바뀌고 있다는 점도 중요해요. AI가 부가 기능이 아니라 기본 기능으로 자리 잡고 있는 거죠.이러한 변화는 수요로 이어지고 있어요.

NPU 등을 포함한 글로벌 온디바이스 AI 반도체 시장은 2024년 약 173억 달러(약 24조 원) 수준에서 2030년 약 1033억 달러(약 145조 원)까지 확대될 수 있다는 전망이 나와요. 올해부터는 클라우드와 데이터센터용 AI 반도체 시장 증가율도 추월할 것이라는 예상이 나오고 있어요.

자료=마켓어스

이미 움직인 글로벌 기업들
글로벌 반도체 기업들도 이미 기기 안에서 AI를 실행하는 기술에 적극적으로 투자하고 있어요.
엔비디아와 AMD는 데이터센터 중심 AI 기술을 기반으로 하되, PC 등에서도 AI 연산을 직접 수행할 수 있도록 GPU 기능을 강화하고 있어요.인텔과 퀄컴은 조금 더 직접적인 전략을 택했어요.

CPU·GPU와 함께 NPU를 통합한 구조를 내세워 ‘AI PC’와 프리미엄 스마트폰 시장을 공략하고 있어요. AI PC는 일부 AI 기능을 기기 안에서 직접 실행하도록 설계된 차세대 개인용 컴퓨터를 의미해요.

퀄컴의 스마트폰용 프로세서 ‘스냅드래곤’, AMD의 ‘라이젠 AI’, 인텔의 AI PC 플랫폼처럼 CPU·GPU와 함께 NPU를 내장하는 구조가 빠르게 확산되고 있어요.

온디바이스 AI가 더 이상 실험 단계가 아니라 스마트폰과 PC의 기본 하드웨어 구성 요소로 자리 잡아가고 있는 거예요.

2024년 공개된 퀄컴의 ‘스냅드래곤 X Elite’ 프로세서. CPU·GPU와 함께 AI 연산용 NPU를 통합해 노트북에서 AI 기능을 직접 실행할 수 있도록 설계됐다. /사진=퀄컴

한국의 상황은?
국내에서도 AI 반도체 설계 기업들이 빠르게 존재감을 키우고 있어요.
흔히 ‘빅테크’로 불리는 거대 정보기술(IT) 기업들처럼 초대형 서버용 GPU 경쟁의 중심에 서 있지는 않지만, 스마트폰과 자동차처럼 기기 안에서 실행되는 AI 연산에 맞춘 기술을 발전시키고 있어요.

퓨리오사AI는 NPU 설계에 집중하는 팹리스 기업으로, 고성능·저전력 AI 추론 칩 개발에 주력하고 있어요. 리벨리온은 자체 AI 칩을 출시해 금융·통신·데이터센터 분야를 공략하고 있어요.

딥엑스는 로봇·드론·CCTV처럼 전력 제약이 큰 환경에 맞춘 초저전력 AI 반도체를 개발하고 있어요. 노타는 AI 모델을 가볍게 줄이고 기기 환경에 맞게 최적화하는 소프트웨어 기술을 개발하고 있어요.국내 대기업들도 완제품 시장을 기반으로 온디바이스 AI 반도체 경쟁력을 강화하고 있어요.

삼성전자는 스마트폰의 두뇌 역할을 하는 AP(Application Processor)를 설계·생산하며, 여기에 NPU를 확대 적용해 온디바이스 AI 기능을 강화하고 있어요.

K-온디바이스 AI 살리려는 정부
이런 흐름 속에서 정부도 움직이기 시작했어요.

지난 11일 산업통상부는 향후 5년간 1조 원을 투입해 ‘K-온디바이스 AI 반도체’ 공동개발 사업을 추진하겠다고 밝혔어요.

여기에 2조 원 규모의 반도체 전용 예산, 4조 5000억 원 규모 상생 파운드리(위탁 생산) 구축도 함께 검토되고 있어요.국내 기업들은 기술을 개발해도 실제 제품 탑재와 양산으로 이어지지 못하는 ‘단절 구간’을 겪어왔어요. 설계는 가능하지만, 수요 확보와 생산 단계에서 막히는 경우가 많았던 거죠. 그래서 정부는 연구개발(R&D)에서 끝내지 않고, 실증 → 양산 → 시장 확산까지 이어지는 구조를 만들겠다는 거예요.자율주행차·스마트가전·로봇 같은 제조 기업과 설계 회사가 컨소시엄(연합체)을 구성해 국산 AI 칩을 실제 제품에 탑재하도록 지원하고, 공공 부문에서도 국산 NPU 활용을 확대하겠다는 계획이에요.

실제 시장에서 쓰이는 국산 AI 칩을 만들겠다는 전략이죠.서버에서 손안으로, AI 2라운드
AI 경쟁은 지금까지 데이터센터 안에서 벌어져 왔어요. 누가 더 많은 GPU를 확보하느냐, 누가 더 큰 모델을 학습시키느냐가 승부의 기준이었죠.

이제 AI 연산은 데이터센터를 넘어, 우리가 쓰는 기기 안으로 확장되는 중이에요.스마트폰, 자동차, 공장 설비처럼 우리가 매일 접하는 장치들이 스스로 판단하고 계산하는 구조로 바뀌고 있어요. 서버 중심 1라운드가 있었다면, 이제는 기기 안에서 실행되는 AI 2라운드가 시작되고 있어요.초대형 AI 모델 플랫폼과 서버용 GPU 설계 경쟁에서는 선두 그룹이 아니었던 한국이, 메모리와 전력 효율 기반 설계·제조 역량을 바탕으로 이 2라운드에서 새로운 기회를 만들 수 있을지 주목할 필요가 있어 보여요.

3줄 요약

지금까지 AI는 데이터센터 GPU가 중심이었지만, 이제는 스마트폰·자동차 같은 기기 안에서 직접 실행되는 ‘온디바이스 AI’가 확산되고 있음.

이를 가능하게 하는 핵심이 AI 반복 연산에 특화된 NPU로, 전력 효율을 높여 기기 내부에서도 빠른 추론이 가능해졌음.

서버 중심 1라운드에 이어 ‘기기 안 AI’ 2라운드가 시작됐고, 한국은 메모리·저전력 설계 역량을 기반으로 새로운 기회를 모색하고 있음.