온디바이스 AI 반도체란 무엇인가, NPU와 TOPS 숫자 뒤에 숨은 메모리 대역폭의 비밀
80억 개 파라미터짜리 AI 모델을 스마트폰에서 돌리면 초당 몇 글자나 나올까요? 계산해보면 약 19토큰입니다. NPU 성능을 두 배로 올려도 이 숫자는 거의 바뀌지 않습니다.
온디바이스 AI 반도체를 이야기할 때 대부분 "몇 TOPS냐"부터 묻습니다. 하지만 기기 안에서 AI가 얼마나 빠르게 돌아가는지는 TOPS가 아니라 데이터를 얼마나 빨리 읽어오느냐로 갈립니다.
온디바이스 AI 반도체가 무엇인지부터, TOPS 숫자의 함정, 2026년 10월 기준 최신 동향까지 회로 설계자의 눈으로 정리했습니다.
온디바이스 AI란, AI가 기기 안으로 들어온다
온디바이스 AI(On-Device AI)는 클라우드 서버를 거치지 않고 스마트폰, PC, 자동차 같은 기기 자체에서 AI 연산을 처리하는 기술입니다. 쉽게 말해 챗GPT에 질문을 보내고 서버가 답을 돌려주는 방식이 클라우드 AI라면, 비행기 모드에서도 번역이 되는 방식이 온디바이스 AI입니다.
이게 왜 중요할까요? 데이터를 서버로 보내지 않으니 민감한 정보가 기기 밖으로 나가지 않고, 네트워크를 오가는 지연이 없어 반응이 빠르며, 인터넷이 끊겨도 동작합니다. 대신 한정된 배터리와 작은 방열 공간 안에서 연산과 메모리를 모두 해결해야 한다는 숙제가 따라옵니다.
| 구분 | 클라우드 AI | 온디바이스 AI |
| 연산 위치 | 데이터센터 GPU·HBM 서버 | 기기 안 SoC의 NPU·LPDDR |
| 응답 지연 | 네트워크 왕복 포함 | 네트워크 지연 없음 |
| 개인정보 | 서버로 전송 | 기기 안에서 처리 |
| 오프라인 | 불가 | 가능 |
| 모델 크기 | 제약 거의 없음 | 메모리·전력에 묶여 소형 모델 중심 |
| 핵심 제약 | 서버 비용·전력 | 배터리, 발열, 메모리 대역폭 |
온디바이스 AI는 AI 연산을 서버가 아닌 기기 안에서 처리하는 방식입니다. 개인정보, 지연, 오프라인 동작에서 유리하지만 배터리·발열·메모리라는 하드웨어 제약을 넘어야 합니다.
온디바이스 AI 반도체의 구성, SoC 안의 NPU
온디바이스 AI 반도체는 새로운 종류의 칩이라기보다, 스마트폰이나 PC의 두뇌인 SoC(System on Chip) 안에 AI 전용 연산 장치를 넣은 구성이라고 보는 게 정확합니다. 삼성전자의 엑시노스 2600은 CPU, NPU, GPU를 하나의 칩에 통합한 SoC이고, 생성형 AI 성능을 전작 엑시노스 2500보다 113% 높인 NPU를 앞세웠습니다(출처: 한국경제, 삼성전자 엑시노스 2600 공개).
NPU(Neural Processing Unit, 신경망처리장치)란 쉽게 말해 곱하고 더하는 연산(행렬 곱셈)을 한꺼번에 대량으로 처리하는 AI 연산 전문 회로입니다. CPU가 만능 사무직이고 GPU가 대량 병렬 작업에 능한 공장 라인이라면, NPU는 AI 연산 하나에 극도로 특화되어 같은 일을 훨씬 적은 전력으로 해냅니다. 퀄컴의 헥사곤 NPU는 스칼라·벡터·텐서 연산 유닛으로 이뤄져 있고, 차세대에서는 여기에 엘리먼트 가속기라는 전용 유닛을 더했습니다.
여기에 빠질 수 없는 세 번째 주인공이 메모리입니다. 스마트폰과 PC의 NPU는 모델 가중치를 LPDDR이라는 저전력 D램에서 읽어오고, 이 LPDDR이 얼마나 빠르냐가 AI 속도를 좌우합니다. 뒤에서 이 이야기를 자세히 풀겠습니다.
정리하면 — 온디바이스 AI 반도체는 CPU·GPU·NPU가 한 칩에 통합된 SoC와 그 옆의 LPDDR 메모리가 한 팀으로 일하는 구조입니다. NPU는 AI 연산을 저전력으로 처리하는 전담 회로입니다.
TOPS의 함정, 숫자를 읽는 법
TOPS(Tera Operations Per Second)는 초당 1조 번의 연산을 뜻하는 단위로, 45TOPS면 초당 45조 번 연산이 가능하다는 뜻입니다. NPU 성능 비교의 기본 지표로 쓰이고, 마이크로소프트는 Copilot+ PC의 조건으로 NPU 40TOPS 이상, 메모리 16GB, 저장장치 256GB를 요구합니다(출처: ITdaily, Windows 11 Copilot+ PC 요구사양).
그런데 이 숫자에는 조건이 숨어 있습니다. 첫째, 대부분 INT8(8비트 정수) 연산 기준입니다. 퀄컴이 스냅드래곤 X2의 NPU를 80TOPS라고 소개할 때도 INT8 기준이고, 이는 AMD와 인텔 노트북 NPU의 50~55TOPS보다 높다는 비교였습니다.
둘째, 희소성(Sparsity) 가정이 들어갈 수 있습니다. 엔비디아 Jetson Orin Nano Super는 67TOPS로 광고되지만 이건 희소 INT8 기준이고, 일반(dense) 기준으로는 33TOPS입니다(출처: CNX Software, Jetson Orin Nano Super 사양). 같은 칩인데 숫자가 두 배 차이 나는 셈입니다. 이 보드는 7W, 15W, 25W 전력 모드를 지원하는데, 25W 기준으로 계산하면 희소 기준 약 2.7TOPS/W, 일반 기준 약 1.3TOPS/W입니다.
| 제품·기준 | NPU 표기 성능 | 읽을 때 주의할 점 |
| Apple A11 Neural Engine(2017) | 0.6TOPS(초당 6000억 연산) | 스마트폰 NPU 초기 세대 |
| Copilot+ PC 최소 기준 | 40TOPS 이상 | NPU 단독 기준, RAM 16GB 이상 동반 요구 |
| 스냅드래곤 X Elite | 45TOPS | Copilot+ 기준 충족 |
| 스냅드래곤 X2 | 80TOPS(INT8) | 타사 50~55TOPS와 비교한 수치 |
| Jetson Orin Nano Super | 67TOPS(희소) / 33TOPS(일반) | 희소 가정이 포함된 숫자, 전력 7~25W |
TOPS는 초당 1조 번 연산 단위이며 대부분 INT8 기준이고, 희소 가정 여부에 따라 같은 칩도 두 배씩 달라 보입니다. 숫자를 볼 때는 정밀도와 희소성 조건을 먼저 확인해야 합니다.
진짜 병목은 메모리 대역폭, 토큰 속도의 상한 계산
AI 모델이 글자를 한 개씩 만들어내는 단계를 디코드라고 부르는데, 이 단계에서는 토큰 하나를 만들 때마다 모델 가중치 전체를 메모리에서 한 번씩 읽어야 합니다. 그래서 단일 사용자 기준 속도의 상한은 간단하게 메모리 대역폭을 모델 크기로 나눈 값입니다. 최근 논문은 이 첫 근사식을 제시하면서, 80억 파라미터 모델을 INT4로 줄여 약 77GB/s의 LPDDR5X에서 돌리면 상한이 대략 초당 19토큰이라고 계산하고, 온디바이스 생성 속도를 정하는 건 NPU의 TOPS가 아니라 LPDDR 대역폭이라고 짚습니다(출처: arXiv, AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall).
반대로 입력을 한꺼번에 읽는 프리필 단계는 연산이 병목이라 TOPS가 효과를 발휘합니다. 온디바이스 LLM을 루프라인(Roofline) 방식으로 분석한 연구도 프리필은 연산이 병목이고 디코드는 메모리 대역폭이 병목이라고 설명합니다(출처: arXiv, RooflineBench: On-Device LLM Roofline Analysis). TOPS가 쓸모없다는 게 아니라, 체감 속도의 상당 부분인 글자 생성 속도는 메모리가 정한다는 뜻입니다.
직접 계산해보겠습니다. 스마트폰 LPDDR5X는 보통 64비트 폭으로 구성된다고 가정하면, 핀당 9.6Gbps일 때 대역폭은 9.6×64÷8=76.8GB/s, 10.7Gbps일 때 85.6GB/s입니다.
| 모델(가중치 크기) | 메모리 대역폭 | 토큰 생성 이론 상한 |
| 7B, FP16(14GB) | 76.8GB/s (LPDDR5X 9.6Gbps) | 약 5.5토큰/초 |
| 7B, INT4(3.5GB) | 76.8GB/s | 약 21.9토큰/초 |
| 8B, INT4(4GB) | 약 77GB/s | 약 19토큰/초(논문 값) |
| 8B, INT4(4GB) | 102GB/s (Jetson Orin Nano Super) | 약 25.5토큰/초 |
같은 7B 모델이 FP16에서는 초당 5.5토큰인데 INT4로 줄이면 21.9토큰까지 올라갑니다. 모델을 4분의 1로 줄이는 양자화가 NPU 성능을 4배 올리는 것과 같은 효과를 내는 이유입니다. 이론 상한이라 실제 속도는 KV 캐시 읽기, 연산 오버헤드 때문에 이보다 낮습니다. 참고로 앞서 다룬 HBM4의 스택당 3.3TB/s는 이 LPDDR의 약 43배입니다. 같은 AI라도 서버와 스마트폰이 풀어야 하는 병목이 이렇게 다른 규모입니다.
글자를 생성하는 디코드 단계의 속도 상한은 메모리 대역폭 ÷ 모델 크기입니다. 그래서 양자화로 모델을 줄이거나 메모리를 빠르게 하는 것이 NPU TOPS를 올리는 것보다 체감 속도에 직접적입니다.
2026년 10월 최신 동향, 메모리를 NPU 가까이로
최근 발표된 칩들은 이 메모리 병목을 정면으로 겨냥합니다. 퀄컴은 2026년 9월 차세대 헥사곤 NPU의 공유 메모리를 스냅드래곤 8 엘리트 5세대의 NPU보다 50% 늘렸다고 밝혔습니다. 모델 상태, 컨텍스트, KV 캐시 데이터를 가속기 가까이에 더 많이 두는 것이 핵심이라는 설명입니다(출처: HotHardware, Qualcomm NPU Upgrade).
이어진 스냅드래곤 서밋 2026에서 퀄컴은 스냅드래곤 8 엘리트 Gen 6와 8 엘리트 익스트림 Gen 6를 공개했고, 헥사곤 NPU가 300억 개 이상 파라미터의 전문가 혼합(MoE) 모델을 돌릴 수 있으며 이전 세대 대비 최대 35% 빠르고 전력당 성능이 33% 좋아졌다고 밝혔습니다(출처: ABI Research, Snapdragon Summit 2026). MoE란 쉽게 말해 모델 전체를 매번 쓰지 않고 작업에 맞는 전문가 일부만 켜서 연산량과 메모리 읽기량을 줄이는 구조입니다. 앞서 본 토큰 속도 공식에서 읽어야 하는 바이트 수를 줄이는 방향입니다.
| 시점 | 소식 |
| 2025년 12월 | 삼성 엑시노스 2600 공개: 2나노 GAA, NPU 생성형 AI 성능 전작 대비 113% 향상, 열저항 최대 16% 감소(HPB) |
| 2026년 1월(CES) | 퀄컴 스냅드래곤 X2 Plus: 80TOPS NPU, 에이전트형 AI PC 지향 |
| 2026년 9월 | 퀄컴 헥사곤 NPU 차세대: 공유 메모리 50% 확대, 30B급 MoE 모델 구동, 스냅드래곤 8 엘리트 Gen 6 공개 |
시장 전망도 같은 방향입니다. 가트너는 생성형 AI 스마트폰 출하량이 2026년에 전년보다 51% 늘고, 2027년이면 40TOPS 이상의 온디바이스 NPU가 프리미엄 생성형 AI 스마트폰의 표준이 되며, 2029년에는 프리미엄 스마트폰 100%가 생성형 AI 기능을 갖출 것으로 전망했습니다(출처: CIO Korea, 가트너 생성형 AI 스마트폰 전망).
다만 퀄컴이 밝힌 프리필 성능 50% 향상 같은 수치는 INT4 모델 조건이라는 점이 함께 붙어 있어, 전체 AI 성능이 50% 늘었다는 뜻으로 읽으면 안 된다는 지적도 나옵니다. 앞서 본 TOPS의 함정이 마케팅 수치 전반에 똑같이 적용된다는 이야기입니다.
TOPS 숫자만 보고 고른 보드, 케이스 안에서 느려진 이유
저도 처음에는 TOPS 숫자로 보드를 골랐습니다. 비전 검사 설비에 엣지 AI 보드를 넣어야 했고, 후보 중 TOPS가 가장 높은 모델을 데모 환경에서 가장 높은 전력 모드로 돌려보니 목표한 처리 시간이 충분히 나왔습니다.
그런데 설비 케이스에 넣고 장시간 가동하자 처리 시간이 슬금슬금 늘어났습니다. 정지 시험에서는 충분했던 여유가 한 시간쯤 지나면 검사 택타임을 위협하는 수준까지 줄어들었습니다.
원인은 연산이 아니라 열이었습니다. 케이스 안 공기 온도가 오르면서 칩이 스스로 속도를 낮추는 열 제한이 걸린 겁니다. TR 시리즈 9편에서 접합 온도를 Tj = Ta + P × ΣRθ로 계산했던 것과 같은 이야기입니다. 예를 들어 소비 전력 20W, 케이스 안 주변 온도 45℃, 접합부에서 공기까지 열저항 합이 2.0℃/W라면 접합 온도는 45+20×2.0=85℃입니다. 데모 때는 주변이 25℃ 안팎이었으니 같은 칩이 전혀 다른 온도를 겪은 셈입니다.
해결은 두 가지였습니다. 방열판과 팬 경로를 다시 잡아 열저항을 낮췄고, 가장 높은 전력 모드 대신 한 단계 낮은 모드를 기준으로 모델을 INT8로 양자화해서 지속적으로 낼 수 있는 성능에 설계를 맞췄습니다. 그날 이후 저는 AI 보드를 고를 때 최대 성능이 아니라 케이스 안에서 오래 버틸 때의 지속 성능을 기준으로 봅니다. 지속 성능은 결국 TOPS, 메모리 대역폭, 열 중 가장 먼저 한계에 닿는 쪽이 정합니다.
데모에서 나온 최대 성능은 실제 케이스 안에서 유지되지 않을 수 있습니다. AI 보드는 TOPS, 메모리 대역폭, 열 중 가장 먼저 닿는 한계가 지속 성능을 정합니다.
온디바이스 AI 칩을 고를 때 확인할 6가지
1. TOPS가 INT8 기준인지, 희소(sparse)인지 일반(dense)인지 조건부터 확인하기
2. 목표 모델의 양자화 후 크기(GB)를 정하고, 메모리 대역폭으로 나눠 토큰 속도 상한을 계산하기
3. 모델 가중치와 KV 캐시, OS까지 합친 필요한 메모리 용량 확인하기
4. 최대 성능이 아니라 케이스 안에서의 지속 성능, 전력 모드, 방열 경로 확인하기
5. 지원하는 연산 정밀도(INT8, INT4, FP8)와 컴파일러·SDK가 내 모델을 받아주는지 확인하기
6. TOPS/W로 전력 효율을 확인하고, 배터리 기기라면 연속 사용 시간 영향까지 보기
참고 링크
스마트폰에 NPU가 처음 들어간 건 생각보다 최근입니다. 2017년 9월 애플은 아이폰 X의 A11 바이오닉에 자사 첫 뉴럴 엔진을 넣었고, 이 2코어 엔진은 초당 6000억 번 연산을 한다고 발표했습니다.
당시 이 엔진의 주된 쓰임은 얼굴 인식(Face ID)과 애니모지였고, 화웨이도 기린 970에 비슷한 NPU를 넣었습니다(출처: InfoQ, Apple's iPhone X Has Custom Neural Engine Processor Built In). 칩 사양 자료는 A11을 기린 970에 이어 NPU를 탑재한 두 번째 모바일 프로세서로 분류합니다(출처: WikiChip, Apple A11). 6000억은 TOPS로 환산하면 0.6입니다. 9년 뒤 PC용 NPU는 80TOPS, 약 133배이고, 가트너가 말한 2027년 프리미엄 스마트폰 40TOPS도 약 67배입니다. 얼굴 하나 알아보던 작은 회로가 이제는 수십억 파라미터짜리 모델을 기기 안에서 돌리는 중심이 됐다는 사실이, 반도체 발전 속도를 가장 직관적으로 보여줍니다.
· 기사 링크: CIO Korea, 가트너 생성형 AI 스마트폰 전망
· 뉴스 링크: ABI Research, Snapdragon Summit 2026
· 학회·단체 링크: MLCommons, AI 성능 벤치마크(MLPerf) 표준 단체
· 논문 링크: arXiv, RooflineBench: On-Device LLM Roofline Analysis
자주 묻는 질문 Q&A
Q1. 온디바이스 AI와 엣지 AI는 같은 말인가요?
비슷하게 쓰이지만 범위가 조금 다릅니다. 온디바이스 AI는 스마트폰이나 PC처럼 기기 자체에서 처리하는 것을 가리키고, 엣지 AI는 공장 게이트웨이나 로컬 서버처럼 데이터가 생기는 현장 가까운 곳 전체를 폭넓게 가리키는 말로 쓰이는 경우가 많습니다.
Q2. NPU가 없는 기기에서는 AI가 안 돌아가나요?
CPU나 GPU로도 돌릴 수 있지만 느리고 전력이 큽니다. 다만 Copilot+ PC처럼 NPU 40TOPS 이상을 조건으로 거는 기능은 조건을 못 채우면 아예 노출되지 않기도 합니다. 반면 클라우드 기반 Copilot은 거의 모든 PC에서 동작합니다.
Q3. TOPS가 높으면 무조건 AI가 빠른가요?
아닙니다. 글자를 생성하는 디코드 단계는 메모리 대역폭이 상한을 정하고, 지속 성능은 열이 정합니다. TOPS는 입력을 읽는 프리필처럼 연산이 병목인 구간에서 효과가 큽니다.
Q4. 온디바이스 AI가 클라우드 AI를 대체하나요?
대체보다는 역할 분담에 가깝습니다. 개인정보와 즉시 반응이 중요한 작업은 기기 안에서, 훨씬 큰 모델이 필요한 작업은 클라우드에서 처리하는 하이브리드 구조가 일반적입니다. 40TOPS급 NPU도 큰 로컬 언어모델을 돌리기엔 아직 부족하다는 지적이 있습니다.
Q5. 온디바이스 AI가 메모리 수요에는 어떤 영향을 주나요?
기기당 필요한 메모리 용량과 속도가 함께 올라갑니다. Copilot+ PC가 최소 RAM 요구를 16GB로 올린 것이 대표적인 사례이고, 모델 가중치와 KV 캐시를 상주시켜야 해서 LPDDR의 용량과 대역폭 경쟁이 앞으로 더 중요해질 전망입니다.
함께 보면 좋은 글
· 아이 다이어그램으로 신호 품질 읽는 법, USB3와 Jetson Nano
· LM1117 리니어 레귤레이터와 TPS54561 스위칭 레귤레이터 비교
결론
오늘 내용을 정리하면, 온디바이스 AI 반도체는 CPU·GPU·NPU가 통합된 SoC와 LPDDR 메모리가 기기 안에서 AI를 직접 돌리는 구조이고, TOPS는 INT8·희소성 같은 조건을 확인해야 읽히는 숫자입니다. 글자 생성 속도의 상한은 메모리 대역폭을 모델 크기로 나눈 값이라서, 양자화와 메모리 설계가 NPU 성능만큼 중요합니다.
제가 케이스 안에서 느려진 AI 보드를 겪으며 배운 것도 같은 이야기입니다. 칩의 최대 성능은 카탈로그에 있고 실제 성능은 케이스 안에서 정해집니다. 온디바이스 AI는 연산, 메모리, 열이라는 세 가지가 한 팀으로 맞물려야 비로소 의미가 있는 기술입니다.
본 글은 필자의 실무 경험과 공개된 자료·언론 보도를 바탕으로 작성한 참고용 정보이며, 특정 기업이나 종목에 대한 투자 권유가 아닙니다. 제품 사양과 시장 전망은 보도 시점 기준이며 이후 달라질 수 있으니, 의사결정 전에는 반드시 제조사 공식 자료와 최신 정보를 직접 확인하시기 바랍니다.