80억 개 파라미터짜리 AI 모델을 스마트폰에서 돌리면 초당 몇 글자나 나올까요? 계산해보면 약 19토큰입니다. NPU 성능을 두 배로 올려도 이 숫자는 거의 바뀌지 않습니다. 온디바이스 AI 반도체를 이야기할 때 대부분 "몇 TOPS냐"부터 묻습니다. 하지만 기기 안에서 AI가 얼마나 빠르게 돌아가는지는 TOPS가 아니라 데이터를 얼마나 빨리 읽어오느냐로 갈립니다. 온디바이스 AI 반도체가 무엇인지부터, TOPS 숫자의 함정, 2026년 10월 기준 최신 동향까지 회로 설계자의 눈으로 정리했습니다. 온디바이스 AI란, AI가 기기 안으로 들어온다 온디바이스 AI(On-Device AI) 는 클라우드 서버를 거치지 않고 스마트폰, PC, 자동차 같은 기기 자체에서 AI 연산을 처리하는 기술입니다. 쉽게 말해 챗GPT에 질문을 보내고 서버가 답을 돌려주는 방식이 클라우드 AI라면, 비행기 모드에서도 번역이 되는 방식이 온디바이스 AI입니다. 이게 왜 중요할까요? 데이터를 서버로 보내지 않으니 민감한 정보가 기기 밖으로 나가지 않고, 네트워크를 오가는 지연이 없어 반응이 빠르며, 인터넷이 끊겨도 동작합니다. 대신 한정된 배터리와 작은 방열 공간 안에서 연산과 메모리를 모두 해결해야 한다는 숙제가 따라옵니다. 구분 클라우드 AI 온디바이스 AI 연산 위치 데이터센터 GPU·HBM 서버 기기 안 SoC의 NPU·LPDDR 응답 지연 네트워크 왕복 포함 네트워크 지연 없음 개인정보 서버로 전송 기기 안에서 처리 오프라인 불가 가능 모델 크기 제약 거의 없음 메모리·전력에 묶여 소형 모델 중심 핵심 제약 서버 비용·전력 배터리, 발열, 메모리 대역폭 한 줄 요약 온디바이스 AI는 AI 연산을 서버가 아닌 기기 안에서 처리하는 방식입니다. 개인정보, 지연, 오프라인 동작에서 유리하지만 배터리·발열·메모리라는 하드웨어 제약을 넘어야 합니다. 온디바이스 AI...