[PEDIEN] '온디바이스 sLLM 추론 이전'은 2026년 반도체·클라우드 업계에서 가장 돈이 걸린 질문으로 떠올랐다.
갤럭시 북6가 최대 50TOPS급 신경망처리장치(NPU)를 달고 나오고, 플래그십 스마트폰 상당수가 소형 거대언어모델(sLLM)을 기기 안에서 직접 돌릴 수 있게 되면서, 그동안 사실상 전량 클라우드 서버로 쏠렸던 추론 연산이 단말 쪽으로 옮겨가는 흐름이 본격화됐다.
시장에서는 이를 두고 "2026년 엣지 AI 워크로드가 45%에 이른다"는 전망이 단골로 인용된다.
그러나 본지가 카운터포인트리서치·가트너·IDC·ABI리서치의 최신 추계를 교차 분석한 결과, 이 '45%'라는 숫자는 성격이 전혀 다른 세 가지 지표를 한 데 뒤섞어 부풀려진 측면이 크다.
기기가 가진 '능력', 실제로 돌아가는 '워크로드', 그리고 '시장 규모'는 서로 다른 축인데, 대중적 논의에서는 이 셋이 하나의 비율처럼 통용되고 있다.
따져 보면 '45%'의 원출처는 추론 워크로드 통계가 아니다.
카운터포인트리서치가 2026년 전 세계 스마트폰 출하량 가운데 생성형 AI 구동이 가능한 모델의 비중을 45%로 전망한 수치(2025년 36%, 2027년 52% 전망)가 변형돼 퍼진 것에 가깝다.
이는 '그런 기능을 탑재한 기기가 얼마나 팔리느냐'일 뿐, '그 기기가 실제로 추론을 기기 안에서 얼마나 처리하느냐'와는 다르다.
본지가 보기에 이 지점이 클라우드 추론 수요와 토큰 매출 잠식 규모를 계량할 때 가장 먼저 걷어내야 할 착시다.
엣지 AI 워크로드 45%란 무엇을 센 숫자인가
먼저 숫자들을 한 줄에 세워 보자.
카운터포인트리서치는 생성형 AI 지원 스마트폰이 2026년 전체 출하의 45%를 차지할 것으로 봤고, 가트너는 같은 해 생성형 AI 스마트폰 출하 대수를 약 5억5,900만 대(2024년 2억6,000만 대, 2025년 3억6,900만 대에서 증가)로 추산했다.
둘 다 '기기 능력'의 보급 속도를 가리킨다.
반면 IDC는 2030년이 되어야 기업용 AI 추론 워크로드의 절반이 엔드포인트나 엣지 노드에서 돌아갈 것으로 전망했다.
가트너의 또 다른 추계는 엣지 AI를 실제 운영에 도입한 기업 비중이 2025년 10%에서 2029년 3분의 2 수준으로 올라간다고 봤다.
여기에 ABI리서치는 엣지 AI 반도체(추론·학습 포함) 시장이 2026년 344억 달러에서 2031년 960억 달러로 커진다는 '금액' 추계를 내놨다.
같은 '엣지 AI'를 말하지만 재는 자가 제각각이다.
하나는 팔린 기기의 사양, 하나는 기업이 실제로 돌리는 추론의 분포, 하나는 도입한 조직의 머릿수, 하나는 칩이 벌어들이는 돈이다.
측정 대상이 다르니 '언제 45%, 50%, 3분의 2에 도달하느냐'도 2026년부터 2030년까지 널뛴다.
본지가 강조하려는 핵심은 단순하다.
'능력 보급'은 이미 2026년에 빠르게 차오르지만, 그것이 곧바로 '워크로드 이전'을 뜻하지는 않는다는 것이다.
NPU를 품은 노트북과 휴대전화가 팔려 나가도, 사용자가 그 기능을 켜고 민감하거나 가벼운 작업을 기기 안에서 처리할 때에야 비로소 클라우드로 가던 토큰 한 묶음이 사라진다.
온디바이스 추론이 클라우드 토큰 매출을 얼마나 잠식하나
그렇다면 실제 잠식 규모는 어느 정도일까.
본지 분석에 따르면, 2026년 시점에서 온디바이스로 넘어가는 것은 '전체 추론'이 아니라 특정 결의 작업이다.
번역, 요약, 문서 초안, 사진 배경 제거, 화면 속 텍스트·이미지 즉시 인식 같은 짧고 반복적이며 프라이버시 민감도가 높은 작업이 먼저 기기로 내려온다.
갤럭시 북6가 내세운 기능들이 정확히 이 범주다.
인텔 코어 울트라 시리즈 3(18A 공정) 기반으로 전작의 13TOPS에서 약 4배 뛴 50TOPS NPU를 달아, 과거 서버로만 가능했던 연산을 인터넷 연결 없이 PC 안에서 실시간으로 처리한다는 것이 삼성 측 설명이다.
국내 일부 IT 제조사는 온디바이스 칩셋 도입 이후 매달 수천만 원대였던 클라우드 응용프로그램인터페이스(API) 호출료와 트래픽 비용을 70% 이상 줄였다고 밝혔다.
그러나 이 70%라는 절감률을 전체 시장에 그대로 투사하면 또 한 번 착시에 빠진다.
그 수치는 '온디바이스로 옮기기에 적합한 특정 워크로드'에 한정된 사내 사례이기 때문이다.
복잡한 추론, 긴 문맥 처리, 최신 정보 검색, 대규모 생성은 여전히 클라우드의 몫이다.
실제로 클라우드 추론 시장 자체는 줄지 않고 오히려 커지는 중이다.
다만 그 크기조차 출처마다 크게 갈린다. 2025년 글로벌 AI 추론 시장 규모만 해도 어떤 기관은 660억 달러대로, 어떤 곳은 1,000억~1,260억 달러로 잡는다.
연평균 성장률 전망도 13%에서 45%까지 벌어진다.
추론이 전체 클라우드 그래픽처리장치(GPU) 지출에서 차지하는 비중을 70~80%로 보는 집계도 있다.
같은 '추론 시장'인데 정의(학습 제외 여부, 하드웨어·소프트웨어 포함 범위, 캡티브 수요 포함 여부)에 따라 수치가 두 배 가까이 벌어지는 것이다.
본지의 결론은 이렇다. 2026년 현재 온디바이스 추론 이전은 클라우드 수요를 '대체'하는 단계가 아니라, 성장하는 전체 추론 파이에서 저부가·고빈도 구간을 '선점'하는 단계다.
토큰 매출 관점에서 보면, 건당 단가가 낮고 물량이 많은 작업이 기기로 빠지면서 클라우드 사업자의 평균 토큰 단가 구성은 오히려 고부가 쪽으로 쏠린다.
전체 토큰 수요 증가율이 디바이스 이전 속도를 웃도는 한, 절대 매출은 당분간 늘지만 '쉬운 토큰'의 마진은 압박받는 구조다.
같은 지표가 출처마다 다른 세 가지 이유
그렇다면 왜 하나의 현상을 두고 숫자가 이렇게 벌어질까.
본지가 자료를 교차 분석한 결과 크게 세 가지 격차가 겹쳐 있다.
첫째는 '세는 대상'의 격차다.
앞서 봤듯 능력(출하 사양)·활성(실제 사용)·워크로드(연산 분포)·시장(금액)은 다른 층위인데, 보도와 마케팅 과정에서 가장 큰 숫자인 '능력 보급률'이 대표값처럼 쓰인다. 2026년 45%는 능력치이고, 실제로 기기에서 처리되는 추론 워크로드 비중은 그보다 훨씬 낮다는 게 본지의 판단이다.
둘째는 '시점과 지역'의 격차다.
IDC의 절반(50%)은 2030년, 가트너의 3분의 2는 2029년 전망이다.
소비자 단말과 기업 인프라, 선진 시장과 신흥 시장의 도입 속도가 다른데도 헤드라인에서는 연도와 대상이 떨어져 나간 채 비율만 돌아다닌다.
여기에 2026년 메모리 공급난으로 전체 스마트폰 출하가 전년 대비 두 자릿수 감소할 것이란 전망까지 겹치면, '비중'은 올라가도 '절대 대수'는 줄어드는 역설이 생긴다.
분모가 흔들리면 같은 45%도 다른 이야기가 된다.
셋째는 '정의'의 격차다.
추론 시장 규모가 660억 달러냐 1,260억 달러냐를 가르는 것은 결국 무엇을 추론으로 셀지의 합의가 없기 때문이다.
온디바이스 AI 시장을 별도로 집계한 추계(2025년 약 108억 달러, 2026년 약 136억 달러)와 엣지 AI 반도체 시장 추계(2026년 344억 달러)가 세 배 가까이 차이 나는 것도 같은 이유다.
전자는 소프트웨어·서비스를 좁게 잡고, 후자는 칩셋 물량을 넓게 잡는다.
독자가 숫자를 인용할 때 '어느 기관이, 무엇을, 언제, 어느 지역에서' 쟀는지를 확인해야 하는 이유가 여기에 있다.
클라우드 사업자와 단말 제조사는 무엇을 준비해야 하나
함의는 분명하다.
클라우드 추론 사업자 입장에서 2026년의 리스크는 '수요 급감'이 아니라 '수요의 질적 재편'이다.
저단가 고빈도 토큰이 기기로 빠지는 만큼, 긴 문맥·복합 추론·실시간 검색처럼 기기가 감당하기 어려운 고부가 워크로드로 요금 체계와 인프라를 재설계할 필요가 있다.
삼성전자가 다중 사용자 요청을 효율적으로 처리해 토큰당 원가를 낮추는 서버 기술을 공개하고, 국산 NPU 기반의 추론 전용 하드웨어가 공공·기업 인프라로 들어오는 흐름도 이런 재편과 맞물린다.
GPU 대비 전력을 크게 줄이는 추론 전용 칩이 늘면, 같은 토큰이라도 처리 원가가 내려가 온디바이스와의 가격 경쟁 구도가 다시 짜인다.
단말 제조사와 소비자 쪽의 과제도 있다. 50TOPS라는 사양은 어디까지나 '최대 연산 능력'이다.
실제 체감 성능은 기기에 올라가는 모델의 크기, 메모리 대역폭, 배터리·발열 제약, 그리고 무엇보다 사용자가 그 기능을 켜는지에 달려 있다.
능력과 활성 사이의 간극을 메우지 못하면, 비싼 NPU는 대부분의 시간을 쉬는 채로 보낸다.
취약 지점은 오히려 중저가 기기와 신흥 시장이다.
메모리 공급난으로 가격이 오르면 고사양 NPU는 플래그십에 집중되고, 온디바이스 추론의 혜택은 일부 고가 기기 사용자에게 쏠릴 수 있다.
'엣지 AI 45% 시대'라는 구호가 실제로는 소수의 프리미엄 단말에서 먼저 실현되는 불균형을 본지는 우려한다.
정책·투자 판단에서도 숫자를 통째로 믿기보다 층위를 분해해 읽어야 한다.
본지가 권하는 독법은 세 단계다.
먼저 인용된 비율이 '능력'인지 '워크로드'인지 '금액'인지를 가린다.
다음으로 그 수치의 기준 연도와 대상 지역을 확인한다.
끝으로 분모(전체 출하·전체 추론·전체 지출)가 같은 기간 어떻게 움직였는지를 함께 본다.
이 세 가지를 통과한 뒤라야 '온디바이스 추론 이전이 클라우드 토큰 매출을 얼마나 잠식하는가'라는 질문에 숫자로 답할 수 있다.
현재로선 '2026년에 당장 큰 폭의 매출 잠식'보다 '성장하는 파이 안에서의 점진적 구조 변화'가 사실에 가깝다는 것이 본지의 판단이다.
검증 노트
본 기사는 2026년 11월 4일 기준으로 작성됐다.
핵심 수치는 카운터포인트리서치의 2026년 생성형 AI 스마트폰 출하 비중 전망(45%), 가트너의 생성형 AI 스마트폰 출하 대수 및 엣지 AI 기업 도입 전망, IDC의 2030년 엣지 추론 워크로드 전망, ABI리서치의 엣지 AI 반도체 시장 추계, 그리고 복수 시장조사기관의 AI 추론 시장 규모 추계를 교차 확인했다.
갤럭시 북6의 50TOPS NPU·인텔 코어 울트라 시리즈 3(18A) 사양은 2026년 1월 CES 공개 및 국내 출시 보도로 확인했고, 온디바이스 도입에 따른 클라우드 비용 절감 사례와 삼성전자의 토큰 원가 절감 서버 기술은 국내 산업 매체 보도를 통해 확인했다.
추론 시장 규모와 성장률은 기관별 정의 차이로 범위가 크게 벌어져 단일 수치로 단정하지 않고 범위·추정으로 표기했다. 1차 자료를 교차 확인한 일반 분석기사로, 기사 verdict는 VERIFIED다.
편집국