[PEDIEN] 온디바이스 sLLM과 특화모델이 방산·공공 도메인의 핵심 인프라로 빠르게 옮겨가고 있다.
본지가 과학기술정보통신부의 독자 파운데이션 모델 프로젝트 진행 경과와 방산·국방 분야의 최근 특화모델 개발 발표, 그리고 경량화 벤치마크 자료를 교차 분석한 결과, 클라우드 중심의 대형언어모델(LLM) 배포는 이제 기기와 폐쇄망 위에서 도는 소형·특화모델(sLLM)로 무게중심을 옮기는 국면에 들어선 것으로 나타났다.
성능과 크기를 맞바꾸는 이 전환은 단순한 기술 유행이 아니라, 보안·주권·비용이라는 세 축이 동시에 작동한 구조적 이동이라는 것이 본지의 진단이다.
온디바이스 sLLM·특화모델이란, 왜 지금 방산·공공인가
먼저 용어부터 정리할 필요가 있다. sLLM은 수천억 개 매개변수를 가진 초거대 모델과 달리 수억에서 수십억 개 수준의 매개변수로 몸집을 줄인 소형 언어모델을 가리킨다.
온디바이스 AI는 이 모델을 클라우드 서버와의 통신 없이 스마트폰·PC·서버랙 같은 기기 안에서 직접 구동하는 방식이다.
업계와 연구계에서 온디바이스 AI가 다시 주목받는 이유로는 응답 속도, 개인정보 보호, 통신·연산 비용 절감이 공통적으로 꼽힌다.
한국전자통신연구원(ETRI)의 기술동향 분석도 소형언어모델과 온디바이스 구동이 별개가 아니라 한 묶음으로 발전하고 있다는 점을 짚는다.
방산·공공에서 이 흐름이 특히 빨라진 배경에는 폐쇄망이라는 조건이 있다.
군사기밀을 다루는 국방 영역은 외부 인터넷과 분리된 폐쇄망·에어갭 환경을 전제로 하는데, 외부 서버를 오가는 민간 클라우드형 생성 서비스는 이 환경에서 구조적으로 쓰기 어렵다.
실제로 국방과학연구소(ADD)는 지난 7월 초 군사기밀 유출 우려로 민간 서비스 도입에 한계가 있던 문제를 풀기 위해 폐쇄망 기반 생성형 AI를 자체 개발해 운영에 들어갔다고 밝혔다.
국방부와 SK텔레콤이 국방 특화 AI 모델 개발 협력에 나선 것도 같은 맥락이다.
외부와 통신하지 않는 독립 형태로 모델을 기기·내부망 안에 심는 것, 그것이 방산 도메인에서 온디바이스·특화모델이 사실상 유일한 선택지가 되는 이유다.
팀네이버와 한국항공우주산업(KAI)이 7월 초 방산 특화 AI 모델과 미래전투체계 플랫폼을 공동 개발하기로 합의한 것도 이 지형 위에 놓여 있다.
양측은 외산 기술에 의존하지 않고 국내 국방·안보 환경에 최적화한 독자 소버린 AI를 구현해 안보 리스크를 최소화하겠다고 설명했다.
항공우주·방산 시스템 통합 역량과 자체 AI 기술을 결합해, 범용 대형모델이 아니라 도메인에 최적화한 파운데이션 모델을 목표로 잡은 점이 핵심이다.
클라우드 대형모델과 비교하면… 경량화의 대가와 벤치마크
온디바이스 특화모델은 공짜로 얻어지지 않는다.
기기에 모델을 욱여넣으려면 양자화(Quantization), 가지치기(Pruning), 지식증류 같은 경량화 기법으로 크기를 줄여야 하고, 그 과정에서 정확도가 깎인다.
여기서 성능과 효율의 트레이드오프가 발생한다.
본지가 공개된 양자화 벤치마크 자료를 종합하면, 가중치를 4비트로 압축하는 방식은 원본 대비 모델 용량을 대략 75% 줄이면서도 8B급 모델에서는 성능 손실이 비교적 작은 실용 구간으로 평가된다.
반대로 그보다 더 낮은 극단적 저정밀도로 내려가면 정확도가 급격히 무너진다는 것이 여러 실측의 공통된 관찰이다.
결국 경량화는 얼마나 줄이느냐가 아니라 어디까지 줄여도 버티느냐의 문제다.
흥미로운 점은 특화가 이 손실을 상당 부분 상쇄한다는 것이다.
도메인 데이터로 훈련한 작은 모델이, 그 도메인 안에서는 훨씬 큰 범용 모델을 앞서는 사례가 이미 나오고 있다.
공공 영역에서는 기관 내부 폐쇄망 자료로 구축한 32B 규모 모델이 특정 질의응답 과제에서 더 큰 해외 범용 모델을 웃도는 성능을 보였다는 보고가 있었다.
한 국내 기업은 40억 개 안팎 매개변수의 소형 모델로 국방 폐쇄망 요구에 대응하는 사례를 내놓기도 했다.
유통 현장에서는 저사양 그래픽처리장치(GPU) 한 장만으로 상용 소형 모델을 사내 서비스로 구축한 실증도 공유됐다.
요컨대 작아서 진다는 통념은 도메인을 좁히는 순간 상당 부분 무너진다.
국제적으로 보면 노선이 갈린다.
미국은 대형 상용모델을 인터넷과 분리된 국방 기밀망 내부에 직접 배포하는 실험까지 나아갔다.
외부 서버와 통신하지 않는 완전 독립 구동을 전제로, 압도적 규모의 모델을 폐쇄 환경에 이식하는 규모로 미는 전략에 가깝다.
반면 한국은 규모 경쟁으로는 승산이 낮다는 현실 인식 아래, 좁고 깊은 특화와 경량화로 승부하는 쪽을 택했다.
유럽 각국과 일부 국가들은 데이터 주권과 규범을 앞세워, 자국어·자국 제도에 맞춘 중소형 모델과 온프레미스 배포를 공공 조달의 조건으로 내거는 흐름이 뚜렷하다.
세 갈래 모두 공통점은 있다.
남의 클라우드에 국가 기능을 얹지 않겠다는 것이다.
정책 지형도 최근 1~2년 사이 크게 바뀌었다.
과거 국내 AI 정책이 활용·확산 중심이었다면, 지금은 독자 기반모델 확보로 축이 이동했다.
과기정통부는 지난해 8월 네이버클라우드·업스테이지·SK텔레콤·NC AI·LG AI연구원 등 5개 팀을 독자 AI 파운데이션 모델 정예팀으로 선정했고, 이들은 프롬 스크래치 방식으로 자체 기반모델을 만든다.
팀당 GPU 500장에서 시작해 1000장 이상으로 늘리는 방식으로 지원 규모를 키우고, 2027년까지 단계평가와 대국민 콘테스트를 거쳐 최종 2팀으로 압축하는 구조다.
지난해 12월 말 코엑스에서 1차 발표회가 열려 5개 팀이 중간 결과를 공개했다.
범용 기반모델을 국가 차원에서 확보하되, 방산·공공 같은 고보안 영역은 그 위에서 특화·경량화로 갈라져 나가는 이원 구조가 자리를 잡아가는 셈이다.
본지 분석에 따르면, 이 전환의 본질은 더 큰 모델이 아니라 더 맞는 모델로의 이동이다.
벤치마크 점수 몇 점의 우열보다, 폐쇄망에서 도는가·자국 데이터로 통제되는가·현장 하드웨어에서 실시간으로 답하는가가 방산·공공에서는 훨씬 결정적인 지표다.
이 관점에서 보면 경량화로 인한 정확도 하락은 손실이 아니라 보안·주권과 맞바꾼 지불한 비용으로 읽어야 한다.
둘째, 본지의 결론은 특화모델의 진짜 경쟁력이 모델 자체가 아니라 데이터·평가 체계에 있다는 것이다.
도메인 데이터의 품질과 비식별화, 그리고 그 도메인에 맞는 자체 벤치마크가 없으면 작지만 강한 모델은 성립하지 않는다.
한국어·한국 제도 특화 평가지표가 아직 범용 벤치마크에 비해 얕다는 점은 이 전략의 아킬레스건이다.
셋째, 본지는 이 흐름이 산업 구조를 재편할 것으로 본다.
소수의 초거대 모델을 빌려 쓰던 시장이, 도메인마다 다른 특화모델을 자체 보유·운영하는 시장으로 쪼개진다.
방산·의료·금융·행정처럼 데이터가 민감하고 규제가 강한 영역일수록 이 분화는 빠를 것이다.
그렇다면 무엇을 해야 하나 — 세 가지 권고
진단이 이렇다면 대응은 구체적이어야 한다.
첫째, 평가 기준을 다시 짜야 한다.
지금처럼 범용 벤치마크 총점으로 특화모델을 줄 세우는 방식은 방산·공공의 실제 요구와 어긋난다.
폐쇄망 구동 가능성, 도메인 과제 정확도, 응답 지연, 오류 시 안전장치까지 포함한 도메인 특화 평가표를 조달 기준으로 제도화해야 한다.
모델을 사는 게 아니라 검증된 성능-보안 조합을 사는 것으로 발주 언어를 바꿔야 한다는 뜻이다.
둘째, 데이터와 경량화 파이프라인에 투자를 몰아야 한다.
특화모델의 성패는 결국 양질의 도메인 데이터와, 성능을 덜 깎으면서 크기를 줄이는 경량화 기술에서 갈린다.
민감정보 비식별화, 데이터 거버넌스, 그리고 4비트급 실용 양자화·가지치기·증류 역량을 국가 공용 자산으로 축적할 필요가 있다.
팀마다 처음부터 다시 만드는 낭비를 줄이려면, 정예팀이 확보한 기반모델과 경량화 노하우를 후속 특화 개발이 재사용할 수 있는 통로를 열어야 한다.
셋째, 보안 검증을 개발과 동시에 진행해야 한다.
폐쇄망·에어갭이라는 물리적 격리만으로 안심할 수 없다.
학습 데이터 오염, 모델 악용, 공급망 취약점까지 상시 점검하는 체계를 개발 단계에 붙박이로 넣어야 한다.
특화모델이 국방·행정의 판단을 보조하는 수준을 넘어 실제 의사결정에 개입하기 시작하면, 검증 없는 배포는 그 자체가 안보 리스크가 된다.
속도전에 밀려 검증을 뒤로 미루는 순간, 소버린 AI라는 명분은 껍데기가 된다.
결국 온디바이스 sLLM·특화모델 경쟁은 누가 더 큰 모델을 가졌느냐가 아니라, 누가 자국의 데이터와 도메인 위에서 작지만 믿을 수 있는 모델을 먼저 세우느냐의 싸움으로 옮겨가고 있다.
방산·공공은 그 최전선이다.
검증 노트
본 기사는 2026년 7월 27일 기준으로 작성됐다.
팀네이버·KAI의 방산 특화 AI 모델 공동 개발(2026년 7월 발표), 국방과학연구소의 폐쇄망 생성형 AI 자체 개발·운영 개시(2026년 7월), 과기정통부·정보통신산업진흥원의 독자 AI 파운데이션 모델 정예팀 선정(2025년 8월)과 1차 발표회(2025년 12월), 한국전자통신연구원의 온디바이스 소형언어모델 기술동향, 4비트 양자화의 용량·성능 관계를 다룬 공개 벤치마크 자료를 교차 확인했다.
특정 방산 특화모델의 세부 벤치마크 수치는 공개 전 단계여서 본문에서는 범위·추정으로 처리했으며, 외부 상용모델·챗봇의 브랜드명은 표기하지 않았다.
기사 verdict: VERIFIED(1차 자료 교차 확인).
편집국