Bonsai 27B가 1비트 모델로 줄어 휴대폰에서 돌아간다는 발표가 나왔다. 27B급 모델을 3.9GB에 담았다는 숫자만 보면 로컬 AI의 기준이 갑자기 한 세대 이동한 것처럼 보인다.
실제로 반응도 컸다. 7월 14일 공개된 PrismML 발표는 하루도 안 돼 Hacker News 전면에 올랐다. 2026년 7월 15일 12시 29분 KST 확인 기준 HN 토론은 471점과 댓글 173개를 기록했고, GeekNews에도 바로 소개됐다.
근데 공식 자료를 끝까지 읽어보니 제목의 “휴대폰에서 실행”과 우리가 기대하는 “휴대폰에서 실용적인 AI 에이전트 운영” 사이에는 아직 간격이 있다. 이번 발표는 무시할 만한 데모가 아니다. 동시에 3.9GB라는 숫자만 보고 클라우드 모델 대체를 말하기에도 이르다. 재미있는 지점은 바로 그 사이에 있었다.
Bonsai 27B 1비트 모델이 줄인 것은 무엇인가
54GB 가중치를 3.9GB까지 내렸다
Bonsai 27B는 Qwen3.6-27B를 기반으로 한다. PrismML은 전체 아키텍처를 바꾸는 대신 트랜스포머 가중치를 이진 또는 삼진 표현으로 학습했다. 1비트 버전은 -1과 +1, 삼진 버전은 -1, 0, +1을 사용하고 그룹별 FP16 스케일을 함께 둔다.
회사가 공개한 1비트 모델 카드와 백서를 기준으로 보면 차이는 꽤 크다.
| 모델 | 실효 비트/가중치 | 이상적/배포 크기 | 15개 벤치마크 평균 |
|---|---|---|---|
| Qwen3.6-27B FP16 | 16.0 | 54GB | 85.07 |
| Qwen3.6-27B 일반 4비트 | 5.2 | 17.6GB | 84.99 |
| Ternary Bonsai 27B | 1.71 | 5.9GB 이론값 / 약 7.2GB GGUF | 80.49 |
| 1-bit Bonsai 27B | 1.125 | 약 3.9GB GGUF | 76.11 |
여기서 “1비트”를 파일의 모든 값이 정확히 1비트라는 뜻으로 읽으면 안 된다. 그룹별 스케일 같은 메타데이터가 들어가 실제 평균은 가중치당 1.125비트다. 그래도 54GB짜리 FP16 가중치를 3.9GB까지 줄인 건 분명 큰 변화다. 모델 파일을 저장할 수 있는 장치가 아니라, 메모리에 올려 실제 추론할 수 있는 장치의 범위가 넓어진다.
삼진 모델의 5.9GB도 현재 내려받는 파일 크기는 아니다. 1.71비트 표현의 이론적 크기이고, 현재 GGUF는 삼진 값을 2비트 슬롯에 저장해 실제 배포 파일이 약 7.2GB다. 반면 1비트 GGUF는 네이티브 1비트 레이아웃을 사용해 이론값과 배포 크기가 약 3.9GB로 같다.
3.9GB는 실행 중 최대 메모리가 아니다
내가 처음 숫자를 보고 가장 먼저 확인한 것도 이 부분이었다. 가중치가 3.9GB라고 해서 앱이 딱 3.9GB만 쓰는 건 아니다. KV 캐시, 활성값, 런타임 버퍼가 더 필요하다.
공개된 측정에서 1비트 GGUF 버전은 4K 컨텍스트에서 약 5.2GB, 10K에서 약 5.6GB, 100K에서 약 11.6GB의 최대 메모리를 사용한다. MLX 버전도 비슷한 방향이다. 4비트 KV 캐시를 켜면 긴 컨텍스트 부담을 크게 줄일 수 있지만, “262K 컨텍스트 지원”과 “휴대폰에서 262K를 넉넉하게 운용”은 같은 문장이 아니다.
iOS는 단일 앱에 물리 메모리 전부를 내주지 않는다. 백서는 12GB 메모리의 iPhone에서도 앱이 쓸 수 있는 예산을 약 6GB로 잡는다. 그래서 실제 배포 크기가 약 7.2GB인 삼진 GGUF 버전은 휴대폰이 아니라 노트북용이고, 3.9GB 1비트 버전만 고성능 iPhone의 실행 예산 안에 들어간다. 결국 이번 성과의 첫 번째 의미는 “27B 모델이 휴대폰 메모리 문턱을 넘었다”다. 긴 대화와 비전 입력까지 마음껏 처리한다는 뜻은 아직 아니다.
휴대폰에서 돌아간다는 말의 범위를 봐야 한다
iPhone 측정은 11토큰/초, 데모에는 조건이 붙었다
PrismML은 iPhone 17 Pro Max에서 약 11토큰/초, 프롬프트 처리 약 111토큰/초를 측정했다고 밝혔다. 사람이 읽으며 대화하는 용도라면 생성 속도 자체는 답답하지 않을 수 있다. 네트워크가 없는 곳에서 문서 요약이나 짧은 질의응답을 처리하는 그림도 이제 꽤 현실적으로 보인다.
다만 발표 페이지의 휴대폰 비전 데모 캡션에는 Cached & Prefilled Image Context라는 조건이 명시돼 있다. 이미지 컨텍스트를 미리 채우고 캐시한 데모라는 뜻이다. 이 영상 하나만으로 앱 시작부터 이미지 전처리, 긴 프롬프트 입력, 첫 토큰 지연, 발열과 배터리, 여러 차례 도구 호출까지 모두 실시간으로 검증됐다고 말할 수는 없다.
이런 조건을 숨긴 발표는 아니다. 오히려 캡션에 적어둔 점은 괜찮다. 다만 “휴대폰에서 실행됐다”는 사실과 “일반 사용자가 어떤 입력이든 바로 넣어 쓸 수 있다”는 제품 경험을 분리해서 봐야 한다. 나는 전자는 통과했다고 본다. 후자는 실제 앱과 독립 측정이 더 필요하다.
평균 89.5% 유지에도 약한 구간은 남는다
회사가 공개한 벤치마크에서 1비트 버전은 FP16 평균의 89.5%를 유지했다. 숫자 하나만 보면 꽤 놀랍다. 하지만 항목별로 보면 압축 비용이 고르게 생기지 않는다.
수학 평균은 95.3에서 91.7, 코딩은 88.7에서 81.9로 내려갔다. 에이전트·도구 호출은 80.0에서 66.0, 비전은 72.6에서 59.6으로 더 크게 떨어졌다. 바로 휴대폰 에이전트에서 기대할 만한 기능이 더 큰 영향을 받았다.
백서도 이 부분을 인정한다. 장기 도구 사용, 여러 파일 수정, 테스트와 복구를 반복하는 에이전트 코딩은 이번 릴리스가 강하게 겨냥한 영역이 아니며 별도 튜닝 모델을 로드맵에 올려뒀다. 게다가 벤치마크는 PrismML이 같은 평가 하네스로 H100에서 수행한 결과다. 비교 조건을 맞춘 점은 좋지만, 아직 제3자의 폭넓은 재현 결과로 보기는 어렵다.
그래서 내 결론은 “성능 손실이 없는데 14배 작아졌다”가 아니다. “성능 손실을 감수해도 쓸 만한 27B급 모델이 처음으로 휴대폰 메모리 안에 들어왔다”에 가깝다. 표현은 덜 화려하지만 실제로는 이쪽이 더 중요한 진전이라고 생각한다.
로컬 AI 운영에서 바뀌는 선택지
전부 로컬보다 로컬과 클라우드의 역할 분리가 현실적이다
이전에 로컬 AI 모델이 다시 개발자 운영 선택지가 된 이유를 쓰면서 작은 반복 작업과 민감한 데이터 처리를 로컬로 내리고, 어려운 추론은 클라우드로 보내는 구성을 얘기했다. Bonsai 27B는 그 경계를 한 번 더 아래로 내린다. 노트북뿐 아니라 휴대폰도 로컬 처리 노드가 될 수 있기 때문이다.
예를 들어 개인 메모 분류, 오프라인 초안, 짧은 문서 요약, 로컬 사진 설명처럼 네트워크로 보내기 꺼려지는 작업은 매력적이다. 반대로 저장소 전체 리팩터링, 긴 도구 호출 루프, 중요한 보안 판단은 아직 상위 클라우드 모델이나 더 큰 로컬 모델로 넘기는 편이 낫다.
여기서 기대되는 건 모델 하나의 승리가 아니라 라우팅 선택지다. 휴대폰의 1비트 모델이 입력을 분류하고 민감한 전처리를 맡는다. 노트북의 삼진 모델이 조금 더 복잡한 로컬 작업을 처리한다. 정말 어려운 단계만 원격 모델로 보낸다. 이런 구조라면 비용과 데이터 이동을 줄이면서도 품질을 포기하지 않을 수 있다.
내가 실제로 확인할 것은 벤치마크보다 운영 지표다
모델은 Apache 2.0 라이선스로 공개됐고, Bonsai 27B 모델 모음에는 GGUF와 MLX 변형이 올라와 있다. 공식 데모 저장소도 실행 스크립트와 메모리 표를 제공한다. 재현을 시작할 재료는 갖춰진 셈이다.
그래도 도입 판단은 다음처럼 단순한 작업 묶음으로 직접 돌려보는 편이 맞다.
1. 앱 시작부터 첫 토큰까지 걸린 시간을 잰다
2. 4K와 10K 컨텍스트에서 최대 메모리를 비교한다
3. 같은 프롬프트를 20회 반복해 답변 흔들림을 본다
4. JSON 도구 호출 성공률을 별도로 기록한다
5. 15분 연속 실행 뒤 발열과 배터리 소모를 확인한다
6. 실패한 작업만 클라우드 모델로 넘긴다
특히 “휴대폰에서 돌아간다”는 주장은 발열과 지속 성능을 빼면 반쪽짜리다. 짧은 데모에서 11토큰/초가 나와도 20분 뒤 속도가 유지되는지는 다른 문제다. 앱이 백그라운드로 갔다 돌아왔을 때 모델을 다시 올리는 시간, 다른 앱과 메모리를 다툴 때 종료되는지도 봐야 한다.
3.9GB가 보여준 진짜 변화
모델 크기보다 배치 위치가 달라졌다
Bonsai 27B를 보며 가장 크게 느낀 건 최고 성능 경쟁보다 배치 위치의 변화였다. 27B급 모델은 원래 고사양 PC나 서버에 두는 물건이었다. 이제 적어도 1비트 버전은 고성능 휴대폰의 메모리 경계 안으로 들어왔다. 그 자체로 제품 설계의 선택지가 생긴다.
아직 냉정하게 볼 부분도 많다. 공개 성능은 회사 자체 측정이고, 휴대폰 데모는 캐시된 입력 조건이며, 에이전트·비전 점수 손실은 작지 않다. 장기 코딩 에이전트는 공식 문서에서도 다음 과제로 남아 있다. 그래서 오늘 당장 클라우드 API를 지울 이유는 없다.
그렇다고 “품질이 조금 떨어진 양자화 모델” 정도로 넘기기에도 아깝다. 메모리에 아예 들어가지 않던 모델은 성능을 비교할 기회조차 없다. 3.9GB는 완성의 숫자가 아니라 실행 가능성의 숫자다. 이제부터 중요한 건 독립 재현과 실제 앱이다. 어떤 휴대폰에서 얼마나 오래 버티는지, 긴 컨텍스트와 도구 호출이 어디서 무너지는지, 그 결과가 확인되면 로컬 AI의 기본 배치도 정말 달라질 수 있다.