로컬 LLM·Ollama가 웹 AI와 다른 지점
2026년에도 로컬로 대규모 언어 모델을 돌리려는 흐름은 Ollama·llama.cpp·GUI 래퍼·노트북·라즈베리파이 실험까지 넓어졌습니다. 이 블로그의 ChatGPT·OpenAI 웹·API 글은 브라우저 세션·플랫폼·CDN 축에 맞춰 있고, Codex CLI는 터미널·짧은 API 왕복에 초점을 둡니다. 반면 ollama pull이나 모델 다운로드는 한 번에 수 GB를 가져와야 하므로, 체감은 「느리다」가 아니라 중간에 끊기는 타임아웃으로 올라오는 경우가 많습니다.
원인이 단일 노드 품질만이 아니라, 메타데이터·리스트를 받는 레지스트리 축과, 가중치·LFS를 받는 Hugging Face·스토리지·미러 축, 그리고 문서·릴리스·사용자가 직접 켠 공개 미러·CDN 축이 뒤섞이기 때문입니다. 브라우저는 시스템 프록시를 따르기 쉬운데, 백엔드 프로세스는 환경 변수·직결·LFS 엔드포인트에 따라 서로 다른 경로로 나갈 수 있습니다. 이 글은 합법적인 개인 실험·개발·연구 목적의 트래픽 정렬을 다루며, 약관·라이선스·소속 기관 IT 정책을 위반하도록 유도하는 내용이 아닙니다.
증상: 추론은 되는데 pull만 멈출 때
흔한 보고는 다음과 비슷합니다. 이미 설치한 작은 모델은 ollama run으로 로컬 추론이 돌아가는데, 새 모델 다운로드만 진행률이 오르다가 멈추거나, Hugging Face에서 GGUF·어댑터를 받는 스크립트가 중간에 끊깁니다. 혹은 한 호스트(예: 문서)는 빨리 뜨는데, LFS·스토리지 엔드포인트는 다른 리전·회선으로 직결이 느리거나, 반대로 프록시를 타다 대역이 부족해 보이기도 합니다. 이때 「인터넷이 느리다」가 아니라 어떤 SNI·호스트가 어떤 정책으로 나갔는지를 분리하는 것이 핵심입니다.
Clash를 시스템 프록시·TUN으로 켠 뒤에도 동일하다면, GEOIP,CN,DIRECT나 널찍한 DOMAIN-SUFFIX가 레지스트리나 HF를 DIRECT로 빨아들인 것은 아닌지, 광고·안티트래킹 규칙이 LFS·CDN을 REJECT한 것은 아닌지, TUN과 OS resolver가 서로 다른 IP를 돌리는 DNS 이중 해석은 아닌지 의심해야 합니다. WSL2나 Linux 컨테이너에 Ollama를 둔 경우, 호스트와 게스트의 DNS·localhost 의미가 어긋나 pull만 실패하는 사례도 흔합니다.
Ollama·Hugging Face 쪽에 자주 등장하는 호스트 축
제품·릴리스마다 정확한 호스트는 바뀔 수 있으므로, 아래는 개념 축으로 잡고 실제엔 대시보드·연결 로그에 찍힌 SNI를 기준으로 좁혀야 합니다. 보통 (1) 클라이언트·업데이트·일부 API에 가까운 ollama.com 류, (2) 모델 manifest·이미지에 가까운 registry.ollama.ai 등 레지스트리, (3) 공개 가중치·LFS에 가까운 huggingface.co·cdn-lfs.huggingface.co 류, (4) Cloudflare·S3·기타 다운로드 전용 호스트가 동시에 나옵니다. 사용자가 Region에 따라 공개 미러나 벤더 제공 엔드포인트를 켜면, 그 도메인만 별도 그룹으로 빼는 편이 안전합니다.
규칙을 YAML에 박기 전에, 한 번 ollama pull을 재현하고 실패한 시각에 맞춰 Clash 쪽에서 연결·도메인·정책 이름을 적어 두면 이후 팀·커뮤니티에 전달할 때도 명확합니다. 넓은 DOMAIN-SUFFIX,huggingface.co,PROXY만으로는 LFS·일반 웹·API가 한 노드에 몰려 대용량·짧은 메타 응답이 섞일 수 있으므로, 로그에 보인 하위 도메인을 우선해 DOMAIN 규칙으로 쪼개는 방식이 재현에 유리합니다. 원격 Rule Providers·rule-set을 쓰면 목록 갱신은 자동에 맡기고, 로컬 YAML에는 충돌이 적은 최소 규칙만 남길 수 있습니다.
Clash·Mihomo: proxy-group을 어떻게 쪼갤까
아래는 역할이 겹치지 않게 이름만 나눈 예시이며, 실제 노드 이름·전략은 구독·환경에 맞게 바꿉니다. 대용량 모델 다운로드·LFS·미러 쪽은 대역이 넉넉한 노드가 유리하고, 짧은 메타·작은 API는 지연이 낮은 노드가 유리합니다. 둘을 한 그룹에 몰아넣으면 「때로는 빠른데 pull만 자꾸 끊긴다」는 보고로 남기 쉽습니다.
- OLLAMA-REG:
registry.ollama.ai등 레지스트리·manifest에 가까운 경로. 실패 시 나머지 pull도 이어가지 못하므로 먼저 맞춥니다. - OLLAMA-WEB:
ollama.com·문서·다운로드 안내·클라이언트가 두드리는 정적·웹에 가까운 축(브라우저와 겹칠 수 있음). - HF-BLOB:
huggingface.co·cdn-lfs등 가중치·LFS·대용량에 가까운 축. 필요 시 스토리지 전용 SNI를 로그로 추가합니다. - HF-MIRROR-OPT: 사용자가 공개 미러·벤더 엔드포인트를 켠 경우에만 쓰는 선택 그룹. 망과 정책이 다르므로 범위를 좁힐수록 좋습니다.
# Example — replace hostnames and groups using your Ollama session logs
proxy-groups:
- name: OLLAMA-REG
type: select
proxies:
- Low-latency
- Auto
- DIRECT
- name: HF-BLOB
type: select
proxies:
- High-throughput
- Auto
- DIRECT
- name: OLLAMA-WEB
type: select
proxies:
- Stable
- DIRECT
rules:
- DOMAIN-SUFFIX,registry.ollama.ai,OLLAMA-REG
- DOMAIN-SUFFIX,ollama.com,OLLAMA-WEB
- DOMAIN-SUFFIX,huggingface.co,HF-BLOB
- DOMAIN-SUFFIX,cdn-lfs.huggingface.co,HF-BLOB
# Add mirror domains as narrow DOMAIN rules only when you actually use them
# More specific rules must appear above broad DOMAIN-SUFFIX blocks
Clash는 위에서 아래로 매칭하므로, api.*·특정 서브도메인처럼 좁은 규칙을 넓은 DOMAIN-SUFFIX보다 위에 둡니다. 그렇지 않으면 LFS·일반 HF 웹이 한 그룹에 흡수되어, 의도와 다른 노드·직결이 섞인 것처럼 보입니다. Ollama·Hugging Face 측이 CDN을 갈아탈 수 있으므로, 6~12개월마다 rule-set·로그를 다시 훑는 습관이 장기 운용에 유리합니다.
환경 변수·미러: Clash와 함께 병행할 때
일부 환경에서는 HTTPS_PROXY·OLLAMA_HOST·Hugging Face 쪽 엔드포인트(예: LFS·미러)를 셸·systemd에 따로 박는 경우가 있습니다. Clash TUN을 켜면 프로세스가 프록시를 몰라도 트래픽을 잡을 수 있지만, 앱이 자체 DNS·직결·내부 IP로 우회하는 경우 TUN 밖으로 새는 흐름이 생기기도 합니다. macOS·터미널의 환경 변수 글과 같이 읽으면, 「환경 변수로 한 번·Clash로 한 번」을 동시에 켤 때 어디가 꼬였는지 분리하기 쉬워집니다.
공개 미러·벤더 전용 스토리지를 쓸 때는, 라이선스·데이터·보안·소속 기관 정책을 직접 확인해야 합니다. Clash 규칙 분류는 “미러 URL을 연결”해 주는 것이 아니라, 이미 엔드포인트를 정한 애플리케이션이 그 호스트로 나가는 경로에 정책을 겹친다는 점이 중요합니다. 모델 다운로드를 빠르게 하려다 개인·회사 자산을 알 수 없는 스토리지에 올리는 일은 절대 하면 안 됩니다.
규칙 우선순위·DNS·QUIC: pull 타임아웃을 흔드는 요인
광고·트래킹·안티abuse 목록이 huggingface.co의 일부 SNI를 잘못 REJECT하거나, GEOIP,CN,DIRECT가 LFS·레지스트리를 느린 직결로 보내는 사례는 드물지 않습니다. 증상은 곧장 타임아웃과 비슷하므로, 먼저 대시보드에서 해당 연결이 어떤 rule·policy에 맞았는지 확인한 뒤, 역할이 다른 OLLAMA-REG·HF-BLOB을 충돌 규칙 위로 올리되 범위는 좁힙니다. DNS가 fake-ip일 때, Ollama 프로세스의 resolver가 OS와 다른 IP를 보면 TLS·LFS 흐름이 기묘하게 끊깁니다. 연결은 됐는데 콘텐츠만 안 열릴 때의 DNS·fallback 순서를 함께 맞추면 좋습니다.
HTTP/3·QUIC이 켜진 클라이언트가 끼어 있으면, 중간 장비·노드가 UDP를 막을 때 TCP로 늦게 떨어지며 빈 응답처럼 느껴질 수 있습니다. QUIC·HTTP/3와 관련 규칙이 있다면, pull 재현 직전후로만 일시 끄고 비교해 보는 단계는 여전히 유효합니다. 로컬 LLM 실험용 프로필과 일상 브라우징·회사망용 프로필을 나누는 것도 YAML을 덜 지저분하게 유지하는 현실적인 타협입니다.
검증 체크리스트: Ollama·HF pull 끊김을 좁히는 순서
필드에서 복붙하기 쉽게 짧은 순서로 둡니다. 한 단계마다 타임스탬프·rule 이름·노드 이름을 한 줄만 적어도, 나중에 팀·포럼에 올릴 때 재현 밀도가 올라갑니다.
ollama pull·HF 대용량 전송이 실패한 직후, 터미널·앱 로그에 나온 호스트·TLS 메시지를 복사한다.- Clash 로그·대시보드에서 동일 시각의 연결이 어느 policy·rule에 매칐는지 본다.
- OLLAMA-REG·HF-BLOB·OLLAMA-WEB을 각각 전환하며, 증상이 어느 축을 따라오는지 본다.
- TUN on/off, 시스템 프록시 on/off,
HTTPS_PROXY유무만 바꿔 pull만 달라지는지 본다. - DNS 모드·nameserver·fallback·fake-ip 필터를 바꾼 뒤, 동일 호스트에 대해 IP가 일치하는지 본다.
NO_PROXY·광고 차단·GEOIP·회사망 직결에 레지스트리·HF SNI가 숨지 않았는지 본다.
이 과정을 거치면 「Ollama가 불안정하다」는 막연한 이슈를 레지스트리만 DIRECT 오매칭, HF LFS만 손실, DNS 이중·QUIC 같은 가설로 바꿀 수 있습니다. Clash 분류로 역할이 나뉘어 있으면, “HF 그룹만 대역용 노드로”처럼 동료에게 짧은 지시로 공유할 수도 있습니다.
정리
Ollama·로컬 LLM에서 ollama pull·모델 다운로드·Hugging Face LFS는 단일 “AI 사이트”가 아니라, 레지스트리·대용량 스토리지·미러·CDN이 흩어진 다중 호스트 흐름입니다. ChatGPT·웹 Clash 가이드와 겹치지 않게, 도메인 단위로 proxy-group을 나누고 DNS·규칙 hit로 직결 오매칭을 걸러 내면, 추론은 되는데 pull만 끊기는 증상을 훨씬 빠르게 닫을 수 있습니다.
이후 제품·버전·CDN이 바뀌면 SNI도 바뀌므로, 실제 연결 로그에 기반한 최소 규칙과 주기 점검이 장기에 유리합니다. 로컬 실험·WSL2·터미널·회사망이 섞인 환경은 변수가 크지만, 그만큼 Clash의 분류·검증 절차를 쌓아 두면 동일 한국어 팀과 공유할 때도 재현 밀도가 올라갑니다. 일상·실험 프로필을 나누는 것은 YAML 손질·실수·노드 섞임을 줄이는 현실적인 전략입니다.
브라우저 한정 API 이슈와 달리, 로컬 대규모 언어 모델은 대역·LFS·레지스트리의 다운로드 측에 시간을 써야 할 때가 많습니다. Clash는 그 경로에 정책을 겹쳐 역할별로 쪼개고, rule hit로 원인을 좁히는 데 잘 맞는 도구입니다. 필요하면 문서와 TUN·DNS 글을 함께 읽고, 변인을 한 가지씩만 바꿔 가며 기록하세요.