2026-10-05 — gpt-oss-20b는 파일만 12~13GB라 6GB 그래픽카드에는 다 들어가지 않습니다. 그런데 이 모델은 MoE(전문가 혼합) 구조라, 토큰 하나를 만들 때 전체 21B 중 3.6B만 계산합니다. 그래서 크기의 대부분을 차지하는 '전문가' 가중치는 일반 메모리(R…
2026-10-05 — 지난달 말 6GB 총정리에서는 짧은 질문에서 답 품질을 우선하면 Qwen3 8B(num_gpu 99), 속도를 우선하면 Qwen3 4B-instruct를 권했습니다. 둘 다 2025년에 나온 모델입니다. 2026년에 나온 작은 모델로 바꿔도 될까요? GTX 1660 …
2026-10-03 — GTX 1660 SUPER 6GB 한 대로 로컬 LLM을 이틀 동안 110개가 넘는 PC 작업(모델 받기·설정 변경 포함)으로 돌려 보며 7편의 글을 썼습니다. 이 글은 그 결과를 "무엇을 고르고, 무엇을 켜고, 무엇을 피할지" 기준으로 한 페이지에 모은 안내서입니다…
2026-09-30 — 로컬 LLM으로 문자·주문·리뷰·문의 글에서 정보를 뽑아 JSON으로 받으면, 그 결과를 바로 프로그램에 넣을 수 있습니다. 그런데 모델이 가끔 설명을 붙이거나 마크다운 코드 블록 표시(백틱 세 개)로 감싸서 보내면 프로그램이 읽지 못합니다. Ollama에는 이걸 막…
2026-09-30 — Qwen3는 답하기 전에 속으로 "생각"을 길게 쓰는 기능(thinking)이 있습니다. 어려운 문제에서는 이게 정답률을 올린다고 알려져 있는데, 6GB 그래픽카드에서 평범한 한국어 일(이메일·요약·번역 등)을 시킬 때도 켤 만할까요? GTX 1660 SUPER 6G…
2026-09-27 — 2026년 9월, AI 뉴스의 중심은 "대화"에서 "대신 일해 주는 에이전트"로 옮겨 갔습니다. 오픈AI는 GPT-6 아스트라를 내놓으면서 컴퓨터를 직접 조작하는 능력을 앞세웠고, Anthropic의 Claude도 예약 작업·웹 페이지 발행·컴퓨터 조작 기능을 개인 …
2026-09-27 — 노트북이나 휴대폰에서 집 PC에 "이거 돌려 놔"라고 맡기고, 결과만 나중에 받아 보고 싶을 때가 있습니다. 원격 데스크톱을 켜 두거나 공유기 포트를 여는 방법도 있지만, 이 사이트는 더 단순한 방법을 썼습니다. GitHub 저장소의 폴더 하나를 작업 대기열로 쓰는 …
2026-09-27 — 6GB 그래픽카드에 14B 모델은 다 들어가지 않습니다. 그래서 Ollama는 모델의 일부를 CPU 쪽에 두는데, 얼마나 그래픽카드에 올릴지(num_gpu)를 직접 정하면 얼마나 빨라질까요? GTX 1660 SUPER 6GB에서 Qwen3 14B를 층 수만 바꿔 가며…
2026-09-27 — 6GB 그래픽카드로 로컬 LLM을 돌릴 때 가장 궁금한 건 "몇 B 모델까지 쓸 만한가"입니다. GTX 1660 SUPER에서 Qwen3 4B·8B·14B를 20번 넘게 측정했고, 예상과 다른 결과가 두 가지 나왔습니다.
2026-09-27 — 로컬 LLM에 긴 문서를 넣고 질문하면 정말 문서를 읽고 답할까요, 아니면 원래 알던 지식으로 답할까요? 대한민국 헌법 전문(130개 조, 약 1만 8천 자)을 GTX 1660 SUPER 6GB에서 세 모델에 통째로 넣고 질문 12개를 던졌습니다. 같은 질문을 문서 …
2026-09-27 — 로컬 LLM에 긴 문서를 넣고 요약·질문을 하려면 두 가지 시간이 걸립니다. 문서를 읽는 시간(프롬프트 처리)과, 읽은 뒤 답을 쓰는 속도(생성)입니다. 짧은 질문으로 잰 "41 tok/s" 같은 숫자에는 둘 다 드러나지 않습니다. GTX 1660 SUPER 6GB에…
2026-09-27 — 긴 문서를 넣을 때 그래픽 메모리를 아끼는 방법으로 Ollama의 OLLAMA_KV_CACHE_TYPE=q8_0이 자주 추천됩니다. 문맥을 기억하는 공간(KV 캐시)을 8비트로 압축해서 크기를 약 절반으로 줄이는 설정입니다. GTX 1660 SUPER 6GB에서 실제…
2026-09-27 — 같은 Qwen3 8B라도 양자화 단계(Q3·Q4·Q5)에 따라 파일 크기가 4.1~5.9GB로 달라집니다. 6GB 그래픽카드에서는 "작을수록 빠르고, 클수록 똑똑하다"고 생각하기 쉬운데, GTX 1660 SUPER에서 직접 재 보니 그렇게 단순하지 않았습니다.
2026-09-27 — 윈도우에서 winget install llama.cpp로 llama.cpp를 설치하면 Vulkan 빌드가 깔립니다. NVIDIA 그래픽카드에서도 잘 돌아가서 모르고 넘어가기 쉬운데, GTX 1660 SUPER 6GB에서 같은 모델 파일을 NVIDIA 전용 빌드로 돌려…
2026-09-26 — 같은 "초당 토큰 수"라도 한국어로 체감하는 속도는 모델마다 다릅니다. 모델마다 한국어 한 글자를 몇 토큰으로 쪼개는지가 달라서입니다. GTX 1660 SUPER 6GB에서 같은 한국어 질문으로 EXAONE 3.5, Gemma 3, Qwen3를 측정해 실제로 초당 몇…