Instructions to use wonchandev/Soonlife-Qwen3.5-9B-v2b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use wonchandev/Soonlife-Qwen3.5-9B-v2b with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="wonchandev/Soonlife-Qwen3.5-9B-v2b")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("wonchandev/Soonlife-Qwen3.5-9B-v2b")
model = AutoModelForMultimodalLM.from_pretrained("wonchandev/Soonlife-Qwen3.5-9B-v2b", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use wonchandev/Soonlife-Qwen3.5-9B-v2b with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "wonchandev/Soonlife-Qwen3.5-9B-v2b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "wonchandev/Soonlife-Qwen3.5-9B-v2b",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/wonchandev/Soonlife-Qwen3.5-9B-v2b

SGLang

How to use wonchandev/Soonlife-Qwen3.5-9B-v2b with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "wonchandev/Soonlife-Qwen3.5-9B-v2b" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "wonchandev/Soonlife-Qwen3.5-9B-v2b",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "wonchandev/Soonlife-Qwen3.5-9B-v2b" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "wonchandev/Soonlife-Qwen3.5-9B-v2b",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use wonchandev/Soonlife-Qwen3.5-9B-v2b with Docker Model Runner:
```
docker model run hf.co/wonchandev/Soonlife-Qwen3.5-9B-v2b
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Soonlife-Qwen3.5-9B-v2b

대조 실험(v2b)입니다. 운영 모델은 Soonlife-Qwen3.5-9B-v2-FP8(v2)입니다. v2와 같은 데이터로 epoch 만 1.5 → 1.0으로 줄였습니다. 에이전트 기록 검증 손실은 v2보다 낮았지만(0.2608 vs 0.2709) 에이전트 행동은 v1 쪽으로 돌아갔습니다 — 아래 평가 절을 보세요.

wonchandev/Soonlife-Qwen3.5-9B-v2b-LoRA 어댑터를 Qwen/Qwen3.5-9B에 병합한 bf16 모델입니다(비전 타워 포함, Qwen3_5ForConditionalGeneration). 서빙은 wonchandev/Soonlife-Qwen3.5-9B-v2b-FP8를 쓰고, 이 레포는 다른 양자화(GGUF·AWQ 등)나 추가 학습의 원본으로 씁니다.

wonchandev/Soonlife-Qwen3.5-9B-v2b-FP8 — FP8 dynamic — 운영 서빙용
wonchandev/Soonlife-Qwen3.5-9B-v2b — 병합 bf16 — 다른 양자화의 원본
wonchandev/Soonlife-Qwen3.5-9B-v2b-LoRA — LoRA 어댑터 + 학습 기록

from transformers import AutoModelForImageTextToText, AutoProcessor

model = AutoModelForImageTextToText.from_pretrained("wonchandev/Soonlife-Qwen3.5-9B-v2b", dtype="bfloat16", device_map="auto")
processor = AutoProcessor.from_pretrained("wonchandev/Soonlife-Qwen3.5-9B-v2b")

평가

데이터셋 test 분할 314개 질문(학습에 쓰지 않음)의 RAG 형식 비교입니다. 검색 결과를 고정해 넣고 모델 차이만 봅니다. 운영과 같은 vLLM 설정(FP8, temperature 0.1, max_tokens 4096)에서 답변 라운드처럼 생각(thinking)을 끄고 받았습니다. base 는 원래 쓰던 RedHatAI/Qwen3.5-9B-FP8-dynamic, teacher(27B) 는 학습 데이터의 Qwen3.8-27B 답변입니다.

지표	teacher(27B)	base	lora-v1	lora-v2	lora-v2b
빈 답변 ↓	0.0%	0.0%	0.0%	0.0%	0.0%
'못 찾음'으로 시작 ↓	7.3%	3.5%	6.7%	9.2%	8.0%
자료에 없는 숫자가 있는 답변 ↓	0.0%	2.5%	1.0%	1.3%	1.9%
자료에 없는 링크가 있는 답변 ↓	1.6%	3.8%	1.9%	2.9%	1.3%
자료에 없는 그림이 있는 답변 ↓	0.0%	1.6%	0.6%	0.6%	0.0%
그림을 넣은 답변 ↑	11.5%	11.1%	9.9%	10.5%	9.6%
Teacher 숫자 재현율 ↑	1.00	0.61	0.80	0.81	0.79
숫자 띄어쓰기('4 월') ↓	0.0%	65.9%	0.3%	0.3%	0.3%
코드·HTML 출력 ↓	0.0%	10.2%	0.0%	0.0%	0.3%
이모지 ↓	13.7%	15.9%	14.0%	12.7%	13.7%
답변 길이(중앙값)	868	921	802	832	842
길이 한도에서 잘림 ↓	—	0.0%	0.0%	0.0%	0.3%
소요 시간(중앙값, 초) ↓	—	14	11	11	11

RAG 형식은 세 LoRA가 비슷합니다(Teacher 숫자 재현율 0.79~0.81). v2b는 자료에 없는 링크(1.3%)·그림(0%)이 가장 적습니다.
v1·v2에 없던 퇴화 반복이 1건 있습니다(표를 그리다 같은 기호를 4096토큰 한도까지 반복). 표의 '코드·HTML 출력'과 '길이 한도에서 잘림' 0.3%가 이 1건입니다.

에이전트 형식

test 분할의 최근 공지·규정 질문 92개를 운영 앱의 에이전트 흐름(검색·공지 열람 도구, 첫 라운드만 생각, 앱 품질 검사)에 그대로 돌렸습니다. 모델이 직접 도구를 골라 자료를 찾으므로 검색부터 답변까지 전 과정을 봅니다.

지표	lora-v1	lora-v2	lora-v2b
빈 답변 ↓	0.0%	0.0%	0.0%
'못 찾음'으로 시작 ↓	16.3%	16.3%	19.6%
자료에 없는 숫자가 있는 답변 ↓	1.1%	0.0%	3.3%
자료에 없는 링크가 있는 답변 ↓	0.0%	0.0%	0.0%
자료에 없는 그림이 있는 답변 ↓	0.0%	0.0%	0.0%
그림을 넣은 답변 ↑	9.8%	9.8%	7.6%
숫자 띄어쓰기('4 월') ↓	0.0%	0.0%	0.0%
코드·HTML 출력 ↓	0.0%	0.0%	0.0%
이모지 ↓	12.0%	12.0%	12.0%
답변 길이(중앙값)	624	712	684
도구 없이 답함 ↓	1.1%	0.0%	0.0%
도구 호출 수(평균)	5.29	4.34	5.08
라운드(평균)	5.74	4.53	5.39
원래 공지 열람 ↑	28.3%	30.4%	28.3%
품질 검사 후 고쳐 씀 ↓	27.2%	17.4%	25.0%
길이 한도에서 잘림 ↓	0.0%	0.0%	0.0%
소요 시간(중앙값, 초) ↓	35	32	37

재작성 25.0%·도구 호출 5.08·라운드 5.39·중복 조회 차단 5.4%로 v2(17.4% · 4.34 · 4.53 · 3.3%)보다 v1(27.2% · 5.29 · 5.74 · 10.9%)에 가깝습니다. 같은 데이터에서 epoch 만 줄였더니 v2의 개선 대부분이 사라졌습니다. 다만 92문항 짝지은 검정에서 v2와의 차이는 유의하지 않습니다(재작성 p=0.19, 중복 조회 차단 p=0.69).
'못 찾음' 19.6%, 자료에 없는 숫자 3.3%로 세 모델 중 가장 높습니다. 다만 92개 표본이라 몇 건 차이(못 찾음 v2 15건 · v2b 18건)는 잡음일 수 있습니다.

학습

Teacher(Qwen3.8-27B)가 같은 RAG 프롬프트·도구로 만든 답변과 에이전트 기록을 학생(Qwen/Qwen3.5-9B)에 SFT 로 증류했습니다. 운영은 첫 라운드만 생각하고 이전 생각을 빼고 다음 라운드를 보내므로, 에이전트 기록 하나를 두 샘플로 나눠 학습 입력을 운영 입력과 같게 맞췄습니다.

데이터	원본 수	학습 샘플	토큰	손실을 거는 곳
answers (RAG 형식)	3,000	3,000	24.6M	최종 답변
traces · think (첫 라운드, 생각 포함)	716 × 2 (강화 148개는 × 4)	1,728	23.8M	첫 라운드 생각 + 도구 호출
traces · full (생각 제거)		1,604	33.0M	나머지 도구 호출 + 최종 답변

합계 6,332줄 · 81.4M 토큰 중 손실 토큰 2.99M. 그림이 든 기록 21개는 그림을 [그림] 자리 텍스트로 바꿔 넣었고, 32K 토큰 초과 샘플은 자르지 않고 뺐습니다.
강화: 검색을 바꿔 다시 찾아낸 기록(회복)과 처음부터 종료를 표시한 기록을 더 많이 넣었습니다.
데이터셋의 test 분할은 학습에 쓰지 않았습니다(평가용).
LoRA r=32, alpha=32, dropout=0.0 · 대상: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, in_proj_qkv, in_proj_z, out_proj (언어 모델의 full attention · MLP · Gated DeltaNet 투영, 비전 타워 제외)
bf16 LoRA (Unsloth) · 1 epoch · lr 0.0001 cosine · 실효 배치 16 · 최대 32,768 토큰 · H100 2.8시간
학습 손실(평균) 0.2448 · 최종 검증 손실 answers 0.2739 / traces 0.2608

한계

순천향대학교 공지·규정 RAG 챗봇(순라이프) 전용입니다. 학습에 쓴 시스템 프롬프트·도구 형식 밖에서는 원본 Qwen/Qwen3.5-9B 보다 나아진다는 보장이 없습니다.
비전 타워와 MTP(추측 디코딩) 가중치는 학습하지 않고 원본 그대로입니다. 추측 디코딩을 켜면 수락률이 원본보다 조금 낮을 수 있습니다.