gemma-4-e4b-it-mxfp4-mlx

Checkpoint MLX quantifie pour Apple Silicon, derive de google/gemma-4-E4B-it.

Ce depot publie une variante locale preparee pour Oriloq MLX. L'objectif n'est pas de reproduire a l'identique une quantification communautaire standard, mais de diffuser un checkpoint telechargeable tel quel par identifiant de repo Hugging Face.

Resume

• Famille : Gemma 4 E4B
• Base model : google/gemma-4-E4B-it
• Repo id conseille : NeoRoth/gemma-4-e4b-it-mxfp4-mlx
• Modalites : text, image, audio
• Architecture : dense
• Couches texte : 42
• Profil public de quantification : MXFP4 4-bit + attention affine 8-bit
• Quantification par defaut : mxfp4 4-bit, group_size=32
• Overrides par couche : 168
• Taille totale des poids : 4.97 GB
• Plus gros shard : 4.97 GB

Ce qui differe des quantifications habituelles

• Quantification non uniforme : les projections d'attention utilisent 168 overrides par couche en affine 8-bit, alors que le mode global reste en MXFP4 4-bit.
• Les composants sensibles restent en haute precision quand c'est necessaire : tours vision/audio, projecteurs multimodaux, normes et router MoE ne sont pas traites comme de simples poids MXFP4 uniformes.
• Les embeddings token suivent la politique locale du checkpoint. Sur les variantes standard publiees ici, ils ne sont pas presentes comme une quantification HF canonique quelconque : il s'agit d'un export MLX prepare pour ce projet.

Fichiers de poids

• model.safetensors

Format et compatibilite

• Format de repo : safetensors + config.json + tokenizer/chat template.
• Ce depot est pense pour les chargeurs MLX capables de lire la section quantization de config.json, y compris les overrides par couche.
• Le repo est publie en tant que checkpoint MLX complet. Il ne s'agit pas d'un simple alias vers le modele Google original.

Telechargement

Python

from huggingface_hub import snapshot_download

local_path = snapshot_download("NeoRoth/gemma-4-e4b-it-mxfp4-mlx")
print(local_path)

CLI Hugging Face

hf download NeoRoth/gemma-4-e4b-it-mxfp4-mlx --local-dir ./models/gemma-4-e4b-it-mxfp4-mlx

Notes de publication

• Licence du checkpoint derivee du modele de base : Apache 2.0.
• Attribution recommandee : mentionner google/gemma-4-E4B-it comme modele source.
• Les differences de quantification sont documentees ici pour eviter de faire passer ce checkpoint pour une quantification MXFP4 "standard" ou "officielle".