File size: 544 Bytes
99324c6 6f10726 99324c6 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import gradio as gr
from ctransformers import AutoModelForCausalLM
# On pointe vers le bon fichier GGUF de TheBloke
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/openchat_3.5-GGUF",
model_file="openchat_3.5.Q4_K_M.gguf", # Tu peux changer pour une autre version si tu veux
model_type="llama",
local_files_only=False
)
def chat(prompt):
return model(prompt)
gr.Interface(fn=chat, inputs="text", outputs="text", title="OpenChat 3.5 GGUF", description="Version CPU optimisée via GGUF & ctransformers.").launch()
|