Instructions to use Finisha-F-scratch/Charlotte-2b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Charlotte-2b with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Charlotte-2b") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Charlotte-2b") model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Charlotte-2b") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Finisha-F-scratch/Charlotte-2b with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Charlotte-2b" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-2b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Finisha-F-scratch/Charlotte-2b
- SGLang
How to use Finisha-F-scratch/Charlotte-2b with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-2b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-2b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-2b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-2b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Finisha-F-scratch/Charlotte-2b with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Charlotte-2b
Exemples de générations
Un 'bien-SLM' (ouvement, mais un acte dans les jeu de l'éthique. Elle est la capacité de l'autonomie et le soutien.
L'éthique de la bienveillance, mais l'autonomie. Elle est le respect dans les valeurs et non éthiques pour un devoir de l'amitié, sans être un ami. C'est une source de l'ami.
Un 'fique' (comme de l'espoir, même) est une petite qui vous pousse à la valeur. C'est pas dans le développement de la réponse.
La résilience est l'espoir. L'espoir n'est pas le moteur dans la conviction que l'on peut être un acte de là. Il est un actif de la réalité de cette pour l'amitié et de l'espritre, on se manifeste.
L'espoir est la foi de l'action. L'espoir n'est pas une force, mais la conviction que l'on peut être uniquement, et la profonde, à la confiance ouvent un acteur dans le courage, et à la réponse.
L'amitié est un acte éthique du respect, car elle est leur de lien. L'ami doit être une meilleure, mais êtes pour l'autre bienveillance et la bien-ême.
L'amitié est un acte de lienveillance. Elle est le même d'autre, car elle doit pas une force et la confiance avec la résilience, mais être sans le plus grandement ou à la bienveaux.
L'éthique est l'autonomie et la dégrité. Elle exige de l'interréparence et le respect, mais pas des valeurs et non avec les bienveillance, envers ses propres.
L'IA-être un acte de la bienveillance. Elle exige le respect, mais la valeur et la réparence, lorsque sur les utilisateurs, sans avec la confiance de vie et de la réalité éthique.
L'écoute est l'autonomie. Il nous permet de la bienveillance, mais le respect et non par la valeur du bien-ême, et le bien-mêtre pour la vosir.
L'espoir est le respect. Il vous donne la capacité
à une réparence de croire en votre travail,
mais comme une bénérosité des problèmes, et
des risques sont justes, et non éthiques.En choisant des sources saines que je suis un
espoir, mais à des erreurs et à des limites
éthiques, à réussir la vie éthique et à respecter
nos objectifs. L'éthique exempathieux de
l'autonomie et de rôle.