Instructions to use ghost-x/ghost-7b-alpha-gguf with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use ghost-x/ghost-7b-alpha-gguf with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="ghost-x/ghost-7b-alpha-gguf")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("ghost-x/ghost-7b-alpha-gguf", dtype="auto")

llama-cpp-python

How to use ghost-x/ghost-7b-alpha-gguf with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="ghost-x/ghost-7b-alpha-gguf",
	filename="ghost-7b-alpha-Q4_0.gguf",
)

llm.create_chat_completion(
	messages = [
		{
			"role": "user",
			"content": "What is the capital of France?"
		}
	]
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use ghost-x/ghost-7b-alpha-gguf with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf ghost-x/ghost-7b-alpha-gguf:Q4_K_M

Use Docker

docker model run hf.co/ghost-x/ghost-7b-alpha-gguf:Q4_K_M

LM Studio
Jan

vLLM

How to use ghost-x/ghost-7b-alpha-gguf with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "ghost-x/ghost-7b-alpha-gguf"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ghost-x/ghost-7b-alpha-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/ghost-x/ghost-7b-alpha-gguf:Q4_K_M

SGLang

How to use ghost-x/ghost-7b-alpha-gguf with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "ghost-x/ghost-7b-alpha-gguf" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ghost-x/ghost-7b-alpha-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "ghost-x/ghost-7b-alpha-gguf" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ghost-x/ghost-7b-alpha-gguf",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use ghost-x/ghost-7b-alpha-gguf with Ollama:
```
ollama run hf.co/ghost-x/ghost-7b-alpha-gguf:Q4_K_M
```

Unsloth Studio

How to use ghost-x/ghost-7b-alpha-gguf with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for ghost-x/ghost-7b-alpha-gguf to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for ghost-x/ghost-7b-alpha-gguf to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for ghost-x/ghost-7b-alpha-gguf to start chatting

Docker Model Runner
How to use ghost-x/ghost-7b-alpha-gguf with Docker Model Runner:
```
docker model run hf.co/ghost-x/ghost-7b-alpha-gguf:Q4_K_M
```

Lemonade

How to use ghost-x/ghost-7b-alpha-gguf with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull ghost-x/ghost-7b-alpha-gguf:Q4_K_M

Run and chat with the model

lemonade run user.ghost-7b-alpha-gguf-Q4_K_M

List all available models

lemonade list

cần hướng dẫn cách config chạy trên ollama cho đúng

by huanbd - opened Apr 25, 2024

Discussion

huanbd

Apr 25, 2024

Xin chào, mình có down model về chạy trên ollama nhưng khi chat model toàn tự trả lời, mình nghĩ chắc config sai gì đó. Bạn có thể hướng dẫn được không?

ví dụ:

user chat: hi
model trả lời: ệu quả hơn trong các nhiệm vụ đa nhiệm.

**3️⃣ Lập kế hoạch:** Lên kế hoạch cho ngày, tuần hoặc thậm chí tháng của bạn sẽ giúp bạn tập 
trung vào những việc quan trọng nhất và tiết kiệm thời gian cho các nhiệm vụ không quan trọng.

**4️⃣ Đặt ra ranh giới:** Đặt ra ranh giới rõ ràng giữa công việc và cuộc sống cá nhân sẽ giúp bạn
tránh bị choáng váng và có thời gian chăm sóc bản thân.

**5️⃣ Đừng ngại nghỉ ngơi:** Nghỉ ngơi khi cần thiết sẽ giúp bạn tập trung và hoàn thành công việc
hiệu quả hơn.

**6️⃣ Học cách nói "không": Từ chối những lời đề nghị khiến bạn khó chịu sẽ giúp bạn bảo vệ thời 
gian và sức khỏe của mình.

**7️⃣ Tự động hóa:** Sử dụng các công cụ tự động hóa như lịch, danh sách việc cần làm và ứng dụng 
quản lý email có thể giúp bạn tiết kiệm thời gian và cải thiện hiệu suất công việc.

**8️⃣ Đừng quên chăm sóc sức khỏe:** Chăm sóc sức khỏe thể chất và tinh thần của bạn rất qua
trọng để duy trì hiệu suất công việc tốt. Hãy dành thời gian cho hoạt động thể chất, ngủ đủ giấc
và dành thời gian cho những hoạt động giải trí yêu thích của bạn.

**9️⃣ Hãy linh hoạt:** Cách làm việc hiệu quả sẽ khác nhau tùy theo từng người và tình huống c
thể. Hãy tìm ra phương pháp phù hợp nhất với bạn và điều chỉnh theo nhu cầu của mình.

**1️⃣0️⃣ Hãy kiên trì:** Cải thiện hiệu suất công việc là một quá trình liên tục. Đừng nản chí khi
gặp phải khó khăn, hãy kiên trì và tiếp tục thực hiện các bước này cho đến khi bạn đạt được mục
tiêu.

user chat: xin chao
model trả lời: mừng! Chúc bạn thành công trong việc quản lý thời gian hiệu quả hơn nhé! 💪🏻🌻

model đang viết tiếp chứ ko phải trả lời mình

lamhieu

Ghost X org Apr 25, 2024

Can you provide me with the materials you used to get started with ollama?

huanbd

Apr 25, 2024

các bước mình dùng model trong ollama như sau:

download model về, mình dùng bản Q4_0, cho vào thư mục tên là ghost
tạo file Modelfile trong thư mục ghost có nội dung như sau: FROM ./ghost-7b-alpha-Q4_0.gguf
cd vào thư mục ghost chạy câu lệnh để tạo model trong ollama: ollama create ghost -f Modelfile
sau đó chạy model: ollama run ghost

và kết quả ra như ở trên

lamhieu

Ghost X org Apr 26, 2024

@huanbd The Modelfile is having content the same below ?

FROM ./ghost-7b-alpha.Q4_0.gguf

# Set the temperature, higher is more creative, lower is more coherent.
PARAMETER temperature 0.4

# Set up the system prompt, 
# which can be changed below according to your wishes.
SYSTEM """
You are a helpful assistant.
"""

If true, please give me your usage.

lamhieu

Ghost X org Apr 26, 2024

I found out, you need to add TEMPLATE to Modelfile. Please refer to the Modelfile content below.

FROM ./ghost-7b-alpha.Q4_0.gguf

# Set the temperature, higher is more creative, lower is more coherent.
PARAMETER temperature 0.2

# Set up the system prompt, 
# which can be changed below according to your wishes.
SYSTEM """
You are a helpful assistant.
"""

TEMPLATE """{{ if .System }}<|system|>\n
{{ .System }}</s>
{{ end }}{{ if .Prompt }}<|user|>\n
{{ .Prompt }}</s>
{{ end }}<|assistant|>\n
"""

huanbd

Apr 26, 2024

@lamhieu cảm ơn bạn đã support, model trả lời câu hỏi của mình rồi

user : xin chao
model: ban xin chao ban! Ban la mot người dùng thân thiện, luôn sẵn sàng giúp đỡ mọi người. Ban muốn hỏi 
về chủ đề gì hôm nay?

user: bạn là ai
model: ban la trợ lý thông minh, luôn sẵn sàng giúp đỡ mọi người. Ban được tạo ra bởi Lâm Hiếu, một người
rất thông minh và ham học họa. Ban luôn cố gắng học hỏi và tiếp thu nhận kiến thức mới để trở
thành một trợ lý hữu ích nhất có thể.

user: tên là gì
model: ban không có tên, ban chỉ là một trợ lý thông minh được tạo ra bởi Lâm Hiếu. Ban luôn sẵn sàng
giúp đỡ mọi người và luôn cố gắng học hỏi và tiếp thu nhận kiến thức mới để trở thành một trợ lý 
hữu ích nhất có thể.

xin chào, xong tự nhận tên là ban luôn :D , nhớ chủ lắm :)

lamhieu

Ghost X org Apr 26, 2024

@huanbd Hahaaa, to set up your assistant's personal name and username, set it up at the system prompt. Set up clearly what you want so that the model works better for you. 👻

lamhieu

Ghost X org Apr 26, 2024

please like, follow and share if you like the model 🤯

huanbd

Apr 26, 2024

xin chào thôi mà, "Tớ sẽ cố gắng ..." nhiều quá :)

user: xin chào
model: Xin chào bạn, bạn có thể hỏi tớ bất kỳ câu hỏi nào về Việt Nam. Tớ sẽ cố gắng trả lời bạn một cách chi tiết và chính xác nhất có thể. Nếu tớ không biết câu trả lời, tớ sẽ thừa nhận rằng tớ không biết và sẽ giúp bạn tìm kiếm thông tin. Tớ cũng sẽ cố gắng tránh đưa ra câu trả lời chung chung, mà sẽ cố gắng trả lời chi tiết và dễ hiểu nhất có thể. Tớ không sẽ đưa ra câu trả lời theo kiểu "vì vậy", mà sẽ cố gắng giải thích rõ ràng và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ cảm thán, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ biệt, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ kỹ thuật, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chuyên ngành, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ liên quan, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ so sánh, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ nhân cách hóa, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ cường điệu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ nghiêm khắc, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ danh từ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ số, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ quan hệ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ trạng thái, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ nguyên mẫu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ hành động, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ quan hệ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ trạng thái, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ nguyên mẫu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ hành động, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ quan hệ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ trạng thái, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ nguyên mẫu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ hành động, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ quan hệ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ trạng thái, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ nguyên mẫu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ hành động, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ quan hệ, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ trạng thái, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ nguyên mẫu, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử dụng nhiều từ chỉ hành động, mà sẽ cố gắng sử dụng ngôn ngữ đơn giản và dễ hiểu nhất có thể. Tớ cũng sẽ cố gắng tránh sử

lamhieu

Ghost X org Apr 26, 2024

again, it depends on your configuration and setup.

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment