# Hub에 데이터셋 공유하기

[Hub](https://huggingface.co/datasets)에는 커뮤니티가 큐레이션한 인기 연구 데이터셋이 방대하게 수집되어 있습니다. ML 커뮤니티의 성장과 모든 사용자의 진전을 가속화하기 위해, 데이터셋을 Hub에 공유해 주시기를 권장합니다. 모든 기여를 환영하며, 데이터셋을 추가하는 것은 드래그 앤 드롭만으로 가능합니다!

아직 계정이 없다면 [Hugging Face Hub 계정을 만드는 것](https://huggingface.co/join)부터 시작하세요.

## Hub UI로 업로드

Hub의 웹 기반 인터페이스를 사용하면 개발 경험이 없는 사용자도 데이터셋을 업로드할 수 있습니다.

### 리포지토리 생성

레포지토리는 리비전 히스토리를 포함하여 모든 데이터셋 파일을 호스팅하므로, 데이터셋의 여러 버전을 저장할 수 있습니다.

1. 프로필을 클릭하고 **New Dataset**을 선택하여 새로운 데이터셋 저장소를 생성합니다.
2. 데이터셋 이름을 지정하고 공개 데이터셋인지 비공개 데이터셋인지 선택합니다. 공개 데이터셋은 누구나 볼 수 있지만, 비공개 데이터셋은 사용자 본인 또는 조직의 구성원만 볼 수 있습니다.

    

### 데이터셋 업로드

1. Once you've created a repository, navigate to the **Files and versions** tab to add a file. Select **Add file** to upload your dataset files. We support many text, audio, and image data extensions such as `.csv`, `.mp3`, and `.jpg` among many others. For text data extensions like `.csv`, `.json`, `.jsonl`, and `.txt`, we recommend compressing them before uploading to the Hub (to `.zip` or `.gz` file extension for example).

    텍스트 파일 확장자는 기본적으로 Git LFS에서 추적되지 않으며, 크기가 10MB를 초과하면 커밋 및 업로드되지 않습니다. 추적 대상 파일 확장자의 전체 목록은 저장소의 `.gitattributes` 파일을 확인하세요. 이 튜토리얼에서는 크기가 작으므로 다음 샘플 `.csv` 파일(train.csv, test.csv)을 사용할 수 있습니다.

    

2. 데이터셋 파일을 드래그 앤 드롭하고 간단한 설명이 포함된 커밋 메시지를 추가하세요.

    

3. 데이터셋 파일을 업로드하면 해당 파일은 데이터셋 저장소에 저장됩니다.

    

### Dataset 카드 만들기

Dataset 카드를 추가하는 것은 사용자가 해당 dataset을 쉽게 찾고 책임감 있게 사용할 수 있도록 하는 데 매우 유용합니다.

1. **Dataset Card 만들기**를 클릭하여 Dataset 카드를 만듭니다. 이 버튼은 저장소에 `README.md` 파일을 생성합니다.

    

2. 상단에는 **Metadata UI**가 있으며, license, language, task categories 등 여러 필드에서 선택할 수 있습니다. 이러한 태그는 사용자가 Hub에서 데이터셋을 발견하는 데 가장 중요합니다. 각 필드에서 옵션을 선택하면 데이터셋 카드 상단에 자동으로 추가됩니다.

    적절한 태그를 선택하는 데 도움이 되는 [Dataset Card specifications](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1)를 참고할 수도 있습니다. 여기에는 `annotations_creators`와 같이 필수 사항은 아니지만 완전한 태그 옵션 세트가 포함되어 있습니다.

    

3. 에디터 상단의 **Import dataset card template** 링크를 클릭하면 데이터셋 카드 템플릿이 자동으로 생성됩니다. 템플릿을 작성하는 것은 커뮤니티에 데이터셋을 소개하고 사용자가 어떻게 사용할 수 있는지 이해하는 데 도움이 되는 좋은 방법입니다. 좋은 Dataset card의 예시를 자세히 보려면 [CNN DailyMail Dataset card](https://huggingface.co/datasets/cnn_dailymail)를 참고하세요.

### 데이터셋 로드

데이터셋이 Hub에 저장되면 누구나 [load_dataset()](/docs/datasets/v5.2.0/ko/package_reference/loading_methods#datasets.load_dataset) 함수로 로드할 수 있습니다:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
```

## Python으로 업로드

프로그램을 통해 데이터셋을 업로드하는 것을 선호하는 사용자는 [huggingface_hub](https://huggingface.co/docs/huggingface_hub/index) 라이브러리를 사용할 수 있습니다. 이 라이브러리를 사용하면 Python에서 Hub와 상호작용할 수 있습니다.

1. 라이브러리를 설치하는 것으로 시작합니다:

```bash
pip install huggingface_hub
```

2. Python에서 Hub에 데이터셋을 업로드하려면 Hugging Face 계정에 로그인해야 합니다:

```bash
hf auth login
```

3. [`push_to_hub()`](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.DatasetDict.push_to_hub) 함수를 사용하여 파일을 저장소에 추가하고 커밋한 후 푸시하세요:

```py
>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")
```

데이터셋을 비공개로 설정하려면 `private` 매개변수를 `True`로 설정하세요. 이 매개변수는 저장소를 처음 생성할 때만 작동합니다.

```py
>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)
```

새로운 구성(또는 부분 집합)을 데이터셋에 추가하거나 새로운 분할(train/validation/test)을 추가하려면 [Dataset.push_to_hub()](/docs/datasets/v5.2.0/ko/package_reference/main_classes#datasets.Dataset.push_to_hub) 문서를 참조하세요.

### 개인정보

비공개 데이터셋은 사용자 본인만 접근할 수 있습니다. 마찬가지로 조직 내에서 데이터셋을 공유하면, 해당 조직의 구성원도 데이터셋에 접근할 수 있습니다.

`token` 매개변수에 인증 토큰을 제공하여 비공개 데이터셋을 로드합니다:

```py
>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)
```

## 다음 단계는 무엇인가요?

축하합니다, 튜토리얼을 완료했습니다! 🥳

여기서 다음으로 진행할 수 있습니다:

- 🤗 Datasets의 다른 함수를 사용하여 [데이터셋을 처리](process)하는 방법에 대해 자세히 알아보세요.
- [대형 데이터셋을 스트리밍](stream)하여 로컬로 다운로드하지 않습니다.
- [데이터셋 분할 및 구성을 정의](repository_structure)하고 커뮤니티와 데이터셋을 공유하세요.

🤗 Datasets에 대한 질문이 있으시면 [포럼](/static-proxy?url=https%3A%2F%2Fdiscuss.huggingface.co%2Fc%2Fdatasets%2F10)%EC%97%90 참여하여 커뮤니티에 질문해 주세요.

