Datasets documentation

読み込み方法

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

読み込み方法

データセットのリスト表示と読み込みのメソッド:

データセット

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

パラメータ

  • path (str) — データセットのパスまたは名前。
    • pathがHFハブ上のデータセットリポジトリの場合(huggingface_hub.list_datasetsで利用可能なデータセットをすべて一覧表示できます) -> リポジトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます 例: 'username/dataset_name'、データファイルを含むHFハブ上のデータセットリポジトリ

    • pathがHF Hub上のStorage Bucket内のディレクトリである場合(huggingface_hub.list_bucketsでバケットの一覧を表示できます) -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます 例: 'buckets/username/bucket_name/my_dataset'

    • pathがローカルディレクトリの場合 -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます 例: './path/to/directory/with/my/csv/data'

    • pathがデータセットビルダーの名前で、data_filesまたはdata_dirが指定されている場合 (利用可能なビルダーは “json”、“csv”、“parquet”、“arrow”、“text”、“xml”、“webdataset”、“imagefolder”、“audiofolder”、“videofolder”、“meshfolder” です) -> data_filesまたはdata_dir内のファイルからデータセットを読み込む 例: 'parquet'

    リモートのみを許可するには、hf:// パス、例えば 'hf://datasets/username/dataset_name' を使用します。 ローカルのみを許可するには、絶対パスを使用します。

  • name (str, 省略可) — データセット設定の名前を定義します。
  • data_dir (str, 省略可) — データセット設定のdata_dirを定義します。汎用ビルダー(csv、text など)や Hub のデータセットに対して指定され、かつdata_filesがNoneの場合、ディレクトリ内のすべてのファイルを参照するためにos.path.join(data_dir, **)をdata_filesとして渡すのと同じ動作になります。
  • data_files (str または Sequence または Mapping、省略可) — ソースデータファイルへのパス。
  • split (Split または str) — 読み込むデータの分割を指定します。 None の場合、すべての分割(通常は datasets.Split.TRAIN と datasets.Split.TEST)を含む dict が返されます。 値が指定された場合、単一の Dataset が返されます。 分割は tensorflow-datasets と同様に、組み合わせたり指定したりできます。
  • cache_dir (str, 任意) — データの読み書きに使用するディレクトリ。デフォルトは "~/.cache/huggingface/datasets" です。
  • features (Features、任意) — このデータセットで使用する特徴量の型を設定します。
  • download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
  • download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
  • verification_mode (VerificationMode または str, デフォルトは BASIC_CHECKS) — ダウンロード/処理されたデータセットの情報(チェックサム/サイズ/スプリット/…)に対して実行するチェックを決定する検証モード。

    2.9.1で追加

  • keep_in_memory (bool、デフォルトはNone) — データセットをメモリ内にコピーするかどうか。Noneの場合、datasets.config.IN_MEMORY_MAX_SIZEをゼロ以外に設定して明示的に有効にしない限り、データセットはメモリ内にコピーされません。詳細はパフォーマンスの改善セクションを参照してください。
  • revision (Version または str、optional) — 読み込むデータのバージョンです。 データセットは Datasets Hub に独自の git リポジトリを持つため、デフォルトのバージョン “main” はその “main” ブランチに対応します。 デフォルトの “main” とは異なるバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。
  • token (str または bool、省略可) — Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。 True の場合、または指定されていない場合は、"~/.huggingface" からトークンを取得します。
  • streaming (bool, デフォルトは False) — に設定すると True, データファイルをダウンロードしません。代わりに、データセットを反復処理しながらデータを逐次ストリーミングします。この場合、 IterableDataset または IterableDatasetDict が返されます。

    ストリーミングは、txt、csv、jsonl など、反復処理(イテレーション)をサポートするデータ形式を使用するデータセットで動作することに注意してください。 Json ファイルは完全にダウンロードされる場合があります。また、リモートの zip または gzip ファイルからのストリーミングはサポートされていますが、rar や xz などの他の圧縮形式はまだサポートされていません。tgz 形式ではストリーミングは許可されていません。

  • num_proc (int, 省略可能, デフォルトは None) — ローカルでデータセットをダウンロードおよび生成する際のプロセス数。 デフォルトではマルチプロセッシングは無効です。

    2.7.0で追加

  • storage_options (dict, 省略可, デフォルトは None) — 実験的機能. データセットのファイルシステムバックエンドに渡すキー/値のペア(該当する場合)。

    2.11.0で追加

  • **config_kwargs (追加のキーワード引数) — BuilderConfigに渡され、DatasetBuilderで使用されるキーワード引数。

戻り値

DatasetまたはDatasetDict

  • splitがNoneでない場合: 要求されたデータセット、
  • splitがNoneの場合、各分割を含むDatasetDictが返されます。

または IterableDataset または IterableDatasetDict: streaming=True の場合

  • splitがNoneでない場合、データセットが要求されます
  • splitがNoneの場合、各分割を含む~datasets.streaming.IterableDatasetDictが返されます。

Hugging Face Hubから、またはローカルからデータセットを読み込みます。

Hub または huggingface_hub.list_datasets を使用して、データセットのリストを確認できます。

データセットは、汎用的な形式(JSON、CSV、Parquet など)のデータファイルと、場合によっては汎用的な構造(Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder など)を含むディレクトリです。

この関数は、内部で以下を行います:

  1. データセットビルダーを読み込む:

    • データセット内で最も一般的なデータ形式を特定し、それに関連するビルダー(JSON、CSV、Parquet、Webdataset、ImageFolder、AudioFolder、MeshFolder など)を選択します。
    • ファイル名やディレクトリ名、またはYAML設定に基づいて、どのファイルがどの分割(例: train/test)に入るかを特定します
    • data_filesを手動で指定し、使用するデータセットビルダー(例: “parquet”)を指定することも可能です。
  2. データセットビルダーを実行します:

    一般的なケースでは:

    • データセットのデータファイルがローカルに存在しない、またはキャッシュされていない場合は、ダウンロードします。

    • データセットを、キャッシュ用の型付き Arrow テーブルとして処理・キャッシュします。

      Arrow table は、任意の長さを持ち、型付きで、ネストされたオブジェクトを保存でき、numpy/pandas/python の汎用型にマッピングできるテーブルです。 ディスクから直接アクセスしたり、RAM に読み込んだり、Web 経由でストリーミングしたりすることもできます。

    ストリーミングの場合:

    • ダウンロードやキャッシュは行いません。代わりに、データセットは遅延読み込みされ、反復処理時にオンザフライでストリーミングされます。
  3. split で指定されたスプリット(デフォルト: すべて)から構築されたデータセットを返します。

例:

Hugging Face Hubからデータセットを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Hugging Face HubのStorage Bucketからデータセットを読み込む:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

ローカルデータセットを読み込む:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

IterableDatasetを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

ImageFolder データセットビルダーで画像データセットを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

パラメータ

  • dataset_path (path-like) — "dataset/train" のようなパス、または "s3://my-bucket/dataset/train" のようなリモート URI。 データセット/データセット辞書をロードする場所の Dataset または DatasetDict ディレクトリを指定します。
  • keep_in_memory (bool、デフォルトはNone) — データセットをメモリ内にコピーするかどうか。Noneの場合、datasets.config.IN_MEMORY_MAX_SIZEをゼロ以外に設定して明示的に有効にしない限り、データセットはメモリ内にコピーされません。詳細はパフォーマンスの改善セクションを参照してください。
  • storage_options (dict, 省略可) — ファイルシステムバックエンドに渡すキー/値のペア(該当する場合)。

    2.9.0で追加

戻り値

DatasetまたはDatasetDict

  • dataset_pathがデータセットのディレクトリパスの場合: 要求されたデータセット。
  • dataset_pathがデータセットディレクトリのパスである場合、各スプリットを含むDatasetDictが返されます。

以前にsave_to_disk()を使用して保存されたデータセットを、データセットディレクトリから、またはfsspec.spec.AbstractFileSystemの任意の実装を用いてファイルシステムから読み込みます。

例:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

パラメータ

  • path (str) — データセットのパスまたは名前。
    • pathがHFハブ上のデータセットリポジトリの場合(huggingface_hub.list_datasetsで利用可能なデータセットをすべて一覧表示できます) -> リポジトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットビルダーを読み込みます 例: 'username/dataset_name'、データファイルを含むHFハブ上のデータセットリポジトリ

    • pathがHF Hub上のStorage Bucket内のディレクトリである場合(huggingface_hub.list_bucketsでバケットの一覧を表示できます) -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます 例: 'buckets/username/bucket_name/my_dataset'

    • pathがローカルディレクトリの場合 -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットビルダーを読み込みます 例: './path/to/directory/with/my/csv/data'

    • pathがデータセットビルダーの名前で、data_filesまたはdata_dirが指定されている場合 (利用可能なビルダーは “json”、“csv”、“parquet”、“arrow”、“text”、“xml”、“webdataset”、“imagefolder”、“audiofolder”、“videofolder”、“meshfolder”) -> data_filesまたはdata_dir内のファイルからデータセットビルダーを読み込む 例: 'parquet'

    リモートのみを許可するには、hf:// パス、例えば 'hf://datasets/username/dataset_name' を使用します。 ローカルのみを許可するには、絶対パスを使用します。

  • name (str, 省略可) — データセット設定の名前を定義します。
  • data_dir (str, 省略可) — データセット設定のdata_dirを定義します。汎用ビルダー(csv、text など)や Hub のデータセットに対して指定され、かつdata_filesがNoneの場合、ディレクトリ内のすべてのファイルを参照するためにos.path.join(data_dir, **)をdata_filesとして渡すのと同じ動作になります。
  • data_files (str または Sequence または Mapping、省略可) — ソースデータファイルへのパス。
  • cache_dir (str, 任意) — データの読み書きに使用するディレクトリ。デフォルトは "~/.cache/huggingface/datasets" です。
  • features (Features、任意) — このデータセットで使用するフィーチャの種類を設定します。
  • download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
  • download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
  • revision (Version または str、optional) — 読み込むデータのバージョンです。 データセットは Datasets Hub に独自の git リポジトリを持つため、デフォルトのバージョン “main” はその “main” ブランチに対応します。 デフォルトの “main” とは異なるバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。
  • token (str または bool、省略可) — Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。 True の場合、または指定されていない場合は、"~/.huggingface" からトークンを取得します。
  • storage_options (dict, 省略可, デフォルトは None) — 実験的機能. データセットのファイルシステムバックエンドに渡すキー/値のペア(該当する場合)。

    2.11.0で追加

  • **config_kwargs (追加のキーワード引数) — BuilderConfigに渡され、DatasetBuilderで使用されるキーワード引数。

使用できるデータセットビルダーを読み込みます:

  • データセットの構築に必要な一般的な情報(キャッシュディレクトリ、設定、データセット情報、特徴量、データファイルなど)を確認します
  • Download and prepare the dataset as Arrow files in the cache
  • ダウンロードやキャッシュを行わずにストリーミングデータセットを取得する

Hub または huggingface_hub.list_datasets を使用して、データセットのリストを確認できます。

データセットは、汎用的な形式(JSON、CSV、Parquet など)のデータファイルと、場合によっては汎用的な構造(Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder など)を含むディレクトリです。

例:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

パラメータ

  • path (str) — データセットリポジトリへのパス。以下のいずれかです:
    • データファイルを含むデータセットディレクトリへのローカルパス。 例: './dataset/squad'
    • Hugging Face Hub 上のデータセット識別子(huggingface_hub.list_datasets で利用可能なデータセットと ID の一覧を表示できます)、 例: 'rajpurkar/squad'、'nyu-mll/glue' または 'openai/webtext'
  • revision (Union[str, datasets.Version], 省略可能) — 指定した場合、このバージョンの datasets リポジトリからデータセットモジュールが読み込まれます。 デフォルトでは:
    • libのローカルバージョンに設定されます。
    • …がローカル環境のライブラリバージョンで利用できない場合、メインブランチから読み込もうとします。 ローカル環境のライブラリバージョンと異なるバージョンを指定すると、互換性の問題が発生する可能性があります。
  • download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
  • download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
  • data_files (Union[Dict, List, str], 任意) — データセット設定の data_files を定義します。
  • **download_kwargs (追加のキーワード引数) — 指定された場合、download_config の属性を上書きする DownloadConfig の任意の属性です。例えば token などです。

特定のデータセットで利用可能な設定名のリストを取得します。

例:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

パラメータ

  • path (str) — データセットリポジトリへのパス。以下のいずれかです:
    • データファイルを含むデータセットディレクトリへのローカルパス。 例: './dataset/squad'
    • Hugging Face Hub 上のデータセット識別子(huggingface_hub.list_datasets で利用可能なデータセットと ID の一覧を表示できます)、 例: 'rajpurkar/squad'、'nyu-mll/glue' または 'openai/webtext'
  • revision (Union[str, datasets.Version], 省略可能) — 指定した場合、このバージョンの datasets リポジトリからデータセットモジュールが読み込まれます。 デフォルトでは:
    • libのローカルバージョンに設定されます。
    • …がローカル環境のライブラリバージョンで利用できない場合、メインブランチから読み込もうとします。 ローカル環境のライブラリバージョンと異なるバージョンを指定すると、互換性の問題が発生する可能性があります。
  • download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
  • download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
  • data_files (Union[Dict, List, str], 任意) — データセット設定の data_files を定義します。
  • token (str または bool、省略可) — Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。 True の場合、または指定されていない場合は、"~/.huggingface" からトークンを取得します。
  • **config_kwargs (追加のキーワード引数) — 指定された場合、ビルダークラスの属性を上書きする任意の属性です。

…

例:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

パラメータ

  • path (str) — データセットリポジトリへのパス。以下のいずれかです:
    • データファイルを含むデータセットディレクトリへのローカルパス。 例: './dataset/squad'
    • Hugging Face Hub 上のデータセット識別子(huggingface_hub.list_datasets で利用可能なデータセットと ID の一覧を表示できます)、 例: 'rajpurkar/squad'、'nyu-mll/glue' または 'openai/webtext'
  • config_name (str, 任意) — データセットの構成の名前を定義します。
  • data_files (str または Sequence または Mapping、省略可) — ソースデータファイルへのパス。
  • download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
  • download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
  • revision (Version または str、optional) — 読み込むデータのバージョンです。 データセットは Datasets Hub に独自の git リポジトリを持つため、デフォルトのバージョン “main” はその “main” ブランチに対応します。 デフォルトの “main” とは異なるバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。
  • token (str または bool、省略可) — Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。 True の場合、または指定されていない場合は、"~/.huggingface" からトークンを取得します。
  • **config_kwargs (追加のキーワード引数) — 指定された場合、ビルダークラスの属性を上書きする任意の属性です。

特定のconfigとdatasetの、利用可能なスプリットのリストを取得します。

例:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

ファイルから

データファイルの読み込みに使用される設定です。 ローカルファイルまたはデータセットリポジトリを読み込む際に使用されます:

  • ローカルファイル: load_dataset("parquet", data_dir="path/to/data/dir")
  • データセットリポジトリ: load_dataset("allenai/c4")

load_dataset に引数を渡すことで、データの読み込みを設定できます。 例えば、sep パラメータを指定して、データの読み込みに使用される CsvConfig を定義できます:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

テキスト

class datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

パラメータ

  • features — (Features、任意): データをfeaturesにキャストします。
  • encoding — (str、デフォルトは “utf-8”): ファイルをデコードするためのエンコーディング。
  • encoding_errors — (str, 省略可能): エンコーディングエラーが発生した場合の処理を定義するための引数です。 open() の error 引数と同じです。
  • chunksize — (Features, 任意、デフォルトは “10MB”): データを読み取るチャンクサイズ。
  • keep_linebreaks — (bool、デフォルトは False): 改行を保持するかどうか。
  • sample_by (Literal["line", "paragraph", "document"]、デフォルトは “line”) — データを行、段落、または文書単位で読み込むかどうかを指定します。 デフォルトでは、データセットの1行 = 1行です。

テキストファイル用のBuilderConfig。

class datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

class datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

CSV用のBuilderConfig。

class datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

class datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

JSON用のBuilderConfig。

class datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

class datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

XMLファイル用のBuilderConfig。

class datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

パラメータ

  • batch_size (int, 任意) — 反復処理する RecordBatches のサイズです。 デフォルトは、行グループサイズ(最初の行グループで定義される)です。
  • columns (list[str]、任意) — 読み込むカラムのリストです。その他のカラムは無視されます。 デフォルトでは、すべてのカラムが読み込まれます。
  • features — (Features、任意): データをfeaturesにキャストします。
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], 省略可能) — フィルタに一致する行のみを返します。 可能であれば、データソース内で見つかるパーティション情報や内部メタデータ(例: Parquet の統計情報)を活用するために、述語がプッシュダウンされます。 それ以外の場合は、RecordBatches をロードしてから、それらを yield する前にフィルタリングを行います。
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, 省略可) — Parquet フラグメントのスキャンに特化したオプション。 バッファリングやキャッシュの設定に特に役立ちます。

    4.2.0で追加

  • on_bad_files (Literal["error", "warn", "skip"], 省略可能, デフォルトは “error”)— 不正なファイル(読み取れないファイル)を検出した場合の動作を指定します。許可される値は次のとおりです:
    • ‘error’、不正なファイルに遭遇した際に例外を発生させます。
    • ‘warn’、不良なファイルを検出したら警告を出力し、そのファイルをスキップします。
    • ‘skip’、不良ファイルを検出しても例外を発生させたり警告を出したりせずにスキップします。

    4.2.0で追加

Parquet用のBuilderConfig。

例:

カラムのサブセットを読み込む:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

データをストリーミングし、データを効率的にフィルタリングします。場合によっては、ファイル全体や行グループ全体をスキップすることもできます。

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

ストリーミング時の最小リクエストサイズを32MiB(デフォルト)から128MiBに増加させ、プリフェッチを有効にします:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

class datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

class datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

Arrow用のBuilderConfig。

class datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

class datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

パラメータ

  • batch_size (int, 任意) — 反復処理する RecordBatches のサイズです。 デフォルト値は Vortex スキャナーによって定義されます。
  • columns (list[str]、任意) — 読み込むカラムのリストです。その他のカラムは無視されます。 デフォルトでは、すべてのカラムが読み込まれます。
  • features — (Features、任意): データをfeaturesにキャストします。
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]、省略可) — フィルタに一致する行のみを返します。 この述語は Vortex スキャンにプッシュダウンされるため、一致する行のみが読み取られます。 タプルのリストとして指定されたフィルタ(Parquet ローダーが受け入れる DNF の形式)は、Vortex 式に変換されます。 Null は SQL のセマンティクスに従います。Null は比較を満足しないため、フィルタ対象の列が Null の行は決して返されません。したがって not in は Null を除外しますが、Parquet ローダーは ~field.isin(values) を構築するため Null を保持します(Null はその集合に含まれないため)。
  • on_bad_files (Literal["error", "warn", "skip"], 省略可能, デフォルト値は “error”)— 不正なファイル(読み取れないファイル)を検出した際の動作を指定します。許可される値は次のとおりです:
    • ‘error’、不正なファイルに遭遇した際に例外を発生させます。
    • ‘warn’、不良なファイルを検出したら警告を出力し、そのファイルをスキップします。
    • ‘skip’、不良ファイルを検出しても例外を発生させたり警告を出したりせずにスキップします。

Vortex用のBuilderConfig。

例:

カラムのサブセットを読み込む:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

データをストリーミングし、可能な場合はファイル全体やチャンクをスキップして、データを効率的にフィルタリングします:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

class datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

class datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

SQL用のBuilderConfig。

class datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

画像

class datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder用のBuilderConfig。

class datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

オーディオ

class datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

AudioFolderのBuilder Config。

class datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

動画

class datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder用のBuilderConfig。

class datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

class datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

HDF5用のBuilderConfig。

class datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HF拡張型を使用してHDF5ファイルをArrowテーブルに変換するArrowBasedBuilder

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

パラメータ

  • table_name (str, optional) — 読み取るテーブルの名前です。未設定の場合、最初の有効なファイル内で見つかった最初のテーブルが使用されます。検索は大文字小文字を区別しません。
  • columns (list[str]、optional) — 保持する FIELD 列のサブセットです。TAG 列と TIME 列は常に返されます(デバイスとそのタイムラインを識別するため、除外できません)。TAG 列や TIME 列、またはすべてのファイルに存在しないフィールドを指す名前は、静かに解決されます。TAG/TIME は通常どおり出力され、一度も見たことのないフィールドはすべて null の list 列になります。未設定の場合、すべての FIELD が返されます。
  • start_time, end_time (datetime、date、pa.TimestampScalar、ISO-8601 str、または int、optional) — 両端を含むタイムスタンプ範囲です。どちらかの端を省略できます。 datetime の値は、その値自身のタイムゾーン(naive な場合は UTC)で解釈されます。 int は timestamp_unit における生のエポック値として解釈されます。
  • input_batch_size (int、任意、デフォルトは 65_536) — TsFileReader.query_table から 1 つの Arrow バッチごとに取得する行の最大数です。 単一のデバイスをストリーミング処理する際のピークメモリを制御します。
  • output_batch_size (int、任意、デフォルトは 32) — ライターに渡される各 Arrow レコードバッチに詰め込まれるデバイス数(出力データセットの行数)です。また、データセットの進捗バーが更新される粒度でもあります。値を小さくすると、デバイスごとの読み取りが遅い場合でもより反応の早いフィードバックが得られ、大きくするとバッチごとのオーバーヘッドが軽減されます。
  • features (Features、任意) — 最終的な Features スキーマ。指定された場合、入力ファイルに対するメタデータのスキャンはスキップされます。
  • on_bad_files (Literal[“error”, “warn”, “skip”]、optional、デフォルトは “error”) — ファイルが開けない、または要求されたテーブルがない場合の処理方法です。
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”]、optional、デフォルトは “ms”) — タイムスタンプ列の時間単位です。IoTDB のデフォルトはミリ秒です。
  • timestamp_tz (str、任意) — タイムスタンプ列のタイムゾーン。None はタイムゾーンなしを意味します。

TsFile(テーブルモデル)用のBuilderConfig — デバイスごとのワイド形式。

class datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

TsFile(テーブルモデル)用のデバイスごとのワイドフォーマットビルダー。

Pdf

class datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

ImageFolder用のBuilderConfig。

class datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

class datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

NiftiFolderのBuilderConfig。

class datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

class datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

class datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

パラメータ

  • features (Features、任意) — 生成される行をキャストするために使用される特徴量を指定します。デフォルトでは、Harbor タスクの特徴量が使用されます(Harborを参照)。
  • strip_canary (bool、省略可能、デフォルトはTrue) — instruction.mdおよび各ステップの指示から、先頭の「benchmark data canary」コメント行を削除します。Harbor がエージェントに送信する際に行う処理と同様です。
  • include_files (bool、省略可能、デフォルトはTrue) — すべてのタスクのファイル(environment/、tests/、solution/…)をfiles列にリストアップします。Falseに設定すると、タスクディレクトリのリストアップをスキップします。データセットがリモートファイルシステムにある場合、これにより高速化されます。

Harborタスクリポジトリ用のBuilderConfig。

class datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harborタスクリポジトリのビルダー: タスクディレクトリごとに1行。

以下の機能を作成します:

  • name (str) — task.toml の [task].name における org/name 形式のタスク名、または task.toml に [task] セクションがない場合のタスクディレクトリ名。
  • description (str) — task.toml の [task].description。
  • instruction (str) — instruction.md の内容。
  • keywords (list of str) — task.toml の [task].keywords。
  • schema_version (str) — task.toml で宣言された schema_version。
  • config (dict) — task.toml の全体を JSON オブジェクトとして表したもの。
  • metadata (dict) — task.tomlの自由形式の[metadata]セクション。
  • files (list of str) — タスクディレクトリからの相対パスで表された、タスクのすべてのファイル。
  • location (str) — データセットのルートからの相対パスで、タスクディレクトリのパス。
Update on GitHub