Polars

Polarsは、OLAPクエリエンジンを基盤とするインメモリDataFrameライブラリです。高速で使いやすく、オープンソースです。

バージョン1.2.0以降、PolarsはHugging Faceファイルシステムへのネイティブサポートを提供します。これにより、Polarsクエリオプティマイザーのすべての利点（例：述語プッシュダウンおよび射影プッシュダウン）が適用され、クエリを完了するために必要なデータのみが読み込まれます。これにより、特に大規模なデータセットにおいて、読み込みが大幅に高速化されます（最適化を参照）。

Hugging Face パス (hf://) を使用して、Hub 上のデータにアクセスできます:

はじめる

始めるには、環境にpip installでPolarsをインストールするだけです:

pip install polars

Polarsをインストールした後、Hugging FaceのURLに基づいてデータセットを直接クエリできます。これには他の依存関係は必要ありません。

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polarsには2つのAPIが用意されています: レイジーAPI (scan_parquet) とイージアAPI (read_parquet)。インタラクティブなワークロードにはイージアAPIを、パフォーマンス重視の処理にはクエリ最適化がより行えるためレイジーAPIの使用を推奨します。このトピックの詳細については、Polarsユーザーガイドを参照してください。

Polarsはglobbingをサポートしており、複数のファイルを一度にダウンロードして単一のDataFrameに読み込むことができます。

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

Hugging Face URL

Hugging Face の URL は、username と dataset 名から次のように構築できます。

• hf://datasets/{username}/{dataset}/{path_to_file}

パスには、**/*.parquet のようなグロブパターンを含めることができ、パターンに一致するすべてのファイルをクエリできます。また、サポートされていないファイル形式については、@~parquet branch を使用して、Hugging Face が提供する自動変換された parquet ファイルを利用できます:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}