Argilla

Argilla는 프로젝트에 고품질 데이터셋을 구축해야 하는 AI 엔지니어와 도메인 전문가를 위한 협업 도구입니다.

Argilla는 전통적인 NLP(텍스트 분류, NER 등), LLM(RAG, 선호도 튜닝 등), 멀티모달 모델(텍스트에서 이미지 생성 등)과 같은 다양한 AI 프로젝트에서 인간 피드백을 수집하는 데 사용할 수 있습니다. Argilla의 프로그래밍 방식은 지속적인 평가 및 모델 개선 워크플로를 구축할 수 있게 해줍니다. Argilla의 목표는 올바른 데이터와 모델에 대해 빠르게 반복함으로써 데이터 작업의 성과를 보장하는 것입니다.

사람들은 Argilla로 무엇을 만드나요?

커뮤니티는 Argilla를 사용하여 놀라운 오픈소스 데이터셋과 모델을 생성합니다.

오픈소스 데이터셋 및 모델

Argilla는 오픈소스에 일부 모델과 데이터셋도 기여했습니다.

• Cleaned UltraFeedback dataset는 Notus 및 Notux 모델의 파인튜닝에 사용되었습니다. 원본 UltraFeedback 데이터셋은 Argilla UI 필터를 사용하여 원본 데이터 생성 코드에 있는 버그를 찾아 보고하는 데 활용되었습니다. 이러한 데이터 큐레이션 과정을 기반으로 Argilla는 UltraFeedback 데이터셋의 새로운 버전을 구축하고 Notus를 파인튜닝하여 여러 벤치마크에서 Zephyr보다 우수한 성능을 달성했습니다.
• distilabeled Intel Orca DPO dataset는 improved OpenHermes model을 fine-tune하는 데 사용되었습니다. 이 데이터셋은 Argilla의 human curation과 distilabel의 AI feedback을 결합하여 구축되었으며, Intel Orca dataset의 개선된 버전으로, 원본 데이터셋으로 fine-tune된 모델보다 우수한 성능을 발휘합니다.

예시 사용 사례

레드 크로스, Loris.ai, Prolific와 같은 회사의 AI 팀은 Argilla를 사용하여 AI 프로젝트의 품질과 효율성을 높이고 있습니다. 이들은 AI 커뮤니티 미트업에서 경험을 공유했습니다.

• AI for good: 적십자사 발표는 우크라이나 위기 난민으로부터 접수된 요청을 분류하고 재분배하여 적십자사의 지원 프로세스를 효율화하는 과정에서 적십자사 분야 전문가와 AI 팀이 어떻게 협업했는지 보여줍니다.
• 고객 지원: Loris 미트업에서 AI 팀이 비지도 및 few-shot contrastive learning을 활용하여 다수의 다중 레이블 분류기에 대해 빠르게 검증하고 레이블이 붙은 샘플을 확보하는 방법을 시연했습니다.
• 연구 연구: Prolific의 쇼케이스에서 우리 플랫폼과의 통합을 발표했습니다. 이들은 이를 통해 데이터 수집 프로젝트를 자신의 주석 작업 인력에게 능동적으로 배분합니다. 이를 통해 Prolific은 연구 연구를 위한 고품질 데이터를 빠르고 효율적으로 수집할 수 있습니다.

필수 조건

먼저 Hugging Face 계정으로 로그인합니다:

hf auth login

argilla>=2.0.0이 설치되어 있는지 확인하세요:

pip install -U argilla

마지막으로, Argilla 서버와 UI를 배포해야 하며, 이는 Hugging Face Hub에서 쉽게 수행할 수 있습니다.

데이터셋 및 레코드 가져오기 및 내보내기

이 가이드에서는 Hugging Face Hub로 데이터셋을 가져오고 내보내는 방법을 보여줍니다.

Argilla에서는 데이터셋의 두 가지 주요 구성 요소를 가져오기/내보내기할 수 있습니다:

• rg.Settings에 정의된 데이터셋의 전체 구성입니다. 피드백 작업을 공유하거나 나중에 Argilla에서 복원하려는 경우 유용합니다.
• Metadata, Vectors, Suggestions, Responses를 포함한 데이터셋에 저장된 레코드입니다. Argilla 외부에서 데이터셋의 레코드를 사용하려는 경우 유용합니다.

Argilla 데이터셋을 Hugging Face Hub에 업로드

Argilla에서 Hugging Face Hub로 데이터셋을 push할 수 있습니다. 이는 데이터셋을 커뮤니티와 공유하거나 버전 관리를 하고 싶을 때 유용합니다. rg.Dataset.to_hub 메서드를 사용하여 Hugging Face Hub로 데이터셋을 push할 수 있습니다.

import argilla as rg

client = rg.Argilla(api_url="<api_url>", api_key="<api_key>")
dataset = client.datasets(name="my_dataset")
dataset.to_hub(repo_id="<repo_id>")

레코드 유무

위 예제는 데이터셋의 Settings와 레코드를 허브에 푸시합니다. 데이터셋의 구성만 푸시하려면 with_records 매개변수를 False로 설정할 수 있습니다. 이는 특정 데이터셋 템플릿에만 관심이 있거나 데이터셋 설정 및/또는 레코드에 변경 사항을 적용하려는 경우에 유용합니다.

dataset.to_hub(repo_id="<repo_id>", with_records=False)

Hugging Face Hub에서 Argilla 데이터셋을 가져오기

Hugging Face Hub에서 Argilla로 데이터셋을 가져올 수 있습니다. 데이터셋과 그 구성을 복원하려는 경우 유용합니다. rg.Dataset.from_hub 메서드를 사용하여 Hugging Face Hub에서 데이터셋을 가져올 수 있습니다.

import argilla as rg

client = rg.Argilla(api_url="<api_url>", api_key="<api_key>")
dataset = rg.Dataset.from_hub(repo_id="<repo_id>")

rg.Dataset.from_hub 메서드는 데이터셋 저장소에서 구성 및 레코드를 로드합니다. 레코드만 로드하려면 datasets.Dataset 객체를 rg.Dataset.log 메서드에 전달할 수 있습니다. 이를 통해 자체 데이터셋을 구성하고 기존 Hub 데이터셋을 재사용할 수 있습니다.

레코드 유무

위 예제는 허브에서 데이터셋의 Settings와 레코드를 가져옵니다. 데이터셋의 구성만 가져오려면 with_records 매개변수를 False로 설정할 수 있습니다. 이는 특정 데이터셋 템플릿에만 관심이 있거나 데이터셋 설정 및/또는 레코드에 변경 사항을 적용하려는 경우에 유용합니다.

dataset = rg.Dataset.from_hub(repo_id="<repo_id>", with_records=False)

데이터셋의 구성을 통해 데이터셋을 수정할 수 있습니다. 예를 들어, 다른 작업에 맞게 데이터셋의 설정을 조정할 수 있습니다:

dataset.settings.questions = [rg.TextQuestion(name="answer")]

이후 datasets 패키지의 load_dataset 메서드를 사용하여 데이터셋의 레코드를 기록하고, 데이터셋을 rg.Dataset.log 메서드에 전달할 수 있습니다.

hf_dataset = load_dataset("<repo_id>")
dataset.log(hf_dataset)

📚 리소스

• 🚀 Argilla 문서
• 🚀 Argilla 문서 - 가져오기/내보내기 가이드