Documentação do Hugging Face Hub

O Hugging Face Hub é a plataforma de referência em IA para ML aberto. Ele hospeda mais de 2 milhões de modelos, 1,5 milhão de conjuntos de dados e 1,5 milhão de aplicativos de IA (Spaces), todos abertos e publicamente disponíveis. Além da IA aberta, o Hub também é uma excelente plataforma de colaboração para equipes internas e privadas. Explore, experimente, colabore e construa, tudo em um só lugar! 🤗

O que é o Hugging Face Hub?

Estamos ajudando a comunidade a trabalhar em conjunto rumo ao objetivo de avançar o Machine Learning 🔥.

Nenhuma empresa, incluindo os gigantes da tecnologia, conseguirá “resolver a IA” sozinha – a única forma de alcançarmos isso é compartilhando conhecimento e recursos em uma abordagem centrada na comunidade. Estamos construindo a maior coleção open source de modelos, conjuntos de dados e demonstrações no Hugging Face Hub para democratizar e avançar o ML para todos 🚀.

Incentivamos você a ler o Código de Conduta e as Diretrizes de Conteúdo para se familiarizar com os valores que esperamos que os membros da nossa comunidade sigam 🤗.

O que você pode encontrar no Hub?

O Hugging Face Hub hospeda repositórios baseados em Git, que são pastas com controle de versão e podem conter todos os seus arquivos. Para armazenamento de objetos mutáveis sem controle de versão, o Hub também oferece Storage Buckets.

Nele, você poderá fazer upload e descobrir…

• Modelos: hospedagem dos modelos mais recentes e avançados para tarefas de LLM, texto, visão e áudio
• Conjuntos de dados: apresentando uma grande variedade de dados para diferentes domínios e modalidades
• Spaces: aplicativos interativos para demonstrar modelos de ML diretamente no seu navegador

O Hub oferece versionamento, histórico de commits, diffs, branches e mais de uma dúzia de integrações com bibliotecas! Todos os repositórios são construídos sobre o Xet, uma nova tecnologia para armazenar arquivos grandes de forma eficiente dentro do Git, dividindo os arquivos em chunks únicos de maneira inteligente e acelerando os uploads e downloads.

Você pode saber mais sobre os recursos que todos os repositórios compartilham na documentação de Repositórios.

Modelos

Você pode descobrir e usar dezenas de milhares de modelos de ML de código aberto compartilhados pela comunidade. Para promover o uso e o desenvolvimento responsáveis de modelos, os repositórios de modelos são equipados com Model Cards para informar os usuários sobre as limitações e os vieses de cada modelo. Metadados adicionais, como metadados sobre tarefas, idiomas e resultados de avaliação, podem ser incluídos, com gráficos de métricas de treinamento adicionados se o repositório contiver TensorBoard traces. Também é fácil adicionar um inference widget ao seu modelo, permitindo que qualquer pessoa interaja com o modelo diretamente no navegador! Para acesso programático, uma API serverless é fornecida pelos Inference Providers.

Para enviar modelos para o Hub, ou baixar modelos e integrá-los ao seu trabalho, explore a documentação de Modelos. Você também pode escolher entre mais de uma dúzia de bibliotecas que suportam o Hub, como 🤗 Transformers, Asteroid e ESPnet.

Conjuntos de dados

O Hub abriga mais de 500 mil conjuntos de dados públicos em mais de 8 mil idiomas, que podem ser usados para uma ampla variedade de tarefas em NLP, Visão Computacional e Áudio. O Hub torna simples encontrar, baixar e enviar conjuntos de dados. Os conjuntos de dados são acompanhados por documentação extensa na forma de Dataset Cards e Data Studio para que você possa explorar os dados diretamente no seu navegador. Embora muitos conjuntos de dados sejam públicos, organizações e indivíduos podem criar conjuntos de dados privados para atender a questões de licenciamento ou privacidade. Você pode saber mais sobre Datasets aqui na documentação do Hugging Face Hub.

A biblioteca 🤗 datasets permite interagir com os conjuntos de dados de forma programática, para que você possa usar facilmente conjuntos de dados do Hub em seus projetos. Com uma única linha de código, você pode acessar os conjuntos de dados; mesmo que sejam tão grandes que não caibam no seu computador, você pode usar streaming para acessar os dados de forma eficiente.

Spaces

Spaces é uma maneira simples de hospedar aplicativos de demonstração de ML no Hub. Eles permitem que você construa seu portfólio de ML, apresente seus projetos em conferências ou a partes interessadas e trabalhe colaborativamente com outras pessoas no ecossistema de ML.

Atualmente, oferecemos suporte a dois SDKs em Python incríveis (Gradio e Streamlit) que permitem criar aplicativos em poucos minutos. Os usuários também podem criar Spaces estáticos, que são páginas simples de HTML/CSS/JavaScript, ou implantar qualquer aplicativo baseado em Docker.

Se você precisa de poder de GPU para suas demonstrações, experimente o ZeroGPU: ele fornece dinamicamente GPUs NVIDIA RTX Pro 6000 Blackwell, em tempo real, apenas quando necessário.

Depois de explorar alguns Spaces (dê uma olhada no nosso Space da Semana!), acesse a documentação dos Spaces para aprender tudo sobre como criar o seu próprio Space. Você também poderá fazer o upgrade do seu Space para rodar em uma GPU ou em outro hardware acelerado. ⚡️

Buckets de Armazenamento

Os Storage Buckets oferecem armazenamento de objetos semelhante ao S3 no Hugging Face, impulsionado pelo backend de armazenamento Xet. Diferentemente dos repositórios (que são baseados em git e rastreiam o histórico de arquivos), os buckets são contêineres de armazenamento de objetos remotos projetados para arquivos em larga escala com deduplicação endereçável por conteúdo. Eles são projetados para casos de uso em que você precisa de armazenamento simples, rápido e mutável, como armazenar checkpoints de treinamento, logs, artefatos intermediários ou qualquer grande coleção de arquivos que não necessite de controle de versão.

Organizações

Empresas, universidades e organizações sem fins lucrativos são uma parte essencial da comunidade do Hugging Face! O Hub oferece Organizações, que podem ser usadas para agrupar contas e gerenciar conjuntos de dados, modelos e Spaces. Educadores também podem criar organizações colaborativas para alunos usando Hugging Face for Classrooms. Os repositórios de uma organização serão exibidos na página da organização e todos os membros da organização terão a capacidade de contribuir para o repositório. Além de agrupar convenientemente todo o trabalho de uma organização, o Hub permite que administradores definam papéis para controlar o acesso aos repositórios e gerenciar o método de pagamento e as informações de faturamento da organização. Machine Learning é mais divertido quando se colabora! 🔥

Explore organizações existentes, crie uma nova organização aqui e, em seguida, visite a documentação de Organizações para saber mais.

Segurança

O Hugging Face Hub oferece recursos de segurança e controle de acesso para garantir que seu código, modelos e dados estejam seguros. Consulte a seção Segurança nestes documentos para saber mais sobre:

• Tokens de acesso do usuário
• Controle de Acesso para Organizações
• Assinando commits com GPG
• Verificação de malware

Update on GitHub