O PANORAMA DAS FERRAMENTAS DE DOCUMENTAÇÃO DE ML

O desenvolvimento do framework de model cards em 2018 foi inspirado nos principais esforços de frameworks de documentação, como Data Statements for Natural Language Processing (Bender & Friedman, 2018) e Datasheets for Datasets (Gebru et al., 2018). Desde a proposta dos model cards, diversas outras ferramentas foram sugeridas para documentar e avaliar vários aspectos do ciclo de desenvolvimento de machine learning. Essas ferramentas, incluindo model cards e esforços de documentação relacionados propostos antes dos model cards, podem ser contextualizadas em relação ao seu foco (por exemplo, em qual parte do ciclo de vida do sistema de ML a ferramenta se concentra?) e ao seu público-alvo (por exemplo, para quem a ferramenta foi projetada?). Nas Figuras 1-2 abaixo, resumimos várias ferramentas de documentação proeminentes ao longo dessas dimensões, fornecemos descrições contextuais de cada ferramenta e incluímos links para exemplos. Classificamos amplamente as ferramentas de documentação como pertencentes aos seguintes grupos:

• Focado em dados, incluindo ferramentas de documentação focadas em conjuntos de dados usados no ciclo de vida do sistema de aprendizado de máquina
• Foco em modelos e métodos, incluindo ferramentas de documentação voltadas para modelos e métodos de aprendizado de máquina; e
• Foco em sistemas, incluindo ferramentas de documentação voltadas para sistemas de ML, incluindo modelos, métodos, conjuntos de dados, APIs e componentes não relacionados a IA/ML que interagem entre si como parte de um sistema de ML

Essas agrupamentos não são mutuamente exclusivos; eles incluem aspectos sobrepostos do ciclo de vida do sistema de ML. Por exemplo, system cards focam em documentar sistemas de ML que podem incluir múltiplos modelos e conjuntos de dados e, portanto, podem incluir conteúdo que se sobrepõe a ferramentas de documentação focadas em dados ou em modelos. As ferramentas descritas são uma lista não exaustiva de ferramentas de documentação para o ciclo de vida do sistema de ML. Em geral, incluímos ferramentas que eram:

• Focado na documentação de alguns (ou múltiplos) aspectos do ciclo de vida do sistema de ML
• Incluiu o lançamento de um modelo destinado a uso repetido, adoção e adaptação

Resumo das ferramentas de documentação de ML

Figura 1

Etapa do Ciclo de Vida do Sistema de ML	Ferramenta	Descrição breve	Exemplos
DADOS	Fichas técnicas (Gebru et al., 2018)	“Recomendamos que cada conjunto de dados seja acompanhado por uma ficha de dados documentando sua motivação, criação, composição, usos pretendidos, distribuição, manutenção e outras informações.”	Veja, por exemplo, o repositório de Ivy Lee com exemplos
DADOS	Declarações de dados (Bender & Friedman, 2018)(Bender et al., 2021)	“Uma declaração de dados é uma caracterização de um conjunto de dados que fornece contexto para permitir que desenvolvedores e usuários compreendam melhor como os resultados experimentais podem ser generalizados, como o software pode ser implantado de forma adequada e quais vieses podem ser refletidos em sistemas construídos com base no software.”	Veja Declarações de Dados para a Oficina de PLN
DADOS	Rótulos Nutricionais de Conjuntos de Dados (Holland et al., 2018)	“O Rótulo Nutricional de Conjuntos de Dados…é um framework de diagnóstico que reduz a barreira para a análise de dados padronizada, fornecendo uma visão geral condensada, porém abrangente, dos “ingredientes” do conjunto de dados antes do desenvolvimento de modelos de IA.”	Veja O Rótulo Nutricional de Dados
DADOS	Cartões de dados para PLN (McMillan-Major et al., 2021)	Apresentamos dois estudos de caso sobre a criação de modelos de documentação e guias em processamento de linguagem natural (NLP): o hub de datasets do Hugging Face (HF)[^1] e o benchmark GEM (Generation and its Evaluation and Metrics). Utilizamos o termo data card para nos referir à documentação de datasets em ambos os casos.	Veja (McMillan-Major et al., 2021)
DADOS	Framework de Documentação do Ciclo de Vida de Desenvolvimento de Conjuntos de Dados (Hutchinson et al., 2021)	“Apresentamos um framework rigoroso para a transparência no desenvolvimento de conjuntos de dados que apoia a tomada de decisões e a prestação de contas. O framework utiliza a natureza cíclica, infraestrutural e de engenharia do desenvolvimento de conjuntos de dados para se basear nas melhores práticas do ciclo de vida de desenvolvimento de software.”	Veja (Hutchinson et al., 2021), Apêndice A para os modelos
DADOS	Fichas de dados (Pushkarna et al., 2021)	“Data Cards são resumos estruturados de fatos essenciais sobre diversos aspectos de conjuntos de dados de ML necessários para as partes interessadas ao longo do ciclo de vida de um conjunto de dados para o desenvolvimento responsável de IA. Esses resumos fornecem explicações dos processos e das justificativas que moldam os dados e, consequentemente, os modelos.”	Veja o Data Cards Playbook no github
DADOS	CrowdWorkSheets (Díaz et al., 2022)	“Apresentamos um novo framework, CrowdWorkSheets, para desenvolvedores de conjuntos de dados facilitarem a documentação transparente dos principais pontos de decisão em várias etapas do pipeline de anotação de dados: formulação da tarefa, seleção de anotadores, escolhas de plataforma e infraestrutura, análise e avaliação do conjunto de dados, e liberação e manutenção do conjunto de dados.”	Veja (Díaz et al., 2022)
MODELOS E MÉTODOS	Fichas de modelo Mitchell et al. (2018)	“Model cards são documentos curtos que acompanham modelos de aprendizado de máquina treinados e fornecem avaliações com benchmarks em uma variedade de condições…que são relevantes para os domínios de aplicação pretendidos. Model cards também revelam o contexto em que os modelos são destinados a ser usados, os detalhes dos procedimentos de avaliação de desempenho e outras informações relevantes.”	Veja https://huggingface.co/models, o Model Card Guidebook e os Model Card Examples
MODELOS E MÉTODOS	Value Cards Shen et al. (2021)	“Apresentamos o Value Cards, um conjunto de ferramentas orientado por deliberação para conscientizar estudantes e profissionais de ciência da computação sobre os impactos sociais dos sistemas de tomada de decisão baseados em aprendizado de máquina…. O Value Cards incentiva investigações e debates sobre diferentes métricas de desempenho de ML e seus possíveis trade-offs.”	Veja Shen et al. (2021), Seção 3.3
MODELOS E MÉTODOS	Cards de Método Adkins et al. (2022)	“Propomos cartões de método para orientar engenheiros de ML no processo de desenvolvimento de modelos… As informações incluem elementos prescritivos e descritivos, com foco principal em garantir que os engenheiros de ML sejam capazes de usar esses métodos corretamente.”	Veja Adkins et al. (2022), Apêndice A
MODELOS E MÉTODOS	Rótulos para consumidores de modelos de ML Seifert et al. (2019)	“Propomos a emissão de rótulos de consumo para modelos de ML treinados e publicados. Esses rótulos têm como público principal leigos em machine learning, como os operadores de um sistema de ML, os executores de decisões e os próprios sujeitos das decisões”	Veja Seifert et al. (2019)
SISTEMAS	Fichas técnicas Arnold et al. (2019)	“Uma FactSheet conterá seções sobre todos os atributos relevantes de um serviço de IA, como uso pretendido, desempenho, segurança e proteção. O desempenho incluirá medidas adequadas de precisão ou risco, juntamente com informações de tempo.”	Veja IBM’s AI Factsheets 360 e Hind et al., (2020)
SISTEMAS	Cards de Sistema Procope et al. (2022)	“O System Cards visa aumentar a transparência dos sistemas de ML, fornecendo às partes interessadas uma visão geral dos diferentes componentes de um sistema de ML, como esses componentes interagem e como diferentes partes de dados e informações protegidas são utilizadas pelo sistema.”	Veja o Cartão do Sistema de Classificação do Feed do Instagram da Meta
SISTEMAS	Relatórios de Recompensa para RL Gilbert et al. (2022)	“Esboçamos um framework para documentar sistemas de aprendizado implantados, que chamamos de Reward Reports… Apresentamos os Reward Reports como documentos vivos que acompanham as atualizações nas escolhas de design e nas premissas por trás do que um determinado sistema automatizado está otimizando. Eles têm a intenção de rastrear fenômenos dinâmicos decorrentes da implantação do sistema, em vez de meramente propriedades estáticas de modelos ou dados.”	Veja https://rewardreports.github.io
SISTEMAS	Robustness Gym Goel et al. (2021)	“Identificamos desafios na avaliação de sistemas de PLN e propomos uma solução na forma do Robustness Gym (RG), um toolkit de avaliação simples e extensível que unifica 4 paradigmas padrão de avaliação: subpopulações, transformações, conjuntos de avaliação e ataques adversariais.”	Veja https://github.com/robustness-gym/robustness-gym
SISTEMAS	SOBRE ML Raji e Yang, (2019)	“ABOUT ML (Anotação e Benchmarking na Compreensão e Transparência dos Ciclos de Vida do Aprendizado de Máquina) é uma iniciativa plurianual e multilateral liderada pela PAI. Esta iniciativa tem como objetivo reunir uma ampla variedade de perspectivas para desenvolver, testar e implementar práticas de documentação de sistemas de aprendizado de máquina em larga escala.”	Veja a biblioteca de recursos da ABOUT ML

FERRAMENTAS DE DOCUMENTAÇÃO FOCADAS EM DADOS

Várias ferramentas de documentação propostas focam nos conjuntos de dados usados no ciclo de vida do sistema de ML, incluindo para treinar, desenvolver, validar, ajustar finamente e avaliar modelos de aprendizado de máquina como parte de ciclos contínuos. Essas ferramentas geralmente focam nos muitos aspectos do ciclo de vida dos dados (talvez para um conjunto de dados específico, um grupo de conjuntos de dados, ou de forma mais ampla), incluindo como os dados foram reunidos, coletados, anotados e como devem ser usados.

• Estendendo o conceito de datasheets da indústria de eletrônica, Gebru et al. (2018) propõem datasheets para conjuntos de dados para documentar detalhes relacionados à criação de um conjunto de dados, usos potenciais e preocupações associadas.
• Bender e Friedman (2018) propõem declarações de dados para processamento de linguagem natural. Bender, Friedman e McMillan-Major (2021) atualizam o framework original de declarações de dados e fornecem recursos, incluindo um guia para escrever declarações de dados e para traduzir entre a primeira versão do esquema e a versão mais nova[^2].
• Holland et al. (2018) propõem rótulos nutricionais de dados, semelhantes aos fatos nutricionais de alimentos e aos rótulos de privacidade, como uma ferramenta para analisar e tomar decisões sobre conjuntos de dados. A equipe do Data Nutrition Label lançou um design atualizado e uma interface para o rótulo em 2020 (Chmielinski et al., 2020)).
• McMillan-Major et al. (2021) descrevem o processo de desenvolvimento e os modelos resultantes para data cards para NLP na forma de data cards no Hugging Face Hub[^3] e data cards para conjuntos de dados que fazem parte do benchmark de NLP para Generation and its Evaluation Metrics (GEM) environment[^4].
• Hutchinson et al. (2021) descrevem a necessidade de documentação abrangente de conjuntos de dados e, baseando-se em práticas de desenvolvimento de software, fornecem modelos para documentar vários aspectos do ciclo de vida de desenvolvimento do conjunto de dados (para os propósitos das Tabelas 1 e 2, referimo-nos ao seu framework como Dataset Development Lifecycle Documentation Framework).
• Pushkarna et al. (2021) propõem os data cards como parte do data card playbook, uma ferramenta de documentação centrada no ser humano, focada em conjuntos de dados usados na indústria e na pesquisa.

FERRAMENTAS DE DOCUMENTAÇÃO FOCADAS EM MODELO E MÉTODO

Outro conjunto de ferramentas de documentação pode ser pensado como focado em modelos de aprendizado de máquina e métodos de aprendizado de máquina. Esses incluem:

• Mitchell et al. (2018) propõem model cards para relatórios de modelos, a fim de acompanhar modelos de ML treinados e documentar questões relacionadas à avaliação, ao uso e a outros problemas

• Shen et al. (2021) propõem value cards para ensinar estudantes e profissionais sobre valores relacionados a modelos de ML

• Seifert et al. (2019) propõem etiquetas para consumidores de modelos de ML para ajudar não especialistas que usam ou são afetados pelo modelo a entender questões-chave relacionadas ao modelo.

• Adkins et al. (2022) analisam aspectos de ferramentas de documentação descritiva – que consideram incluir model cards e data sheets – e argumentam a favor de ferramentas prescritivas para engenheiros de ML. Eles propõem method cards, focados em métodos de ML, e projetam principalmente com stakeholders técnicos, como desenvolvedores e revisores de modelos, em mente.

  • Eles concebem a relação entre model cards e method cards, em parte, ao afirmar: “As seções e prompts que propomos…[no template de method card] focam em métodos de ML que são suficientes para produzir um modelo de ML adequado, com entrada, saída e tarefa definidas. Exemplos desses são métodos de detecção de objetos, como Single-shot Detectors, e métodos de modelagem de linguagem, como Generative Pre-trained Transformers (GPT). É possível criar Model Cards para os modelos criados usando esses métodos.”

  • Eles também afirmam: “Enquanto Model Cards e FactSheets concentram o foco principal na documentação de modelos existentes, Method Cards focam mais nas escolhas metodológicas e algorítmicas subjacentes que precisam ser consideradas ao criar e treinar esses modelos. Como uma analogia aproximada, se Model Cards e FactSheets fornecem informações nutricionais sobre refeições cozidas, Method Cards fornecem as receitas.”

FERRAMENTAS DE DOCUMENTAÇÃO FOCADAS NO SISTEMA

Em vez de se concentrar em modelos, conjuntos de dados ou métodos específicos, as ferramentas de documentação focadas em sistemas analisam como os modelos interagem entre si, com conjuntos de dados, métodos e com outros componentes de ML para formar sistemas de ML.

• Procope et al. (2022) propõem cartões de sistema para documentar e explicar sistemas de IA – que podem incluir múltiplos modelos de ML, ferramentas de IA e tecnologias não-IA – que trabalham juntos para realizar tarefas.
• Arnold et al. (2019) estendem a ideia de declarações de conformidade para produtos de consumo aos serviços de IA, propondo FactSheets para documentar aspectos de “serviços de IA” que são tipicamente acessados por meio de APIs e podem ser compostos por vários modelos de ML diferentes. Hind et al. (2020) compartilham reflexões sobre a construção de factsheets.
• Gilbert et al. (2022) propõem Reward Reports for Reinforcement Learning para sistemas, reconhecendo a natureza dinâmica dos sistemas de ML e a necessidade de esforços de documentação que incorporem considerações sobre o desempenho pós-implementação, especialmente para sistemas de aprendizado por reforço.
• Goel et al. (2021) desenvolvem o Robustness Gym, um kit de avaliação para testar vários aspectos de redes neurais profundas em sistemas do mundo real, permitindo a comparação entre paradigmas de avaliação.
• Por meio do projeto ABOUT ML (Raji e Yang, 2019), a Partnership on AI está coordenando esforços entre grupos de partes interessadas da comunidade de machine learning para desenvolver ferramentas de documentação abrangentes e escaláveis para sistemas de ML.

A EVOLUÇÃO DOS CARDS DE MODELO

Desde a proposta de cartões de modelo por Mitchell et al. em 2018, os cartões de modelo foram adotados e adaptados por diversas organizações, incluindo grandes empresas de tecnologia e startups que desenvolvem e hospedam modelos de aprendizado de máquina[^5], pesquisadores que descrevem novas técnicas[^6] e partes interessadas do governo que avaliam modelos para diversos projetos[^7]. Os cartões de modelo também aparecem como parte de kits educacionais de Ética em IA, e inúmeras organizações e desenvolvedores criaram implementações para automatizar ou semiautomatizar a criação de cartões de modelo. O Apêndice A fornece um conjunto de exemplos de cartões de modelo para diversos tipos de modelos de ML criados por diferentes organizações (incluindo cartões de modelo para grandes modelos de linguagem), ferramentas de geração de cartões de modelo e ferramentas educacionais de cartões de modelo.

CARDS DE MODELO NO HUGGING FACE HUB

Desde 2018, novas plataformas e meios para hospedar e compartilhar model cards também surgiram. Por exemplo, particularmente relevante para este projeto, o Hugging Face hospeda model cards no Hugging Face Hub como arquivos README nos repositórios associados a modelos de ML. Como resultado, os model cards figuram como uma forma proeminente de documentação para usuários de modelos no Hugging Face Hub. Como parte de nossa análise de model cards, desenvolvemos e propusemos model cards para várias dezenas de modelos de ML no Hugging Face Hub, usando os recursos de Pull Request (PR) e Discussion do Hub para coletar feedback sobre model cards, verificar informações incluídas nos model cards e publicar model cards para modelos no Hugging Face Hub. No momento da redação deste guia, todos os modelos do Hugging Face no Hugging Face Hub possuem um model card associado no Hub[^8].

O grande número de modelos enviados ao Hugging Face Hub (101.041 modelos no momento da escrita) nos permitiu explorar o conteúdo dentro dos model cards no hub: Começamos analisando os model cards de modelos de linguagem, a fim de identificar padrões (por exemplo, seções e subseções repetidas, com o objetivo de responder a perguntas iniciais como:

1) Quantos desses modelos possuem cartões de modelo?

2) Qual porcentagem dos downloads tinha um cartão de modelo associado?

A partir da nossa análise de todos os modelos no hub, notamos que a maioria dos downloads vem dos 200 modelos mais populares.

Com foco contínuo em grandes modelos de linguagem, ordenados pelos mais baixados e apenas modelos que já possuem model cards, observamos as seções mais recorrentes em seus respectivos model cards.

Embora alguns títulos dentro dos cartões de modelo possam variar entre os modelos, agrupamos os componentes/tema de cada seção dentro de cada cartão de modelo e, em seguida, os mapeamos para os títulos de seção mais recorrentes (encontrados principalmente nos 200 modelos mais baixados e com a ajuda/orientação do cartão de modelo do Bloom)

Confira os Estudos de Usuários

Veja o Apêndice

[^1]: Para cada ferramenta, as descrições são extraídas do artigo vinculado listado na segunda coluna.

[^2]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^3]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^4]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^5]: Veja, por exemplo, o Hugging Face Hub, os Model Cards do Google Cloud https://modelcards.withgoogle.com/about .

[^6]: Consulte o Apêndice A.

[^7]: Veja a Colaboração GSA / US Census Bureau no Model Card Generator.

[^8]: Por “modelos do Hugging Face”, entendemos modelos compartilhados pelo Hugging Face, e não por outra organização, no Hub. Formalmente, são modelos cujo ID não contém “/”.

---

Cite como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub