EL PANORAMA DE LAS HERRAMIENTAS DE DOCUMENTACIÓN DE ML

El desarrollo del marco de tarjetas de modelo en 2018 se inspiró en los principales esfuerzos de marcos de documentación de Declaraciones de Datos para el Procesamiento del Lenguaje Natural (Bender & Friedman, 2018) y Fichas de Datos para Conjuntos de Datos (Gebru et al., 2018). Desde que se propusieron las tarjetas de modelo, se han propuesto una serie de otras herramientas para documentar y evaluar diversos aspectos del ciclo de desarrollo del aprendizaje automático. Estas herramientas, incluidas las tarjetas de modelo y los esfuerzos de documentación relacionados propuestos antes de las tarjetas de modelo, pueden contextualizarse en función de su enfoque (p. ej., ¿en qué parte del ciclo de vida del sistema de ML se centra la herramienta?) y sus audiencias previstas (p. ej., ¿para quién está diseñada la herramienta?). En las Figuras 1-2 a continuación, resumimos varias herramientas de documentación destacadas a lo largo de estas dimensiones, proporcionamos descripciones contextuales de cada herramienta y enlazamos a ejemplos. Clasificamos de forma amplia las herramientas de documentación como pertenecientes a los siguientes grupos:

• Centrado en los datos, que incluye herramientas de documentación enfocadas en los conjuntos de datos utilizados en el ciclo de vida del sistema de aprendizaje automático
• Centrado en modelos y métodos, que incluye herramientas de documentación enfocadas en modelos y métodos de aprendizaje automático; y
• Centrado en sistemas, que incluye herramientas de documentación enfocadas en sistemas de ML, como modelos, métodos, conjuntos de datos, APIs y componentes no relacionados con IA/ML que interactúan entre sí como parte de un sistema de ML

Estas agrupaciones no son mutuamente excluyentes; incluyen aspectos superpuestos del ciclo de vida del sistema de ML. Por ejemplo, las system cards se centran en documentar sistemas de ML que pueden incluir múltiples modelos y conjuntos de datos, y por lo tanto podrían incluir contenido que se superpone con las herramientas de documentación centradas en datos o en modelos. Las herramientas descritas son una lista no exhaustiva de herramientas de documentación para el ciclo de vida del sistema de ML. En general, incluimos herramientas que eran:

• Enfocado en la documentación de algunos (o múltiples) aspectos del ciclo de vida del sistema de ML
• Incluyó la publicación de una plantilla destinada a su uso repetido, adopción y adaptación

Resumen de las herramientas de documentación de ML

Figura 1

Etapa del ciclo de vida del sistema de ML	Herramienta	Descripción breve	Ejemplos
DATOS	Fichas técnicas (Gebru et al., 2018)	“Recomendamos que cada conjunto de datos se acompañe de una hoja de datos que documente su motivación, creación, composición, usos previstos, distribución, mantenimiento y otra información.”	Vea, por ejemplo, el repositorio de Ivy Lee con ejemplos
DATOS	Declaraciones de datos (Bender & Friedman, 2018)(Bender et al., 2021)	“Una declaración de datos es una caracterización de un conjunto de datos que proporciona contexto para permitir que los desarrolladores y los usuarios comprendan mejor cómo podrían generalizarse los resultados experimentales, cómo podría desplegarse adecuadamente el software y qué sesgos podrían reflejarse en los sistemas construidos sobre dicho software.”	Vea Declaraciones de datos para el taller de PLN
DATOS	Etiquetas nutricionales de conjuntos de datos (Holland et al., 2018)	“La etiqueta nutricional de los conjuntos de datos… es un marco de diagnóstico que reduce la barrera para el análisis de datos estandarizado al proporcionar una visión general condensada pero exhaustiva de los “ingredientes” del conjunto de datos antes del desarrollo de modelos de IA.”	Vea The Data Nutrition Label
DATOS	Tarjetas de datos para PLN (McMillan-Major et al., 2021)	Presentamos dos estudios de caso sobre la creación de plantillas y guías de documentación en procesamiento de lenguaje natural (NLP): el hub de datasets de Hugging Face (HF)[^1] y el benchmark para Generación y su Evaluación y Métricas (GEM). Utilizamos el término data card para referirnos a la documentación de datasets en ambos casos.	Véase (McMillan-Major et al., 2021)
DATOS	Marco de documentación del ciclo de vida de desarrollo de conjuntos de datos (Hutchinson et al., 2021)	“Introducimos un marco riguroso para la transparencia en el desarrollo de conjuntos de datos que apoya la toma de decisiones y la rendición de cuentas. El marco utiliza la naturaleza cíclica, infraestructural y de ingeniería del desarrollo de conjuntos de datos para aprovechar las mejores prácticas del ciclo de vida del desarrollo de software.”	Vea (Hutchinson et al., 2021), Apéndice A para las plantillas
DATOS	Tarjetas de datos (Pushkarna et al., 2021)	Las Data Cards son resúmenes estructurados de los hechos esenciales sobre diversos aspectos de los conjuntos de datos de ML que los interesados necesitan a lo largo del ciclo de vida de un conjunto de datos para el desarrollo de una IA responsable. Estos resúmenes proporcionan explicaciones de los procesos y las razones que dan forma a los datos y, en consecuencia, a los modelos.	Vea el github del Data Cards Playbook
DATOS	CrowdWorkSheets (Díaz et al., 2022)	“Introducimos un marco novedoso, CrowdWorkSheets, para que los desarrolladores de conjuntos de datos faciliten la documentación transparente de los puntos clave de decisión en las distintas etapas del pipeline de anotación de datos: formulación de la tarea, selección de anotadores, elección de plataforma e infraestructura, análisis y evaluación del conjunto de datos, y publicación y mantenimiento del conjunto de datos.”	Véase (Díaz et al., 2022)
MODELOS Y MÉTODOS	Fichas de modelos Mitchell et al. (2018)	“Las tarjetas de modelo son documentos breves que acompañan a los modelos de aprendizaje automático entrenados y proporcionan evaluaciones con métricas en una variedad de condiciones…que son relevantes para los dominios de aplicación previstos. Las tarjetas de modelo también revelan el contexto en el que se pretende utilizar el modelo, los detalles de los procedimientos de evaluación del rendimiento y otra información relevante.”	Consulta https://huggingface.co/models, la Guía de Model Cards y los Ejemplos de Model Cards
MODELOS Y MÉTODOS	Tarjetas de valor Shen et al. (2021)	“Presentamos Value Cards, un kit de herramientas basado en la deliberación para que los estudiantes y profesionales de la informática tomen conciencia de los impactos sociales de los sistemas de toma de decisiones basados en el aprendizaje automático…. Value Cards fomenta las investigaciones y debates sobre diferentes métricas de rendimiento del ML y sus posibles compensaciones.”	Ver Shen et al. (2021), Sección 3.3
MODELOS Y MÉTODOS	Tarjetas de métodos Adkins et al. (2022)	“Proponemos tarjetas de método para guiar a los ingenieros de ML a través del proceso de desarrollo de modelos… La información comprende tanto elementos prescriptivos como descriptivos, con el foco principal en garantizar que los ingenieros de ML sean capaces de utilizar estos métodos de manera adecuada.”	Ver Adkins et al. (2022), Apéndice A
MODELOS Y MÉTODOS	Etiquetas para consumidores de modelos de ML Seifert et al. (2019)	“Proponemos emitir etiquetas de consumo para modelos de ML entrenados y publicados. Estas etiquetas se dirigen principalmente a personas no expertas en aprendizaje automático, como los operadores de un sistema de ML, los ejecutores de decisiones y los propios sujetos de las decisiones”	Véase Seifert et al. (2019)
SISTEMAS	Fichas de datos Arnold et al. (2019)	“Una FactSheet contendrá secciones sobre todos los atributos relevantes de un servicio de IA, como el uso previsto, el rendimiento, la seguridad y la protección. El rendimiento incluirá medidas de precisión o de riesgo adecuadas, junto con información sobre el tiempo de ejecución.”	Vea IBM’s AI Factsheets 360 y Hind et al., (2020)
SISTEMAS	Fichas de sistema Procope et al. (2022)	System Cards tiene como objetivo aumentar la transparencia de los sistemas de ML al proporcionar a las partes interesadas una visión general de los diferentes componentes de un sistema de ML, cómo interactúan estos componentes y cómo el sistema utiliza diferentes fragmentos de datos e información protegida.	Vea la ficha del sistema de clasificación del feed de Instagram de Meta
SISTEMAS	Informes de recompensa para RL Gilbert et al. (2022)	“Esbozamos un marco para documentar sistemas de aprendizaje desplegados, al que llamamos Reward Reports… Presentamos los Reward Reports como documentos vivos que rastrean las actualizaciones de las decisiones de diseño y las suposiciones detrás de lo que un sistema automatizado particular está optimizando. Están destinados a rastrear fenómenos dinámicos que surgen del despliegue del sistema, en lugar de meramente propiedades estáticas de los modelos o los datos.”	Ver https://rewardreports.github.io
SISTEMAS	Robustness Gym Goel et al. (2021)	“Identificamos desafíos en la evaluación de sistemas de PLN y proponemos una solución en forma de Robustness Gym (RG), un kit de evaluación simple y extensible que unifica 4 paradigmas estándar de evaluación: subpoblaciones, transformaciones, conjuntos de evaluación y ataques adversarios.”	Ver https://github.com/robustness-gym/robustness-gym
SISTEMAS	SOBRE EL ML Raji y Yang, (2019)	“ABOUT ML (Anotación y evaluación de referencia sobre la comprensión y la transparencia de los ciclos de vida del aprendizaje automático) es una iniciativa plurianual y multilateral liderada por PAI. Esta iniciativa tiene como objetivo reunir una amplia gama de perspectivas para desarrollar, probar e implementar prácticas de documentación de sistemas de aprendizaje automático a gran escala.”	Vea la biblioteca de recursos de ABOUT ML

HERRAMIENTAS DE DOCUMENTACIÓN CENTRADAS EN DATOS

Varias herramientas de documentación propuestas se centran en los conjuntos de datos utilizados en el ciclo de vida del sistema de ML, incluidos los procesos de entrenamiento, desarrollo, validación, ajuste fino y evaluación de modelos de aprendizaje automático como parte de ciclos continuos. Estas herramientas generalmente se enfocan en los muchos aspectos del ciclo de vida de los datos (quizás para un conjunto de datos particular, un grupo de conjuntos de datos o de manera más amplia), incluyendo cómo se ensamblaron, recolectaron y anotaron los datos y cómo deberían utilizarse.

• Extendiendo el concepto de hojas de datos de la industria electrónica, Gebru et al. (2018) proponen hojas de datos para conjuntos de datos para documentar detalles relacionados con la creación de un conjunto de datos, sus usos potenciales y las preocupaciones asociadas.
• Bender y Friedman (2018) proponen declaraciones de datos para el procesamiento de lenguaje natural. Bender, Friedman y McMillan-Major (2021) actualizan el marco original de declaraciones de datos y proporcionan recursos, incluido una guía para redactar declaraciones de datos y para traducir entre la primera versión del esquema y la versión más reciente[^2].
• Holland et al. (2018) proponen las etiquetas nutricionales de datos, similares a las etiquetas de valores nutricionales de los alimentos y a las etiquetas de divulgación de privacidad, como una herramienta para analizar y tomar decisiones sobre conjuntos de datos. El equipo de Data Nutrition Label publicó en 2020 un diseño actualizado y una interfaz para la etiqueta (Chmielinski et al., 2020)).
• McMillan-Major et al. (2021) describen el proceso de desarrollo y las plantillas resultantes para fichas de datos para PLN en forma de fichas de datos en el Hugging Face Hub[^3] y fichas de datos para conjuntos de datos que forman parte del benchmark de PLN para la Generación y sus Métricas de Evaluación (GEM)[^4].
• Hutchinson et al. (2021) describen la necesidad de una documentación exhaustiva de los conjuntos de datos y, basándose en las prácticas de desarrollo de software, proporcionan plantillas para documentar varios aspectos del ciclo de vida de desarrollo del conjunto de datos (a los efectos de las Tablas 1 y 2, nos referimos a su marco como el Dataset Development Lifecycle Documentation Framework).
• Pushkarna et al. (2021) proponen las data cards como parte del data card playbook, una herramienta de documentación centrada en el ser humano y enfocada en los conjuntos de datos utilizados en la industria y la investigación.

HERRAMIENTAS DE DOCUMENTACIÓN CENTRADAS EN MODELOS Y MÉTODOS

Otro conjunto de herramientas de documentación puede considerarse enfocado en modelos de aprendizaje automático y métodos de aprendizaje automático. Estos incluyen:

• Mitchell et al. (2018) proponen model cards para el informe de modelos, con el fin de acompañar a los modelos de ML entrenados y documentar problemas relacionados con la evaluación, el uso y otros aspectos.

• Shen et al. (2021) proponen value cards para enseñar a estudiantes y profesionales sobre los valores relacionados con los modelos de ML

• Seifert et al. (2019) proponen etiquetas para consumidores de modelos de ML para ayudar a los no expertos que utilizan o se ven afectados por el modelo a comprender las cuestiones clave relacionadas con el modelo.

• Adkins et al. (2022) analizan aspectos de las herramientas de documentación descriptiva, que consideran que incluyen model cards y hojas de datos, y abogan por aumentar las herramientas prescriptivas para los ingenieros de ML. Proponen method cards, centradas en los métodos de ML, y las diseñan principalmente pensando en partes interesadas técnicas, como desarrolladores y revisores de modelos.

  • En parte, imaginan la relación entre las tarjetas de modelo y las tarjetas de método al afirmar: “Las secciones y los prompts que proponemos… [en la plantilla de la tarjeta de método] se centran en métodos de ML que son suficientes para producir un modelo de ML adecuado con entrada, salida y tarea definidas. Ejemplos de estos son los métodos de detección de objetos, como los Single-shot Detectors, y los métodos de modelado de lenguaje, como los Generative Pre-trained Transformers (GPT). Es posible crear tarjetas de modelo para los modelos creados utilizando estos métodos.”

  • También afirman: “Si bien las Model Cards y las FactSheets se centran principalmente en documentar los modelos existentes, las Method Cards se centran más en las decisiones metodológicas y algorítmicas subyacentes que deben considerarse al crear y entrenar estos modelos. Como analogía aproximada, si las Model Cards y las FactSheets proporcionan información nutricional sobre comidas cocinadas, las Method Cards proporcionan las recetas.”

HERRAMIENTAS DE DOCUMENTACIÓN CENTRADAS EN EL SISTEMA

En lugar de centrarse en modelos, conjuntos de datos o métodos específicos, las herramientas de documentación centradas en el sistema analizan cómo interactúan los modelos entre sí, con los conjuntos de datos, los métodos y con otros componentes de ML para formar sistemas de ML.

• Procope et al. (2022) proponen tarjetas de sistema para documentar y explicar sistemas de IA, que pueden incluir múltiples modelos de ML, herramientas de IA y tecnologías no relacionadas con la IA, que trabajan en conjunto para realizar tareas.
• Arnold et al. (2019) extienden la idea de declaraciones de conformidad para productos de consumo a los servicios de IA, proponiendo FactSheets para documentar aspectos de los “servicios de IA” que suelen accederse a través de APIs y que pueden estar compuestos por varios modelos de ML diferentes. Hind et al. (2020) comparten reflexiones sobre la creación de factsheets.
• Gilbert et al. (2022) proponen Reward Reports for Reinforcement Learning para los sistemas, reconociendo la naturaleza dinámica de los sistemas de ML y la necesidad de que los esfuerzos de documentación incorporen consideraciones sobre el rendimiento posterior a la implementación, especialmente para los sistemas de aprendizaje por refuerzo.
• Goel et al. (2021) desarrollan Robustness Gym, un kit de evaluación para probar varios aspectos de las redes neuronales profundas en sistemas del mundo real, lo que permite la comparación entre paradigmas de evaluación.
• A través del proyecto ABOUT ML (Raji y Yang, 2019), la Partnership on AI está coordinando esfuerzos entre grupos de partes interesadas de la comunidad de machine learning para desarrollar herramientas de documentación integrales y escalables para sistemas de ML.

LA EVOLUCIÓN DE LAS TARJETAS DE MODELO

Desde la propuesta de tarjetas de modelo de Mitchell et al. en 2018, las tarjetas de modelo han sido adoptadas y adaptadas por diversas organizaciones, incluidas grandes empresas tecnológicas y startups que desarrollan y alojan modelos de aprendizaje automático[^5], investigadores que describen nuevas técnicas[^6] y partes interesadas gubernamentales que evalúan modelos para diversos proyectos[^7]. Las tarjetas de modelo también aparecen como parte de los kits educativos de ética de la IA, y numerosas organizaciones y desarrolladores han creado implementaciones para automatizar o semiautomatizar la creación de tarjetas de modelo. El Apéndice A proporciona un conjunto de ejemplos de tarjetas de modelo para diversos tipos de modelos de ML creados por diferentes organizaciones (incluidas tarjetas de modelo para modelos de lenguaje de gran escala), herramientas de generación de tarjetas de modelo y herramientas educativas de tarjetas de modelo.

TARJETAS DE MODELO EN EL HUGGING FACE HUB

Desde 2018, también han surgido nuevas plataformas y medios para alojar y compartir tarjetas de modelo. Por ejemplo, particularmente relevante para este proyecto, Hugging Face aloja tarjetas de modelo en el Hugging Face Hub como archivos README en los repositorios asociados con modelos de ML. Como resultado, las tarjetas de modelo constituyen una forma de documentación prominente para los usuarios de modelos en el Hugging Face Hub. Como parte de nuestro análisis de tarjetas de modelo, desarrollamos y propusimos tarjetas de modelo para varias docenas de modelos de ML en el Hugging Face Hub, utilizando las funciones de Pull Request (PR) y Discusión del Hub para recopilar comentarios sobre las tarjetas de modelo, verificar la información incluida en ellas y publicar tarjetas de modelo para los modelos en el Hugging Face Hub. En el momento de la redacción de esta guía, todos los modelos de Hugging Face en el Hugging Face Hub tienen una tarjeta de modelo asociada en el Hub[^8].

El gran número de modelos subidos al Hugging Face Hub (101.041 modelos en el momento de redactar esto) nos permitió explorar el contenido de las tarjetas de modelo en el hub: Comenzamos analizando las tarjetas de modelo de los modelos de lenguaje, con el fin de identificar patrones (por ejemplo, secciones y subsecciones repetidas), con el objetivo de responder preguntas iniciales como:

1) ¿Cuántos de estos modelos tienen tarjetas de modelo?

2) ¿Qué porcentaje de descargas tenía una tarjeta de modelo asociada?

A partir de nuestro análisis de todos los modelos del hub, notamos que la mayoría de las descargas provienen de los 200 modelos más populares.

Con un enfoque continuo en los grandes modelos de lenguaje, ordenados por los más descargados y solo modelos que ya contaban con tarjetas de modelo, identificamos las secciones más recurrentes dentro de sus respectivas tarjetas de modelo.

Aunque algunos encabezados dentro de las tarjetas de modelo pueden variar entre modelos, agrupamos los componentes/tema de cada sección dentro de cada tarjeta de modelo y luego los mapeamos a los encabezados de sección más recurrentes (principalmente encontrados en los 200 modelos más descargados y con la ayuda/orientación de la tarjeta de modelo de Bloom)

Consulta los User Studies

Ver Apéndice

[^1]: Para cada herramienta, las descripciones son un extracto del artículo vinculado que se lista en la segunda columna.

[^2]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^3]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^4]: Consulte https://techpolicylab.uw.edu/data-statements/ .

[^5]: Véase, por ejemplo, el Hugging Face Hub, las Model Cards de Google Cloud https://modelcards.withgoogle.com/about .

[^6]: Consulte el Apéndice A.

[^7]: Consulte la colaboración entre GSA y la Oficina del Censo de EE. UU. sobre el generador de tarjetas de modelo.

[^8]: Con “modelos de Hugging Face” nos referimos a los modelos compartidos por Hugging Face, y no por otra organización, en el Hub. Formalmente, estos son modelos cuyo ID de modelo no contiene una barra “/”.

---

Cítelo como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub