Desarrollar productos con IA: decisiones a lo largo del ciclo de vida

1. El desarrollo de productos con IA es un ciclo continuo de decisiones

El desarrollo de productos con IA es un ciclo de vida organizado en torno a decisiones verificables. La guía CAPDS no presenta ese ciclo como una metodología de proyectos ni como un conjunto prescrito de ceremonias. Cada etapa produce artefactos que utiliza la siguiente. Cada transición tiene un criterio que alguien ajeno al equipo puede verificar. Por lo tanto, el avance depende de la evidencia, no solo de completar el trabajo planificado.

La guía distingue este ciclo de una progresión convencional hacia el mantenimiento. Un producto con IA pasa por la concepción, la construcción y el lanzamiento, pero no llega al mismo estado final de mantenimiento. Las decisiones sobre el producto continúan mediante la evaluación, el monitoreo y la gobernanza. La implicación práctica es planificar estas actividades como parte del producto, en lugar de tratarlas como trabajo temporal previo al lanzamiento.

El alcance va más allá de elegir un enfoque de IA. CAPDS abarca el descubrimiento y la definición del problema, la viabilidad, los datos y la privacidad, la evaluación de la calidad, la experiencia en condiciones de incertidumbre, la economía de la inferencia, el lanzamiento y el uso responsable. Estas áreas están conectadas. La calidad de los datos de entrada puede limitar la viabilidad. El esfuerzo de revisión puede cambiar la justificación económica. La consecuencia de un error puede cambiar las condiciones del lanzamiento.

La página de Certified AI Product Development Specialist ofrece el punto de entrada a CAPDS. Consulta la guía CAPDS para un tratamiento completo y el glosario de PMCert para la terminología. La pregunta que organiza todo el contenido es directa: ¿qué evidencia autoriza la siguiente decisión sobre el producto?

2. Define el problema antes de comprometerte con la IA

La definición establece que el problema existe y que la IA es una respuesta adecuada. CAPDS distingue entre rechazar un alcance mal formulado y rechazar la oportunidad. Un equipo puede conservar la oportunidad subyacente y cambiar la solución propuesta. La decisión no consiste simplemente en construir o no la funcionalidad solicitada. Consiste en determinar si el problema y el papel propuesto para la IA resisten el análisis.

La guía pide descomponer el problema en su parte determinista y su parte residual. También exige calcular el trabajo neto, incluida la preparación de los datos de entrada y la revisión. Esto desplaza la conversación sobre el producto de la automatización aparente al trabajo que queda por hacer. Una capacidad propuesta debe evaluarse incluyendo esas actividades, no solo prestando atención a la tarea que realiza el modelo.

El caso de extracción de cláusulas ilustra la definición del problema basada en evidencia. Antes de la construcción, la extracción se realiza manualmente para clientes reales y los abogados actúan a partir de los resultados. La evidencia se refiere al uso real, no a la intención declarada. Esa distinción importa para la decisión sobre el producto: la utilidad de un resultado se demuestra mediante lo que las personas hacen con él, no mediante su acuerdo en que la funcionalidad propuesta parece valiosa.

Luego, la viabilidad acota la promesa. CAPDS pide distinguir el conocimiento cambiante del comportamiento estable, sacar del prompt las reglas que requieren garantías y calcular la confiabilidad compuesta antes de prometer un flujo autónomo. También pide a los equipos identificar restricciones que no dependen de la capacidad del modelo. En el caso de los contratos, la calidad de los datos de entrada y la confiabilidad a lo largo de la cadena cambian el diseño. La verificación humana pasa a formar parte del enfoque, en lugar de ser una excepción añadida después del lanzamiento.

3. Trata los datos y el contexto como decisiones de producto

Las decisiones sobre datos y contexto se refieren a los datos de entrada que el producto utiliza realmente, su cobertura y las condiciones en las que pueden usarse. CAPDS exige verificar la cobertura en el conjunto real de datos de entrada. También indica a los equipos que investiguen los datos de entrada antes de cambiar el modelo. Esto prioriza el origen de un problema de calidad frente a una solución técnica preferida.

En el caso de extracción de cláusulas, los contratos digitalizados con baja resolución constituyen una parte relevante de la colección. Su calidad establece un límite para el resultado. La decisión correctiva se toma en la captura, no mediante un cambio de modelo. La lección es específica: cuando los datos de entrada limitan el desempeño, cambiar el enfoque sin investigarlos no resuelve la restricción identificada.

El contexto también tiene condiciones de operación. CAPDS pide monitorear el desfase del índice y aplicar permisos durante la recuperación. Estas son comprobaciones explícitas en el marco de decisiones sobre el producto. La presencia de material recuperado no pone fin al análisis. El equipo también debe examinar si la recuperación respeta los permisos y si el índice está desactualizado.

Las decisiones de privacidad van más allá de los datos de entrada originales. La guía exige medir la reidentificación mediante combinaciones y tratar el uso derivado como una decisión sobre la base jurídica. El caso de reclutamiento añade otra preocupación: las descripciones de la experiencia varían según la formación académica y el sector, y esa variación ingresa al sistema como una señal. El registro de la fuente de los datos de entrada documenta el riesgo. Por lo tanto, la revisión de datos incluye cómo se expresa la información, no solo si un campo está presente.

4. Evalúa la calidad en la unidad de trabajo del usuario

La evaluación de la calidad mide si el producto cumple su función en la unidad de trabajo del usuario. CAPDS establece esto como un requisito explícito. Un resultado aislado puede ser la unidad equivocada para una promesa de producto. La pregunta relevante es si el resultado completo que necesita el usuario es utilizable, teniendo en cuenta las comprobaciones y correcciones necesarias.

El caso de los contratos concreta esta distinción. La evaluación se refiere al contrato completamente revisado, no a una cláusula aislada. Con un desempeño del noventa y cinco por ciento por cláusula y quince cláusulas por contrato, menos de la mitad de los contratos serían totalmente correctos. La guía utiliza este resultado para redefinir la promesa del producto. En ese caso, una cifra sólida a nivel de componente no justifica una promesa sobre el contrato completo.

El método de evaluación también debe hacer visibles las diferencias. CAPDS pide estratificación con tamaños de muestra en los estratos críticos, comparaciones elemento por elemento entre versiones, un conjunto de pruebas adversariales y calibración del evaluador automatizado. También exige un tamaño mínimo de muestra antes de declarar una diferencia. Estos requisitos delimitan cuándo un equipo puede afirmar que hubo una mejora, en lugar de limitarse a proporcionar más cifras para reportar.

El desempeño agregado no es suficiente para todas las decisiones de lanzamiento. En el caso de reclutamiento, un resultado agregado del ochenta y siete por ciento oculta un desempeño sistemáticamente inferior para un conjunto de perfiles. El lanzamiento se suspende. La corrección reduce el peso de los atributos correlacionados con diferencias en la forma de describir la experiencia. La evaluación por grupo cambia la decisión aunque exista un resultado agregado. Por lo tanto, la condición de lanzamiento debe reflejar las consecuencias del producto, no solo su puntuación general.

5. Diseña la experiencia y la economía en torno a resultados utilizables

La experiencia en condiciones de incertidumbre consiste en diseñar la interacción en torno a los errores probables, la revisión y la recuperación. CAPDS indica a los equipos que comiencen por el error más probable. También exige mantener el costo de la revisión por debajo del costo de la tarea. Por lo tanto, la revisión forma parte del cálculo de valor del producto, no es una salvaguarda ilimitada que pueda añadirse sin examinar su carga.

La guía vincula las decisiones de interacción con sus consecuencias. Pide elegir entre la confirmación previa y la reversión según la reversibilidad, vincular la evidencia con la afirmación y graduar la autonomía por rango de confianza. En el caso de los contratos, la cláusula extraída se vincula con su pasaje original y se resalta en el documento. El abogado la confirma o corrige cláusula por cláusula. Luego, las correcciones se incorporan al conjunto de pruebas de regresión.

La economía utiliza una unidad relacionada: el costo por resultado utilizable. CAPDS exige proyectar según la distribución, controlar el crecimiento del contexto, incluir la evaluación en el presupuesto y alinear los precios con el comportamiento de los costos. Estos requisitos llevan el análisis económico más allá del costo de una llamada individual. Incluyen el trabajo y el consumo necesarios para obtener un resultado que el producto pueda utilizar.

Un caso registra cuatro elementos descartados por cada elemento utilizable. Por lo tanto, el costo por elemento publicado es cinco veces el costo aparente por llamada. La respuesta consiste en mejorar los datos de entrada y reducir los descartes, en lugar de cambiar de enfoque. En el caso de los contratos, la evaluación consume más que la producción durante el primer trimestre. En conjunto, estos ejemplos muestran por qué la revisión, los resultados rechazados y la evaluación deben permanecer visibles al decidir si el producto es económicamente viable.

6. Haz del lanzamiento una decisión de exposición controlada

El lanzamiento es una decisión de exposición controlada respaldada por monitoreo y contención. CAPDS pide ejecutar en modo sombra antes de exponer a los usuarios, dejar por escrito los umbrales de reversión antes de la exposición e instrumentar antes de la primera versión. Estas condiciones anteponen la evidencia operativa y la capacidad de respuesta al lanzamiento. La decisión no se limita a determinar si la funcionalidad puede ponerse a disposición.

En el caso de los contratos, la ejecución en modo sombra utiliza contratos que ya fueron analizados. El resultado se compara con el resultado humano registrado. Esto crea una comparación basada en la tarea que el producto pretende apoyar. También mantiene la discusión sobre el lanzamiento conectada con la unidad de trabajo evaluada, en lugar de apoyarse solo en ejemplos seleccionados para demostrar la capacidad.

La exposición y la reversión pueden definirse según el riesgo. Un caso realiza el lanzamiento por categoría de producto, comenzando por la categoría de menor riesgo regulatorio. El caso de reclutamiento utiliza una comparación simultánea con el proceso anterior. Su umbral de reversión se define por la disparidad, no solo por la exactitud. Son decisiones de lanzamiento diferentes, pero ambas vinculan la exposición con una condición establecida, en lugar de hacerlo con una confianza general.

CAPDS también exige contención granular e indica a los equipos que contengan antes de diagnosticar. El producto debe permitir una respuesta mientras la causa aún se está investigando. Esto forma parte del ciclo de vida continuo que describe la guía. El monitoreo no es un informe de cierre posterior al lanzamiento. Aporta evidencia para decidir sobre la continuidad de la exposición, la reversión y la contención, utilizando umbrales definidos por escrito antes de exponer a los usuarios.

7. Gobierna según las consecuencias a lo largo del ciclo de vida

La gobernanza se implementa mediante controles del producto proporcionales al riesgo. CAPDS pide clasificar según las consecuencias, medir los resultados por grupo antes del lanzamiento, contar con supervisión humana efectiva y ofrecer una vía de apelación. Estos son requisitos observables del producto. Vinculan la responsabilidad con lo que el producto permite, lo que registra y lo que las personas afectadas pueden hacer después de una decisión.

El caso de reclutamiento muestra por qué las consecuencias tienen prioridad sobre la sofisticación técnica. La clasificación inicial determina quién recibe una entrevista. El costo del error es alto, y un candidato puede no saber que el sistema lo dejó fuera. El registro de definición del problema trata esa combinación como una restricción de diseño. El enfoque extrae atributos verificables y evita un juicio no auditable sobre la compatibilidad cultural, aunque esto reduzca la capacidad aparente.

La supervisión también se incorpora al diseño de la interacción. Las clasificaciones son sugerencias con justificación por atributo. Los reclutadores deben registrar un motivo cuando descartan candidatos de los primeros puestos, lo que genera una fricción deliberada. La gobernanza incluye medición por grupo como condición de lanzamiento, apelación con un plazo establecido en el punto de decisión, trazabilidad completa y supervisión con autoridad para discrepar. Por lo tanto, la participación humana se pone a prueba mediante su autoridad efectiva.

A lo largo del ciclo de vida, el patrón de decisión se mantiene consistente. Establecer evidencia de uso. Examinar las restricciones de los datos de entrada. Evaluar la tarea completa y los grupos críticos. Incluir la revisión y la evaluación en el análisis económico. Definir las condiciones de exposición y reversión. Ajustar los controles a las consecuencias. La guía CAPDS reúne estas decisiones. Su enfoque no es memorizar afirmaciones, sino demostrar las prácticas necesarias para formular, acotar o rechazar una promesa de producto.