≡En resumen
- Un algoritmo es de caja negra cuando ves qué entra y qué sale, pero no por qué decide lo que decide.
- La opacidad puede ser intencionada (secreto empresarial) o técnica (modelos demasiado complejos para interpretarlos).
- El término viene de la ingeniería y la cibernética, no de las cajas negras de los aviones.
- La IA explicable (XAI) busca abrir la caja con técnicas como LIME, SHAP o explicaciones contrafactuales.
- La normativa europea exige cada vez más transparencia: derecho a no ser objeto de decisiones solo automatizadas, parámetros de los sistemas de recomendación y obligaciones del Reglamento de IA.
01 ¿Qué son los algoritmos de caja negra?
La opacidad tiene dos orígenes distintos que conviene separar:
Caja negra por secreto
La empresa no revela cómo funciona su sistema para proteger su ventaja competitiva y evitar manipulaciones. Es el caso del algoritmo de un buscador o de un feed social.
Caja negra por complejidad
El sistema es tan complejo que ni sus creadores pueden interpretar su lógica: redes neuronales profundas y grandes modelos de lenguaje con miles de millones de parámetros.
02 Origen del término «caja negra»
El concepto viene de la ingeniería y la cibernética. Durante la Segunda Guerra Mundial, los componentes de radar se trataban como cajas cuya función se definía por sus entradas y salidas, sin entrar en su interior. Norbert Wiener describió en 1942 instrumentos especificados por su función antes de conocer su constitución, y W. Ross Ashby dedicó en 1956 un capítulo entero al «problema de la caja negra» en su libro An Introduction to Cybernetics.
03 Ejemplos de algoritmos de caja negra
| Ámbito | Ejemplo | Por qué es caja negra |
|---|---|---|
| Buscadores | El algoritmo de Google o de Bing | Se conocen principios y algunos sistemas, pero no el peso de cada señal |
| Redes sociales | El feed de TikTok, Instagram o YouTube | Las plataformas publican criterios generales, no el modelo |
| Publicidad | Campañas automatizadas como Performance Max o Advantage+ | El anunciante ve resultados agregados, no por qué se eligió cada impresión |
| Finanzas | Scoring de crédito y detección de fraude | Modelos complejos y protegidos por secreto comercial |
| Recursos humanos | Filtros automáticos de candidatos | Criterios aprendidos de datos históricos difíciles de auditar |
| IA generativa | ChatGPT, Gemini o Claude | Modelos con miles de millones de parámetros no interpretables directamente |
El caso más conocido para quien trabaja en marketing es el algoritmo de Google: Google publica guías y los nombres de muchos de sus sistemas, pero no la fórmula. En mayo de 2024 se filtró documentación interna de su API Content Warehouse con más de 14.000 atributos, y aun así no se supo cuánto pesa cada uno. Lo mismo ocurre en redes: entender a grandes rasgos cómo funciona el algoritmo de Instagram ayuda, pero nadie tiene la receta exacta.
04 Riesgos y críticas de los algoritmos opacos
El problema no es que un algoritmo sea complejo, sino que tome decisiones importantes sin que nadie pueda explicarlas ni corregirlas. Un modelo predictivo que estima qué clientes abandonarán o quién devolverá un préstamo puede ser muy útil, pero si es opaco hereda estas críticas:
- ✓Sesgos: si el modelo aprende de datos históricos con discriminación, la reproduce sin que se note.
- ✓Falta de responsabilidad: cuesta determinar quién responde de un error si nadie entiende la decisión.
- ✓Imposibilidad de recurrir: la persona afectada no sabe qué cambiar ni cómo reclamar.
- ✓Errores difíciles de detectar: el sistema puede apoyarse en correlaciones absurdas que funcionan hasta que dejan de hacerlo.
- ✓Dependencia de las plataformas: empresas y creadores ven caer su tráfico o alcance sin saber por qué.
En 2016 la organización periodística ProPublica analizó COMPAS, un software usado en tribunales de Estados Unidos para estimar el riesgo de reincidencia, y concluyó que sus errores afectaban de forma desigual a acusados negros y blancos. La empresa discrepó del análisis. El caso se convirtió en el ejemplo de referencia sobre los riesgos de delegar decisiones con impacto en modelos que no se pueden auditar desde fuera.
05 IA explicable: cómo se abre la caja negra
La IA explicable (XAI, explainable AI) reúne técnicas para entender por qué un modelo da un resultado. Es especialmente difícil en los grandes modelos de lenguaje: si comparas asistentes, como en nuestra comparativa ChatGPT vs Gemini, verás que ninguno puede justificar con certeza cómo ha generado cada frase. Unas se aplican al modelo desde el diseño; otras lo interrogan desde fuera, tratándolo como caja negra:
Modelos interpretables
Árboles de decisión, regresiones o reglas cuya lógica se puede leer. A veces sacrifican algo de precisión a cambio de claridad.
LIME (2016)
Explica una predicción concreta aproximando el modelo, alrededor de ese caso, con uno simple e interpretable.
SHAP (2017)
Asigna a cada variable una contribución a la predicción, basada en los valores de Shapley de la teoría de juegos.
Explicaciones contrafactuales
Indican qué tendría que cambiar para obtener otro resultado: «con 3.000 € más de ingresos, el crédito se habría aprobado».
06 Qué dice la normativa europea sobre los algoritmos de caja negra
| Norma | Qué exige | A quién afecta |
|---|---|---|
| RGPD, artículo 22 | Derecho a no ser objeto de decisiones basadas únicamente en tratamiento automatizado que produzcan efectos jurídicos o afecten de forma similar | Cualquier organización que trate datos personales en la UE |
| Reglamento de Servicios Digitales (UE) 2022/2065, artículo 27 | Explicar en las condiciones, de forma clara, los principales parámetros de los sistemas de recomendación y ofrecer opciones para modificarlos | Plataformas en línea; aplicable a todas desde el 17 de febrero de 2024 |
| Reglamento de IA (UE) 2024/1689 | Obligaciones de transparencia, documentación y supervisión humana, más estrictas para sistemas de alto riesgo | Proveedores y usuarios profesionales de sistemas de IA; en vigor desde el 1 de agosto de 2024 con aplicación escalonada |
Estas normas no obligan a publicar el código, pero sí a explicar criterios, documentar los sistemas y permitir que las personas afectadas entiendan y recurran decisiones relevantes. Para las empresas, eso significa que «lo decidió el algoritmo» deja de ser una respuesta aceptable.
07 Pruebas de caja negra y caja blanca en software
En desarrollo de software, «caja negra» también da nombre a una técnica de pruebas. Las pruebas de caja negra comprueban que, para unas entradas dadas, el programa devuelve las salidas esperadas, sin mirar el código. Las de caja blanca analizan el código interno: caminos, condiciones y bucles.
| Tipo | Qué se conoce | Técnicas típicas | Quién las hace |
|---|---|---|---|
| Caja negra | Solo requisitos, entradas y salidas | Partición de equivalencia, valores límite, tablas de decisión | QA, usuarios, testers externos |
| Caja blanca | El código fuente completo | Cobertura de sentencias, de ramas y de caminos | Desarrolladores |
| Caja gris | Conocimiento parcial de la arquitectura | Pruebas de integración y de seguridad | Equipos mixtos |
Preguntas frecuentes sobre Algoritmos de caja negra
Es un sistema automático del que se conocen las entradas y los resultados, pero no el razonamiento interno que lleva de unas a otros, ya sea por secreto comercial o por su complejidad.
Es un modelo, como una red neuronal profunda, cuya lógica no se puede interpretar directamente aunque se tenga acceso a él, porque sus decisiones dependen de millones de parámetros.
En un modelo o prueba de caja blanca se conoce y analiza el funcionamiento interno; en uno de caja negra solo se observan las entradas y las salidas.
El término viene de la ingeniería y la cibernética de los años 40 y 50, donde se llamaba así a un dispositivo estudiado solo por sus entradas y salidas. No procede de los registradores de vuelo de los aviones.
En gran parte, sí. Google publica cómo funciona la búsqueda y el nombre de muchos de sus sistemas, pero no el peso de cada señal ni el código de sus modelos.
En pruebas de software, son técnicas que diseñan casos de prueba a partir de los requisitos, sin mirar el código, como la partición de equivalencia o el análisis de valores límite.
Sí, pero con límites. En la UE el RGPD protege frente a decisiones basadas únicamente en tratamiento automatizado con efectos significativos, y el Reglamento de IA y el de Servicios Digitales exigen transparencia en determinados casos.
Fuentes consultadas
Sobre el autor
Germán Gutiérrez
Development Manager en appyweb
Dirige el equipo de desarrollo de appyweb: aplicaciones web y móviles, SaaS, integraciones y arquitectura de software.
Ver perfil en LinkedIn ↗