Aprender por sí mismo de los datos

Hinton y sus colegas presentan un método descrito como “entrenar redes de creencia profundas y dirigidas, una capa a la vez” (traducción). Se describe como “un hito hacia lo que hoy se conoce como aprendizaje profundo”

Las redes neuronales con muchas capas no aprendían bien solo con retropropagación. Hinton y sus colegas mostraron un método que primero entrenaba cada capa sin respuestas correctas (preentrenamiento), descrito como “aprende una capa de características a la vez”, y después ajustaba toda la red con retropropagación. Obtuvo un error del 1.25% en los dígitos manuscritos de MNIST (artículo de Neural Computation), y también superó los métodos anteriores al representar imágenes y documentos con pocos números (artículo de Science).

El ensayo de Bayes ── en 1763, su amigo Price encuentra el manuscrito póstumo y lo envía a la Royal Society

El teorema de Bayes permite volver a calcular cuán probable es una causa o hipótesis después de observar un resultado (evidencia). Es la base de la clasificación bayesiana ingenua. El 23 de diciembre de 1763 se leyó ante la Royal Society un ensayo presentado como una carta de Price a John Canton, miembro de la sociedad. Era An Essay towards solving a Problem in the Doctrine of Chances (Ensayo para resolver un problema de la teoría de las probabilidades), que Price había encontrado entre los papeles de su difunto amigo Bayes, y se publicó en el volumen 53 de Philosophical Transactions (a partir de la página 370). Según la carta de Price, Bayes pretendía encontrar un método para determinar la probabilidad de un suceso cuando solo se sabe cuántas veces ha ocurrido y cuántas no, sin disponer de ninguna otra información.

Clasificación de documentos con Bayes ingenuo: en 1961, Maron experimenta con predecir el área de los artículos a partir de palabras clave. Él mismo decía que la suposición de independencia entre palabras era incorrecta

La clasificación de Bayes ingenuo, o naïve Bayes, usa el teorema de Bayes para calcular la probabilidad de que un documento pertenezca a cada área a partir de las palabras que contiene, y lo asigna al área más probable. Supone que, una vez fijada el área, las palabras aparecen de forma independiente, lo que permite calcular multiplicando las probabilidades de cada palabra. En su artículo de 1961 “Indexación automática: una investigación experimental” (Automatic Indexing: An Experimental Inquiry), M. E. Maron, de The RAND Corporation, experimentó con 405 resúmenes de 1959 de la revista IRE Transactions on Electronic Computers. Usó los 260 de marzo y junio como datos de entrenamiento para contar las relaciones entre palabras y áreas. Dejó sin examinar los 145 de septiembre durante la preparación y los usó después como datos de prueba. Había 32 áreas y 90 palabras clave. De los 85 resúmenes de prueba que contenían al menos 2 palabras clave, el área más probable fue correcta en 44 (51.8%); en 68 (80%), el área correcta estuvo entre las 3 más probables.

Lo que aún no se sabe:El experimento de 1961 separó los datos de entrenamiento de los de prueba: los 145 resúmenes de prueba no se examinaron durante la preparación. Las cifras del artículo también muestran que la precisión en documentos nuevos, 51.8%, era mucho menor que en los documentos usados para entrenar: 84.6% de aciertos en el área más probable.

Mínimos cuadrados ── Legendre los publica en el apéndice de un libro en 1805; en 1809, Gauss afirma que los usaba desde 1795 (la disputa de prioridad más famosa de la historia de la estadística)

El método de los mínimos cuadrados eleva al cuadrado cada error entre un valor medido y el calculado con una fórmula, suma esos cuadrados y elige las constantes de la fórmula (en una recta, la pendiente y la intersección con el eje) para que la suma sea lo más pequeña posible. En 1805, Legendre (A. M. Legendre) escribió en el apéndice Sur la Méthode des moindres quarrés (Sobre el método de los mínimos cuadrados) de su libro sobre las órbitas de los cometas, Nouvelles méthodes pour la détermination des orbites des comètes (Nuevos métodos para determinar las órbitas de los cometas), publicado en París, que cuando hay más ecuaciones que cantidades desconocidas no se pueden reducir todos los errores a 0. Por ello, minimizar la suma de los cuadrados de los errores es el método más general, preciso y práctico. También escribió que así se equilibran los errores y se evita el efecto de errores extremos. En la sección 186 de Theoria motus corporum coelestium (Teoría del movimiento de los cuerpos celestes), su libro sobre el movimiento de los cuerpos celestes publicado en Hamburgo en 1809, Gauss (C. F. Gauss) escribió que utilizaban desde 1795 el principio de minimizar la suma de los cuadrados de las diferencias, y que Legendre lo había publicado recientemente. Stigler, que volvió a estudiar esta historia en 1981, la llama la disputa de prioridad más famosa de la historia de la estadística.

Lo que aún no se sabe:No se ha resuelto si Gauss realmente lo usaba en 1795. Algunos testimonios posteriores de Gauss indican 1794, por lo que la fecha varía. Stigler escribe que quizá se podría comprobar con los datos de la medición del meridiano francés.

La función logística (curva en S) ── Verhulst la publica como fórmula del crecimiento de la población en 1838; recibe su nombre en 1845

La función logística describe un crecimiento inicialmente cercano a una duplicación sucesiva, que se vuelve más lento al acercarse a un límite, formando una S. Más tarde, la regresión logística utiliza esta S para representar una probabilidad (un número entre 0 y 1). En 1838, Verhulst (P.-F. Verhulst) expresó la velocidad de crecimiento de una población p con la fórmula dp/dt = mp − np² en un breve artículo del volumen 10 de Correspondance mathématique et physique (Correspondencia matemática y física), revista editada por Quetelet. La fórmula resta al término de crecimiento multiplicativo mp un freno np², que se intensifica cuanto mayor es la población. La solución muestra que, con el tiempo, la población se acerca al límite m/n. Verhulst la comparó con datos de población de Francia, Bélgica, Essex y Rusia, y escribió que había terminado la investigación en 1833 y la publicaba por recomendación de Quetelet. También indicó que cambiar el freno por np³, np⁴ o n log p producía errores respecto a las observaciones casi iguales, pero cambiaba mucho el valor del límite.

Lo que aún no se sabe:El propio Verhulst señaló que distintos frenos daban errores similares respecto a las observaciones, pero predicciones del límite muy distintas. Concluyó que solo el futuro podría revelar la verdadera forma del freno. La dificultad de decidir qué fórmula es correcta con pocos datos conecta con los debates posteriores sobre la selección de modelos (AIC, entre otros).

Regresión logística: en 1958, Cox publica un estudio de regresión para datos de 0 y 1. Él mismo decía no saber quién la había usado primero

La regresión logística predice la probabilidad de un resultado de 1 a partir de variables explicativas, como la edad, cuando los resultados son 1 o 0, como sí o no. En la regresión lineal habitual, la predicción puede ser menor que 0 o mayor que 1. Con la curva logística en forma de S, siempre queda entre 0 y 1, y los resultados pueden interpretarse mediante razones de momios, que comparan las posibilidades de que algo ocurra. Cox, D. R. Cox, afiliado en el artículo a Birkbeck College de la Universidad de Londres, publicó en julio de 1958 “El análisis de regresión de secuencias binarias” (The Regression Analysis of Binary Sequences). Trató las pruebas y la estimación cuando se observa una secuencia de 0 y 1 y se considera que la probabilidad de obtener 1 depende de una o más variables explicativas. El resumen indica que existían bastantes estudios anteriores y que también los revisaría. En una entrevista de 1994, Cox explicó que buscaba crear un marco sistemático para analizar datos de 0 y 1, parecido a la regresión por mínimos cuadrados. Uno de los motivos fue el gran interés de los investigadores de psicología experimental de Birkbeck College por analizar esos datos.

Lo que aún no se sabe:Ni siquiera los testimonios de los participantes aclaran quién usó primero la regresión logística. Cox mencionó a Cornfield, pero también dijo no recordar si había recibido su influencia.

El precursor del análisis de componentes principales ── en 1901, Pearson muestra que la recta más cercana a un conjunto de puntos sigue el eje más largo de su dispersión

Karl Pearson, del University College de Londres, estudió cómo encontrar la recta o el plano que mejor se ajusta a un conjunto de puntos en un plano o en un espacio de 3 o más dimensiones. Con los mínimos cuadrados habituales (regresión: se supone que solo y tiene errores y se reducen las desviaciones verticales), se obtienen rectas distintas según se tome x o y como referencia. Pearson propuso que, si tanto x como y contienen errores de medición, se debe minimizar la suma de los cuadrados de las distancias perpendiculares desde los puntos hasta la recta. Mostró que esa recta pasa por el centro de gravedad y sigue el eje más largo del elipsoide que representa la dispersión de los puntos. Esta es la dirección del primer componente principal del análisis de componentes principales actual: un método que representa conjuntos de muchos números con pocos, extraídos en orden desde la dirección con mayor variación. El artículo incluye un ejemplo numérico de 10 puntos: la pendiente de la recta más cercana es −0.546; la de la regresión que predice y a partir de x, −0.5396; y la que predice x a partir de y, −0.5659. Así muestra que las 3 rectas son distintas.

Análisis de componentes principales: en 1933, Hotelling llama método de componentes principales a una forma de representar muchos números, como las notas de exámenes, con pocos componentes extraídos en orden de mayor variación

Harold Hotelling, de la Universidad de Columbia, consideró que detrás de muchas variables relacionadas entre sí, como la rapidez de los niños en aritmética o sus notas en pruebas de lectura, hay unas pocas cantidades básicas sin relación entre ellas, y mostró cómo extraerlas. Primero se extrae un componente que explique la mayor parte de la variación de todas las variables; después, entre los componentes sin relación con el primero, se van extrayendo los que más explican la variación restante. Los de poca influencia pueden descartarse. Lo llamó “el método de componentes principales” y explicó que equivale a alinear los ejes de coordenadas con los ejes principales del elipsoide de la distribución de puntos. Escribió que eran lo que en psicología se llamaba “factores mentales”, pero que también se podían utilizar fuera de la psicología (para las propiedades de postes eléctricos o los tipos de cambio, por ejemplo). Por eso eligió components (componentes), para evitar la confusión con la palabra matemática factor.

Lo que aún no se sabe:Para este sitio no se ha comprobado si Hotelling conocía el artículo de Pearson de 1901 (la copia guardada es texto obtenido por reconocimiento automático y no se han leído todas las páginas).

Teoría de la cuantificación: en 1950, Chikio Hayashi publica un método para asignar números a datos cualitativos y predecir los resultados de la libertad condicional

Cuando la encuesta de alfabetización de la población japonesa de 1948 estaba por terminar, un especialista en derecho penal del instituto de formación en correcciones y libertad condicional del Ministerio de Justicia consultó a Chikio Hayashi, del Instituto de Matemáticas Estadísticas. Quería hacer más fiable, mediante la estadística, la decisión de conceder la libertad condicional a presos que habían cumplido un tercio de su condena. Los métodos anteriores asignaban a las respuestas de cada apartado puntuaciones como −2, −1, 0, 1, 2 según el criterio humano, y las sumaban. Hayashi visitó la prisión de Yokohama y oyó que los presos ejemplares, bien adaptados a la vida carcelaria y trabajadores, regresaban pronto incluso después de salir. También observó que los muy rebeldes tendían a reincidir y los intermedios eran los menos propensos a hacerlo. Comprendió que las puntuaciones de valoración no necesariamente siguen una sola dirección. Así concibió la idea de determinar a partir de los datos los propios números asignados a cada respuesta (datos cualitativos), para separar con la mayor claridad a quienes habían reincidido de quienes no. En su artículo en inglés de 1950 formuló el problema como maximizar la tasa de éxito de la predicción. Después desarrolló métodos para distintos problemas prácticos: la encuesta de alfabetización, las relaciones humanas entre trabajadores de mantenimiento de vías de los Ferrocarriles Nacionales y el diseño de etiquetas de conservas para exportación. En conjunto recibieron el nombre de teoría de la cuantificación.

Lo que aún no se sabe:Para este sitio no se ha comprobado cuánto cambiaron realmente las decisiones de libertad condicional con los números (pesos) de Hayashi, ni si se utilizaron en la práctica.

El inicio del método de los k vecinos más cercanos: Fix y Hodges lo idean en 1951 en un informe de la Fuerza Aérea estadounidense (no se publicó como artículo de revista)

El método de los k vecinos más cercanos (k-NN) busca los k datos etiquetados más próximos a un punto nuevo que se desea clasificar y lo asigna al grupo más numeroso entre ellos. Se llama método no paramétrico porque no fija de antemano la distribución de los datos. En febrero de 1951, E. Fix y J. L. Hodges, Jr. idearon este tipo de regla en el informe Discriminatory Analysis, Nonparametric Discrimination (Análisis discriminante, discriminación no paramétrica) de la USAF School of Aviation Medicine (Randolph Field, Texas). Mostraron que, si k aumenta junto con el número de datos n y k/n se acerca a 0, la regla es consistente (cuantos más datos hay, más se acerca a la clasificación óptima). Así lo presenta el artículo de Cover y Hart de 1967.

Lo que aún no se sabe:Para este sitio todavía no se ha abierto y comprobado el informe original de 1951. El contenido se basa en las presentaciones del artículo de 1967 y de un artículo explicativo.

Garantía teórica del vecino más cercano ── en 1967, Cover y Hart demuestran que incluso clasificar según un solo punto cercano no supera el doble de la tasa mínima teórica de error

El método del vecino más cercano (k vecinos más cercanos con k=1) asigna un dato nuevo a la misma clase (grupo) que el punto ya clasificado más cercano. En su artículo de enero de 1967, Nearest Neighbor Pattern Classification (“Clasificación de patrones por el vecino más cercano”), Cover (T. M. Cover, Stanford University) y Hart (P. E. Hart, Stanford Research Institute) demostraron que, cuando hay suficientes puntos clasificados, la tasa de error R de este método no baja de la tasa mínima R* que se obtendría conociendo por completo la distribución (error de Bayes), pero tampoco supera el doble de R*. Si el número de clases es M: R* ≤ R ≤ R*(2 − MR*/(M − 1)). El artículo afirma que, en este sentido, el punto más cercano contiene la mitad de la información para clasificar que hay en una cantidad infinita de datos.

Lo que aún no se sabe:Esta garantía teórica se refiere al caso en que hay suficientes datos (large sample, en el artículo); no describe el rendimiento cuando hay pocos datos.

Antecedente de k-means: en 1957, Lloyd escribe en Bell Labs un procedimiento para encontrar la mejor manera de representar señales con pocos valores representativos (publicado en una revista científica en 1982)

Stuart Lloyd, de Bell Labs, estudió la PCM, o modulación por impulsos codificados: un método que transmite el voltaje de una señal sustituyéndolo por uno de un número determinado de valores representativos. El problema consistía en encontrar los límites de los intervalos y los valores representativos que minimizaran la media del cuadrado del error respecto a la señal original, llamado ruido de cuantización. Su método I alterna estos pasos: (1) fijar los límites y tomar el centro de gravedad, o media, de cada intervalo como valor representativo; (2) fijar los nuevos límites justo a mitad de camino entre valores representativos vecinos. Tiene la misma estructura que k-means en 1 dimensión: agrupar los puntos según el representante más cercano y mover cada representante a la media de su grupo, repetidamente. El manuscrito circuló en Bell Labs en 1957, y una parte se presentó en una reunión de una sociedad de estadística en septiembre de ese año. Sin embargo, no apareció en una revista científica hasta 1982, unos 25 años después.

Lo que aún no se sabe:El manuscrito de 1957, un documento interno de Bell Labs, no está disponible públicamente. Este sitio solo lo ha comprobado mediante la nota final del artículo de 1982. No se sabe exactamente qué presentó ni hasta dónde llegó en la reunión de 1957.

k-means ── en 1967, MacQueen llama k-means (k medias) a un procedimiento para dividir puntos en k grupos

J. MacQueen, de la Universidad de California en Los Ángeles, llamó k-means a un procedimiento que divide datos (puntos) en k grupos para reducir la dispersión dentro de cada grupo (la suma de las distancias al cuadrado respecto a su media). En su procedimiento, los primeros k puntos forman un grupo cada uno. Después se incorpora cada nuevo punto al grupo cuya media está más cerca y se actualiza inmediatamente la media de ese grupo. Lo llamó k-means porque, en cualquier etapa, las k medias son las medias de cada grupo. En el mismo artículo también presentó la forma que hoy suele describirse como el procedimiento k-means: repetir 2 pasos, reasignar todos los puntos al grupo de la media más cercana → recalcular la media de cada grupo. Explicó que Forgy y Jennrich habían descubierto este método por separado y se lo habían comunicado hacia 1963.

Lo que aún no se sabe:Se sabe que varios investigadores llegaron de forma independiente al mismo procedimiento, pero este sitio no ha comprobado cuánto intercambio de información hubo entre ellos (por ejemplo, quién había leído el manuscrito de Lloyd de 1957).

Agrupamiento jerárquico: en 1958, Sokal y Michener organizan 97 especies de abejas en un árbol según su semejanza

Robert Sokal y Charles Michener, del departamento de entomología de la Universidad de Kansas, clasificaron 97 especies de abejas solitarias de la familia de las cortadoras de hojas. Compararon 122 características por especie, como si el abdomen era rojo o negro, y expresaron la semejanza entre especies mediante el coeficiente de correlación: un número que indica hasta qué punto 2 conjuntos de valores aumentan y disminuyen de forma parecida. Agruparon las especies semejantes y fueron uniendo los grupos para construir un árbol. Es la idea del actual agrupamiento jerárquico: unir primero los elementos cercanos y formar un árbol de grupos incluidos unos dentro de otros. Las clasificaciones tradicionales daban distintos pesos a unas pocas características según criterios personales. Ellos dieron el mismo peso a muchas características. Para calcular usaron máquinas de tarjetas perforadas de IBM y personas con calculadoras de escritorio; el artículo llama computer a esas personas. Solo los coeficientes de correlación requirieron 160 horas de trabajo humano. Los autores también escribieron que una computadora digital de entonces habría tardado menos de 1 hora.

Lo que aún no se sabe:Se considera que por la misma época surgieron en otros campos ideas de construir árboles agrupando primero los elementos semejantes. Sin embargo, este sitio no ha consultado sus artículos originales ni lo ha verificado. No se ha determinado cuál fue el primero.

Método de Ward: en 1963, Ward presenta un agrupamiento jerárquico que elige una función objetivo y une grupos de 2 en 2

Joe H. Ward Jr., de la División de Medicina Aeroespacial de la base aérea de Lackland, presentó un procedimiento para reunir personas u objetos en grupos semejantes en estudios grandes, con más de 100 elementos. Partiendo de n grupos, inicialmente de un solo elemento, examina las n(n−1)/2 maneras de unir 2 de ellos. Une los 2 que dan el mejor valor de la función objetivo, un número que expresa la calidad del agrupamiento y que quien analiza elige según su propósito. Así quedan n−1 grupos. Al repetirlo hasta obtener 1 grupo, se revela la estructura jerárquica completa y la cantidad de información perdida en cada paso. En el ejemplo del artículo, si las puntuaciones de 10 personas, 2, 6, 5, 6, 2, 2, 2, 0, 0, 0, se representan como un solo grupo mediante su media, la suma de errores cuadrados, o suma de los cuadrados de las diferencias respecto a la media, es 50.5. Si se dividen en 4 grupos, {0,0,0} {2,2,2,2} {5} {6,6}, es 0.

Lo que aún no se sabe:Este sitio ha comprobado las primeras 2 páginas del artículo, p.236-237. No ha leído los detalles del diagrama de flujo ni de los ejemplos numéricos de p.238 en adelante.

Modelo oculto de Markov ── en 1966, Baum y Petrie desarrollan las matemáticas de un modelo con estados invisibles que cambian y emiten símbolos

Leonard E. Baum y Petrie, del Institute for Defense Analyses de Princeton, estudiaron un modelo probabilístico. En él, estados que no se ven desde fuera cambian según una cadena de Markov (una transición en la que la probabilidad del siguiente estado depende solo del estado actual), y cada estado emite símbolos de forma probabilística. Lo llamaron una función probabilística de una cadena de Markov. Demostraron que, usando solo la secuencia de símbolos observados Y1, …, YT, era posible estimar la tabla A de probabilidades de transición entre estados y la tabla B de probabilidades de emisión de símbolos. También demostraron que, al aumentar los datos, la estimación por máxima verosimilitud (elegir los valores que hacen más probables esos datos) se acerca a los valores correctos. Este es uno de los orígenes matemáticos del actual modelo oculto de Markov (HMM). En 1970, el mismo grupo (con Petrie, Soules y Weiss) presentó un cálculo iterativo que aumentaba gradualmente la verosimilitud. Dempster y sus colegas escribieron en 1977 que era un caso particular del algoritmo EM.

Lo que aún no se sabe:Este sitio no ha comprobado quién utilizó por primera vez el nombre modelo oculto de Markov (hidden Markov model) ni en qué año. Las fuentes tampoco indican con qué propósito se realizó esta investigación en el Institute for Defense Analyses.

Reconocimiento de voz con modelos ocultos de Markov — Baker empezó a usarlos en 1975 y Jelinek, de IBM, en 1976; la explicación de Rabiner de 1989 los dio a conocer ampliamente

Aunque las palabras sean las mismas, la voz cambia según la persona y la velocidad al hablar. En 1975, J. Baker representó distintos conocimientos del lenguaje en el sistema de comprensión de voz DRAGON mediante una sola forma: funciones probabilísticas de un proceso de Markov (los actuales modelos ocultos de Markov, en los que estados no observables cambian con ciertas probabilidades y cada estado emite características del sonido también de forma probabilística). En 1976, F. Jelinek, del Centro de Investigación Thomas J. Watson de IBM, publicó un artículo sobre el reconocimiento de voz continua con métodos estadísticos. Sin embargo, cuando Rabiner redactó su texto en 1988, este método solo había empezado a comprenderse y utilizarse ampliamente en la investigación de voz durante los últimos años. En 1989, Lawrence R. Rabiner, de AT&T Bell Laboratories, reunió la teoría y sus aplicaciones al reconocimiento de voz en una sola explicación. En sus experimentos de reconocimiento de dígitos pronunciados de uno en uno, independientemente del hablante, la tasa de error de los modelos ocultos de Markov fue similar a la del método tradicional de comparación de patrones (DTW, que ajusta las diferencias de velocidad del habla mediante programación dinámica y después compara con patrones de voz almacenados). En Japón, Hiroaki Sakoe y Seibi Chiba, de NEC, ya habían presentado esta idea de comparar patrones como DP matching en 1971 (otro acontecimiento de este sitio).

Lo que aún no se sabe:Rabiner 1989 también señala que las suposiciones de independencia entre las observaciones del sonido y de propiedad de Markov tienen aspectos que no encajan con la voz real. La explicación no aclara por qué el método funcionó bien a pesar de ello.

Criterio de información de Akaike, AIC ── presentado por Hirotugu Akaike en 1971 y publicado en 1973. Combina el ajuste a los datos con una penalización por el número de parámetros

AIC es un criterio para decidir qué modelo usar entre varios modelos estadísticos candidatos. Se calcula como AIC＝ (−2) × (máxima log-verosimilitud)＋2 × (número de parámetros), y se considera mejor el modelo con menor valor. El primer término indica el ajuste a los datos (cuanto mejor se ajusta, menor es el valor); el segundo penaliza aumentar demasiado el número de parámetros ajustables. En 1968, Hirotugu Akaike, del Instituto de Matemática Estadística, estudiaba un modelo de series temporales del movimiento de un horno rotatorio de cemento. Ante el problema de decidir cuántos valores pasados usar (el orden), ideó el error de predicción esperado (FPE). Según sus recuerdos de 1981, la mañana del 16 de marzo de 1971, al sentarse en el tren que lo llevaba al trabajo, advirtió de repente la relación entre máxima verosimilitud e información de Kullback–Leibler. En su conferencia conmemorativa del Premio Kioto de 2006 dijo: “La primera presentación del AIC fue un informe en la reunión de la Sociedad Japonesa de Estadística de 1971” (traducción). Añadió que lo presentó en detalle ese mismo año en el 2.º Simposio Internacional de Teoría de la Información, en Armenia; que se publicó en las actas en 1973; y que en 1974 publicó una explicación en una revista estadounidense de IEEE sobre control automático.

Lo que aún no se sabe:AIC no fue aceptado desde el principio. En su conferencia de 2006, Akaike dijo que hubo una respuesta entusiasta de los campos aplicados, pero “La respuesta del campo de la estadística ortodoxa fue poco favorable” (traducción). En sus recuerdos de 1981 también escribe que aún no estaba plenamente aceptado por los estadísticos profesionales. Además, AIC presupone un modelo regular, en el que parámetros y distribuciones se corresponden uno a uno. Por ello, cómo usarlo con máquinas que aprenden, como las redes neuronales, dio lugar a investigaciones posteriores (como WAIC, de Sumio Watanabe).

Validación cruzada — En 1974, Stone publicó un artículo sobre cómo elegir y evaluar métodos de predicción separando los datos para comprobarlos. La idea ya existía desde la década de 1930

La validación cruzada consiste en dividir los datos disponibles en conjuntos de entrenamiento y validación, repetir la comprobación cambiando la división y elegir un método de predicción a partir del rendimiento promedio. En la modalidad de dejar uno fuera, se excluye 1 de los n datos, se construye un modelo con los n − 1 restantes y se prueba con el dato excluido; esto se repite de n formas. En su artículo Cross-validatory Choice and Assessment of Statistical Predictions (“Selección y evaluación de predicciones estadísticas mediante validación cruzada”), presentado el 5 de diciembre de 1973 ante la Royal Statistical Society y publicado en 1974 en Journal of the Royal Statistical Society, Series B, M. Stone (University College London) propuso usar este criterio para unir la selección del método de predicción con su evaluación. Lo ilustró con ejemplos de estimación a partir de una muestra, regresión múltiple y análisis de varianza.

Lo que aún no se sabe:En 1977, Stone demostró que la validación cruzada dejando uno fuera y el AIC de Akaike se comportan de forma similar cuando hay muchos datos (son asintóticamente equivalentes), según la descripción del artículo de Watanabe de 2010. Sin embargo, esto se refiere a modelos regulares, en los que los parámetros y las distribuciones de probabilidad tienen una correspondencia de 1 a 1. Para modelos singulares, como las redes neuronales, no se sabía qué ocurría hasta el artículo de Watanabe de 2010.

WAIC: en 2010, Sumio Watanabe demuestra que un criterio de información aplicable también a redes neuronales y la validación cruzada dejando un dato fuera se aproximan al mismo valor

WAIC (widely applicable information criterion, criterio de información de amplia aplicación) es un criterio propuesto por Sumio Watanabe (afiliación en el artículo: Precision and Intelligence Laboratory, Tokyo Institute of Technology) para estimar la pérdida de generalización de modelos de inferencia bayesiana, es decir, el error de predicción con datos desconocidos. AIC presupone modelos regulares, en los que hay una correspondencia de uno a uno entre parámetros y distribuciones de probabilidad. Sin embargo, muchas máquinas de aprendizaje, como redes neuronales, mezclas de distribuciones normales, modelos ocultos de Markov y máquinas de Boltzmann, son modelos singulares que no cumplen esta condición. En un artículo de diciembre de 2010 en Journal of Machine Learning Research, Watanabe demostró que, incluso en estos modelos singulares, la pérdida de la validación cruzada bayesiana dejando un dato fuera y WAIC se aproximan al mismo valor cuando hay muchos datos: son asintóticamente equivalentes. Para los modelos regulares, ya se conocía la equivalencia asintótica entre esta validación cruzada y AIC, entre otras fuentes por un artículo de Stone de 1977.

Algoritmo EM — En 1977, Dempster, Laird y Rubin reunieron en una forma general y dieron nombre a un método para aprender de datos parcialmente no observables

A. P. Dempster, N. M. Laird y D. B. Rubin, de la Universidad de Harvard y Educational Testing Service, presentaron un método general para estimar los parámetros más verosímiles (los números dentro de un modelo) cuando una parte de los datos no se observa o falta. En el paso E (expectation: esperanza), se usan los parámetros actuales para calcular la esperanza de los valores de la parte no observable. En el paso M (maximization: maximización), se utilizan los datos completados para recalcular los parámetros con los valores más verosímiles. Lo llamaron algoritmo EM porque repite estos pasos de forma alternada. Demostraron que, en cada repetición, la verosimilitud de los datos (la probabilidad de obtener esos datos con esos parámetros) no disminuye. También mostraron que muchos casos encajan en esta forma: datos con valores ausentes, distribuciones con varios picos mezclados (distribuciones de mezcla), análisis factorial y otros. El primer ejemplo eran datos de 197 animales divididos en 4 categorías por un mecanismo genético (un ejemplo del libro de Rao de 1965).

Binarización de Otsu — En 1979, Nobuyuki Otsu presentó un método para fijar automáticamente el umbral que divide una imagen en tonos de gris en blanco y negro, buscando la mejor separación entre 2 grupos

Nobuyuki Otsu (afiliado a Electrotechnical Laboratory, Tokyo, en el artículo en inglés de 1979) presentó un método para determinar automáticamente el nivel de brillo límite (umbral) que separa letras u objetos del fondo en una imagen en tonos de gris. Al dividir la distribución de frecuencias del brillo (histograma) en 2 grupos mediante un nivel k, elige el k que maximiza la variación entre los grupos (varianza entre clases). Esta idea procede del análisis discriminante, un método estadístico que busca un criterio para separar bien 2 grupos, y equivale a minimizar la variación dentro de los grupos (varianza dentro de las clases). El cálculo es muy sencillo porque solo utiliza los momentos acumulados de orden 0 y 1 del histograma (la proporción de píxeles y la suma de sus brillos hasta ese nivel). Es un método no supervisado: decide sin recibir respuestas correctas. El resumen del artículo en japonés de 1980 señala que también es óptimo en el sentido de mínimos cuadrados al aproximar la imagen original con unos pocos valores, y que se puede ampliar fácilmente para dividirla en 3 o más grupos. Los ejemplos del artículo eran letras A escritas a máquina con cintas nuevas y viejas, un patrón de tela e imágenes de células (divididas en fondo, citoplasma y núcleo).

Lo que aún no se sabe:El artículo en inglés señala que aún no se había obtenido una demostración rigurosa de que la función de evaluación siempre tuviera un solo pico (fuera unimodal), aunque en los experimentos siempre fue suave y unimodal.

Red bayesiana: en 1985, Pearl dio nombre al método que representa relaciones de causa y efecto mediante un grafo de flechas y probabilidades condicionales (la idea venía de 1982)

Judea Pearl, de la Universidad de California en Los Ángeles (UCLA), llamó red bayesiana a un grafo en el que muchas proposiciones o variables son puntos, las dependencias directas se unen con flechas y su fuerza se expresa mediante probabilidades condicionales (probabilidad de que ocurra B cuando ocurre A). Cuando se obtiene nueva evidencia (por ejemplo, el resultado de una prueba), cada punto intercambia mensajes breves solo con sus vecinos y actualiza correctamente las probabilidades de toda la red (cuánto se cree en cada cosa). Así se puede razonar a partir de muchas pistas respetando las reglas del cálculo de probabilidades. En su artículo de AAAI de 1982, Pearl escribió que muchos investigadores de IA aceptaban el mito de que los modelos computacionales del razonamiento incierto debían alterar al menos en parte las reglas de la probabilidad, y utilizaban reglas improvisadas. Mostró que una red en forma de árbol podía actualizarse por completo con una sola ronda de intercambio, siguiendo las reglas de la probabilidad. El informe de 1985 presentó este mecanismo en un congreso de ciencias cognitivas como modelo de la memoria y el razonamiento humanos.

Lo que aún no se sabe:El propio Pearl escribe en el resumen que la actualización correcta de toda la red mediante solo intercambios locales se limita a redes con un único camino entre dos puntos cualesquiera. Para redes con varios caminos, este informe solo analiza una orientación de cálculo.

Árboles de decisión: en 1986, Quinlan reunió ID3 en un artículo. Sus orígenes siguen dos líneas: CLS de Hunt y sus colaboradores en 1966 y los árboles estadísticos desde 1963

Un árbol de decisión es un método de clasificación que organiza preguntas, como qué tiempo hace o si la humedad es alta, en forma de ramas. Se siguen las ramas según las respuestas y, al llegar a una hoja, se obtiene el resultado (clase). ID3 construye el árbol eligiendo primero la pregunta que aporta más información al dividir los datos (ganancia de información, medida en bits), y repite el procedimiento en cada rama. Quinlan (J. R. Quinlan, New South Wales Institute of Technology) calculó un ejemplo en su artículo de 1986 Inducción de árboles de decisión (Induction of Decision Trees). Utilizó las condiciones meteorológicas de 14 mañanas de sábado (tiempo, temperatura, humedad y viento, con 2 clases, P o N) y mostró que dividir según el tiempo aportaba 0.246 bits, el máximo, por lo que el tiempo ocupaba la raíz del árbol. Según el artículo, esta familia de métodos procede de CLS, de Hunt y sus colaboradores (libro de 1966). ID3 (1979) se desarrolló al abordar una tarea propuesta por Donald Michie: distinguir posiciones de un final de ajedrez (rey y torre contra rey y caballo) solo a partir de sus características de forma.

Aprendizaje TD: en 1988, Sutton formuló la teoría de un método que aprende del error respecto a la siguiente predicción sin esperar al resultado final

Richard Sutton, de GTE Laboratories, formuló teóricamente el método TD (temporal-difference, aprendizaje por diferencias temporales) para aprender a predecir el futuro a partir de la experiencia. El aprendizaje supervisado habitual utiliza el error entre la predicción y el resultado final para corregir la predicción. En cambio, TD utiliza el error entre “la predicción de hoy” y “la predicción de mañana” para corregir la de hoy. El artículo pone como ejemplo a una persona que predice el tiempo. Supóngase que cada día predice si lloverá el sábado, con un 50% el lunes y un 75% el martes. TD eleva la predicción de días como el lunes sin esperar al resultado del sábado. Sutton argumentó que así se puede calcular un poco cada día, utilizar menos memoria y, en muchos casos, predecir con mayor precisión. Demostró la convergencia y la optimalidad para un caso especial. Como ejemplo de verificación, utilizó un paseo aleatorio que empieza en el punto central D, avanza al azar un paso a izquierda o derecha y termina al llegar a A en el extremo izquierdo o a G en el derecho. El sistema aprendía la probabilidad de llegar a G desde cada punto.

Lo que aún no se sabe:Sutton argumentaba que la mayoría de los problemas en los que entonces se utilizaba aprendizaje supervisado eran en realidad problemas de predicción donde TD podía ser ventajoso (perspectiva de 1988). Este sitio no ha comprobado hasta qué punto se cumplió esa perspectiva.

Aprendizaje Q: Watkins lo presentó en 1989 en una tesis doctoral sobre cómo los animales aprenden acciones óptimas (demostración detallada en 1992)

Christopher Watkins planteó cómo pueden los animales aprender acciones óptimas a partir de la experiencia en su tesis doctoral de King's College, Learning from Delayed Rewards (mayo de 1989). La ecología del comportamiento obtiene las acciones óptimas mediante programación dinámica (método que calcula la mejor acción considerando todos los resultados futuros), pero cuesta imaginar que los animales hagan ese cálculo. Watkins presentó el aprendizaje Q de un paso, que actualiza poco a poco el valor de una acción a en un estado x, Q(x, a), utilizando la recompensa r de cada ensayo y el mayor valor Q del siguiente estado. En el apéndice demostró que, aun sin un modelo del entorno, se aproxima al valor de la acción óptima si se prueban repetidamente todas las acciones en todos los estados. En 1992, Watkins y Dayan publicaron en una revista académica un artículo breve con la demostración detallada.

Lo que aún no se sabe:Según el prefacio de la tesis, Sutton señaló un punto difícil del aprendizaje Q. Este sitio no ha comprobado cuál era.

Teoría del profit sharing: en 1994, Kazuteru Miyazaki, Masayuki Yamamura y Shigenobu Kobayashi, del Instituto Tecnológico de Tokio, demostraron las condiciones para que el aprendizaje por refuerzo que reparte la recompensa entre una secuencia de acciones no aprenda acciones inútiles, y recibieron el premio al mejor artículo de la Sociedad Japonesa de Inteligencia Artificial

El aprendizaje por refuerzo (un método que aprende cómo actuar mediante pruebas, usando las recompensas como guía) incluye métodos como TD y Q-learning, que actualizan el valor de las acciones a cada paso, y profit sharing, que refuerza toda la secuencia de acciones (episodio) cuando se obtiene una recompensa. Kazuteru Miyazaki, Masayuki Yamamura y Shigenobu Kobayashi analizaron matemáticamente cómo repartir la recompensa entre las acciones según el número de pasos que las separa de ella (función de refuerzo). Demostraron una condición necesaria y suficiente para no aprender reglas (acciones) ineficaces que producen desvíos (teorema de supresión de reglas ineficaces), y mostraron que, bajo la misma condición, se puede aprender una política de acción que permita seguir obteniendo recompensas. El artículo compara Q-learning, que requiere muchísimas pruebas para comprender con precisión el entorno, con profit sharing, que necesita muchas menos pruebas para aprender. El artículo recibió el premio al mejor artículo de la Sociedad Japonesa de Inteligencia Artificial correspondiente al año fiscal 1994.

Lo que aún no se sabe:Este sitio no ha comprobado hasta qué punto se utilizó después esta condición en robots reales u otras aplicaciones.

Boosting: Schapire demostró en 1990 que el aprendizaje débil puede convertirse en fuerte; Freund y Schapire presentaron AdaBoost en 1995

Boosting crea repetidamente clasificadores débiles, solo algo mejores que el azar, entrenándolos con más peso para los datos que se clasificaron mal en la ronda anterior. Al final los combina mediante una votación mayoritaria ponderada para crear un clasificador fuerte. Su origen fue una pregunta de teoría de la computación. Kearns y Valiant dejaron como problema abierto (problema del boosting de hipótesis) si el aprendizaje débil, apenas mejor que el azar, y el fuerte, que puede alcanzar cualquier grado de precisión, tenían la misma capacidad. Schapire (R. E. Schapire, MIT Laboratory for Computer Science) demostró que sí en su artículo de 1990 La fuerza de la capacidad de aprendizaje débil (The Strength of Weak Learnability), y mostró cómo convertir un método débil en uno fuerte. Freund (Y. Freund) y Schapire presentaron AdaBoost en un congreso de Barcelona en marzo de 1995 (artículo publicado en una revista académica en 1997). Según el artículo, el nombre procede de que, a diferencia de los métodos anteriores, cambia los pesos de forma adaptativa (adaptively) según los errores de los clasificadores débiles. El artículo comienza con la comparación con alguien que pierde repetidamente en las carreras de caballos y redistribuye sus apuestas según los resultados de sus amigos.

Lo que aún no se sabe:¿Por qué sigue bajando el error de prueba aunque el de entrenamiento haya llegado a 0? La explicación de Schapire de 2013 dice que la teoría basada en márgenes es la única que puede explicar los casos sin sobreajuste. También dice que las garantías numéricas son muy poco ajustadas.

Potenciación por gradiente: en 1999, Friedman generaliza como descenso de gradiente la técnica de cubrir poco a poco los residuos con pequeños árboles de decisión

La potenciación por gradiente mejora poco a poco las predicciones mediante un proceso repetido: un pequeño árbol de decisión predice el error (residuo) entre la predicción del modelo actual y la respuesta correcta, y se añade una pequeña parte de ese árbol. Jerome H. Friedman (Stanford University) escribió un artículo fechado el 24 de febrero de 1999, titulado “Aproximación voraz de funciones: una máquina de potenciación por gradiente” (Greedy Function Approximation: A Gradient Boosting Machine; IMS 1999 Reitz Lecture, publicado en The Annals of Statistics en 2001). Interpretó esa acumulación de sumas como un cálculo que reduce poco a poco el error (pérdida) en la dirección de descenso más pronunciado dentro del espacio de funciones (método de máximo descenso). Si se utiliza el error cuadrático como pérdida, cada árbol aprende directamente los residuos actuales. El procedimiento también se aplica a otras pérdidas, como el error absoluto, la pérdida de Huber y la verosimilitud logística para clasificación. También señala que reducir la cantidad añadida en cada paso mediante la tasa de aprendizaje ν (contracción) suele mejorar los resultados.

Máquina de vectores de soporte con kernels: en 1992, Boser, Guyon y Vapnik presentaron la maximización del margen para fronteras curvas

Una máquina de vectores de soporte (SVM) traza una frontera entre 2 clases de manera que sea máxima la distancia (margen) desde la frontera hasta los puntos más cercanos. Boser (B. E. Boser, University of California, Berkeley; parte del trabajo se hizo en AT&T Bell Laboratories), Guyon (I. M. Guyon) y Vapnik (V. N. Vapnik, ambos en AT&T Bell Laboratories) resolvieron el problema reformulándolo para utilizar solo una función que mide la similitud entre puntos (kernel), K(x, x'), en forma dual. Lo presentaron en Un algoritmo de entrenamiento para clasificadores de margen óptimo (A Training Algorithm for Optimal Margin Classifiers), en COLT '92, julio de 1992. Esto permite maximizar el margen con el mismo cálculo también para fronteras curvas, como las polinómicas o las basadas en funciones de base radial. La frontera depende solo de unos pocos datos de entrenamiento, los más cercanos a ella (supporting patterns en el artículo). Con dígitos manuscritos de correo real (7,300 imágenes de entrenamiento y 2,000 de prueba), un kernel polinómico de grado 4 obtuvo un error del 4.9%, ligeramente menor que el 5.1% informado para una red neuronal de 5 capas con los mismos datos.

Bosques aleatorios: en 2001, Breiman combina el voto mayoritario de muchos árboles de decisión modificados aleatoriamente. En 1995 ya existían los random decision forests de Ho

Los bosques aleatorios construyen muchos árboles de decisión en condiciones ligeramente distintas y deciden la predicción por mayoría de votos. Cada árbol se entrena con ejemplos elegidos al azar de los datos de entrenamiento, y en cada bifurcación se escoge la mejor división entre un subconjunto de características seleccionado aleatoriamente. En su artículo de 2001, “Bosques aleatorios” (Random Forests), Leo Breiman (Departamento de Estadística, University of California, Berkeley) escribió que, al aumentar el número de árboles, la tasa de error converge a un valor constante por la ley fuerte de los grandes números, por lo que el sobreajuste no plantea un problema. También mostró que el error del bosque depende de la fuerza de cada árbol y de la correlación entre árboles. El tercio aproximado de ejemplos no seleccionado al azar (out-of-bag) permite estimar el error sin datos de prueba separados ni validación cruzada. En 1995, Tin Kam Ho (AT&T Bell Laboratories) había mostrado en “Bosques de decisión aleatorios” (Random Decision Forests) que combinar árboles que usan subconjuntos aleatorios de características mejora la precisión del reconocimiento de dígitos manuscritos tanto en los datos de entrenamiento como en datos nuevos.

Descomposición en valores singulares ── Beltrami en 1873 y Jordan en 1874 muestran que cualquier matriz se puede dividir en 3 pasos: girar, estirar o encoger, y girar

La descomposición en valores singulares (SVD) permite expresar cualquier matriz (una tabla de números en filas y columnas que representa una transformación de vectores) como el producto de 3 transformaciones: cambiar la orientación (girar) → estirar o encoger en cada eje → girar de nuevo. Los factores de estiramiento o encogimiento se llaman valores singulares. Conservar solo los mayores permite aproximar bien la tabla original con pocos números; por eso se utiliza para predecir preferencias (recomendaciones) y calcular análisis de componentes principales. Eugenio Beltrami publicó por primera vez esta descomposición en 1873, en una revista italiana de matemáticas para universitarios. Al principio escribió, en esencia, que quería ofrecer a los lectores jóvenes una oportunidad de familiarizarse con este tipo de cálculos algebraicos. Al año siguiente, en 1874, Camille Jordan presentó de forma independiente la misma descomposición de manera más completa.

Lo que aún no se sabe:Según Stewart (1992), el uso del término valor singular (singular value) todavía variaba en la primera mitad del siglo 20; para este sitio no se han rastreado las fuentes originales para determinar cuándo se consolidó su significado actual.

La mejor aproximación de rango inferior ── Eckart y Young la resuelven en 1936 en relación con el análisis factorial (redescubrimiento del teorema de Schmidt de 1907)

Carl Eckart y Gale Young, de la Universidad de Chicago, resolvieron el problema de aproximar una matriz mediante otra de rango inferior (con menos direcciones independientes) minimizando la suma de los errores al cuadrado. Según el resumen del artículo, transformar primero la matriz a una forma normal (la actual descomposición en valores singulares) facilita la solución. Esta siempre existe y normalmente es única. Se obtiene haciendo 0 los valores singulares pequeños en la descomposición (explicación de Stewart, 1992). El resumen dice que el problema está estrechamente relacionado con la idea básica del análisis factorial: explicar tablas de notas de exámenes con pocos factores. El artículo apareció en el volumen 1 de Psychometrika, una revista académica de medición psicológica fundada ese año.

Lo que aún no se sabe:Para este sitio no se ha comprobado si Eckart y Young conocían el trabajo de Schmidt de 1907 (no se ha abierto el texto completo).

“Premio Netflix” (Netflix Prize), concurso de predicción de gustos cinematográficos con un premio de 1 millón de dólares (2006–2009): la victoria se decide por 20 minutos

En octubre de 2006, Netflix, que alquilaba películas en DVD, organizó un concurso: ofrecía 1 millón de dólares a quien predijera las valoraciones de películas con un 10% más de precisión que su sistema de recomendación Cinematch. Distribuyó más de 100 millones de valoraciones (de 1 a 5 estrellas) de unas 18,000 películas, hechas por unas 480,000 personas cuyos nombres se sustituyeron por números. Casi 3 años después, el 21 de septiembre de 2009, ganó BellKor's Pragmatic Chaos. El segundo equipo obtuvo la misma puntuación (error de 0.8567, mejora del 10.06%), pero ganó quien envió su resultado unos 20 minutos antes, conforme a la regla de prioridad por orden de entrega en caso de empate.

Descomposición de una tabla de preferencias: en 2006, Simon Funk publica en su blog el método de Netflix Prize que aprende solo de las entradas conocidas de una tabla llena de huecos

Simon Funk, participante de Netflix Prize, publicó íntegramente su método en su blog el 11 de diciembre de 2006 (entonces empataba en el tercer puesto). Los datos contenían 100 millones de valoraciones de unas 17,000 películas realizadas por unas 500,000 personas. En una matriz de usuarios × películas, faltaban 8.4 mil millones de los aproximadamente 8.5 mil millones de elementos. Funk representó los gustos de cada usuario y las características de cada película mediante vectores de 40 dimensiones, y predijo las valoraciones con su producto escalar (unos 20 millones de parámetros, 1/400 de la matriz original). Tiene la misma forma que una aproximación mediante descomposición en valores singulares (SVD) que conserva los 40 valores singulares principales, pero la SVD convencional no se puede calcular con valores ausentes. Por ello, calculó el error de predicción solo para las valoraciones conocidas y ajustó repetidamente los parámetros un poco en la dirección que reducía el error (descenso de gradiente, tasa de aprendizaje de 0.001). Él lo llama una SVD modificada.

Lo que aún no se sabe:Este sitio no ha comprobado quién había ideado, antes de Funk, métodos semejantes para predecir preferencias mediante la factorización de matrices con valores ausentes.

Amazon lanza “Amazon Mechanical Turk”, que permite a las computadoras encargar pequeñas tareas a personas (“inteligencia artificial artificial”)

Amazon presentó “Amazon Mechanical Turk”, un sistema que permite a un programa encargar pequeñas tareas a personas y recibir los resultados. El anuncio llamó “inteligencia artificial artificial” al uso de computadoras para encargar trabajo a muchas personas y utilizar sus resultados. Posteriormente, en ImageNet de 2009, se empleó para comprobar que cada foto mostraba realmente el objeto indicado. El artículo de ImageNet lo describe como una plataforma donde quienes realizan las tareas reciben un pago.

Fei-Fei Li y sus colegas de Princeton presentan ImageNet, una colección de millones de fotos etiquetadas. Las verificaron personas que aceptaban trabajos por internet

Li y sus colegas presentaron ImageNet, basado en WordNet, un diccionario que organiza conceptos jerárquicamente. El proyecto reúne en promedio entre 500 y 1,000 fotos por cada uno de unos 80,000 grupos de sustantivos (el ejemplo del artículo es “gato burmés”). En la presentación ya tenía 12 áreas, 5,247 categorías y 3.2 millones de imágenes. Las fotos se recogían mediante buscadores, y personas de todo el mundo que recibían un pago por las tareas en Amazon Mechanical Turk comprobaban una por una si el objeto indicado aparecía correctamente. La decisión se tomaba mediante los votos de varias personas.

Lo que aún no se sabe:El artículo no indica cuántas personas realizaron las tareas, en qué países residían ni cuánto cobraban (sin comprobar).

Tres investigadores de Google publican “La eficacia irrazonable de los datos”: dejar de buscar teorías de gran elegancia y apoyarse en los datos

Halevy, Norvig y Pereira, de Google, escribieron que los mayores éxitos del aprendizaje automático aplicado al lenguaje eran el reconocimiento estadístico del habla y la traducción automática estadística. Explicaban que la traducción, al igual que la transcripción del habla, se realiza habitualmente cada día para atender necesidades reales, por lo que ya existe en el mundo lo que describen como “un gran conjunto de entrenamiento del comportamiento de entrada y salida que se busca automatizar”. También mencionaron que en 2006 Google había publicado datos de textos con 1 billón de palabras (frecuencias de secuencias de hasta 5 palabras). Afirmaron: “invariablemente, los modelos sencillos y una gran cantidad de datos superan a los modelos más elaborados” (traducción) basados en menos datos, y escribieron en el párrafo final: “Así pues, hay que seguir los datos.” (traducción).

NVIDIA presenta CUDA, un sistema para utilizar las GPU, destinadas a dibujar imágenes, también en otros cálculos

Las GPU (chips para procesar imágenes) que dibujan los gráficos de los juegos pueden realizar el mismo cálculo simultáneamente en muchos pequeños núcleos de cálculo (hasta 128 en GeForce 8800 GTX). Junto con GeForce 8800, NVIDIA presentó “CUDA: arquitectura unificada de dispositivos de cómputo”, un sistema que permite utilizar la GPU para cálculos distintos del procesamiento de imágenes mediante un lenguaje de programación habitual, C. Más tarde se convirtió en una herramienta para entrenar redes neuronales rápidamente (también utilizaron GPU el artículo de Stanford de 2009 y el equipo ganador del concurso de reconocimiento de imágenes de 2012).

Ng y sus colegas de Stanford muestran que una GPU puede acelerar hasta 70 veces el entrenamiento de redes neuronales

Raina, Madhavan y Ng entrenaron redes profundas de aprendizaje no supervisado con una GPU para videojuegos (NVIDIA GeForce GTX 280). Fueron hasta 70 veces más rápidos que con una CPU corriente de 2 núcleos. Para una red de 4 capas con 100 millones de valores numéricos, describieron la reducción del tiempo de entrenamiento así: “de varias semanas a alrededor de un solo día” (traducción). El artículo señalaba que, pese a la importancia de aprender con grandes cantidades de datos, la lentitud del cálculo limitaba los experimentos a una pequeña escala.

Comienza “Google Brain”, el equipo de Google que experimenta con redes neuronales de gran escala

Según la página oficial de X, una división de Google (al pie figura “X, una división de Google LLC” (traducción) y el título es “Brain: un proyecto de gran ambición de Google X” (Brain - A Google X Moonshot)), el equipo Google Brain comenzó en 2011 y pasó de X a Google a finales de 2012. En diciembre de 2011, investigadores de Google y de la Universidad de Stanford publicaron la primera versión de un artículo sobre aprendizaje a partir de imágenes de YouTube sin etiquetas: el posterior artículo de Google sobre gatos. En un artículo de 2012 presentaron DistBelief, un sistema para entrenar una gran red neuronal en miles de computadoras, e informaron que habían entrenado una red 30 veces mayor que las descritas anteriormente y acelerado también el entrenamiento del reconocimiento de voz comercial. En abril de 2023, Google anunció la unión de este equipo con DeepMind para formar Google DeepMind.

La IA de aprendizaje profundo logró resultados en el “reconocimiento del habla” antes que en imágenes (2009–2012)

El aprendizaje profundo (un sistema de IA que aprende mediante redes neuronales de muchas capas) comenzó hacia 2009 a superar en reconocimiento del habla los métodos estadísticos (GMM) utilizados durante mucho tiempo. En 2012, 4 grupos de investigación de la Universidad de Toronto, Microsoft Research, Google e IBM publicaron un artículo que describían así: “representa las opiniones compartidas de cuatro grupos de investigación”. Entre sus resultados mostraron una reducción de la proporción de palabras erróneas en pruebas de transcripción de conversaciones del 27.4% al 18.5% (aproximadamente un tercio). En su blog del 6 de agosto de 2012, Google escribió que, al hablar al teléfono en la nueva versión de Android, “es probable que se esté hablando con una red neuronal entrenada para reconocer la voz” (traducción).

Lo que aún no se sabe:Al revisar los resultados, el artículo de los 4 grupos atribuye la mayor parte de las mejoras a “aprovechar la información de los segmentos temporales vecinos” (traducción) y al “modelado de estados compartidos dependientes del contexto” (traducción). Pero también afirma: “no hay motivo para creer ... que sean los tipos óptimos de unidades ocultas o las arquitecturas de red óptimas” (traducción) (página 13 del PDF). La explicación de por qué las redes neuronales profundas eran mejores todavía estaba en desarrollo.

NICT, un instituto público japonés de investigación, lanza en todo el mundo la aplicación para teléfonos inteligentes “VoiceTra”, que traduce lo que se dice y responde con voz

En el verano de 2010, NICT (Instituto Nacional de Tecnología de la Información y las Comunicaciones), un instituto público japonés de investigación, publicó gratuitamente en todo el mundo, en App Store, la aplicación de traducción de voz VoiceTra y la de traducción de texto TexTra. Al hablar al iPhone, VoiceTra traduce a otro idioma y responde con voz. Los cálculos de traducción se realizan en un servidor. Se podía usar con voz en japonés, chino mandarín, inglés, indonesio y vietnamita (el malayo estaba en preparación). Estaba dirigida a conversaciones de viaje, y NICT describió su capacidad de traducción de voz como “una capacidad lingüística aproximadamente equivalente a la de una persona con 600 puntos en el TOEIC” (traducción). El lanzamiento buscaba evaluar su rendimiento y estudiar su facilidad de uso. Según un anuncio de NICT de 2015, esta tecnología también se usó en servicios reales, como una aplicación del Aeropuerto Internacional de Narita. Además, se convirtió en la aplicación central del “Plan de comunicación global” del Ministerio de Asuntos Internos y Comunicaciones (abril de 2014; buscaba que, para 2020, los visitantes extranjeros de Japón no tuvieran dificultades por el idioma).

Apple presenta el iPhone 4S con “Siri”, que ayuda con tareas al hablarle (inicialmente “en fase beta”)

El 4 de octubre de 2011, Apple presentó, junto con el iPhone 4S, Siri, “un asistente inteligente” (traducción) que ayuda con tareas solicitadas mediante la voz. Según el ejemplo del anuncio, al preguntarle “¿Necesitaré un paraguas este fin de semana?” (traducción) entiende que se busca el pronóstico del tiempo. Al principio estaba “en fase beta” y solo admitía inglés (para Estados Unidos, Reino Unido y Australia), francés y alemán. El iPhone 4S se lanzó en Japón el 14 de octubre, pero Siri en japonés estuvo disponible desde el 8 de marzo de 2012. Su origen fue CALO, una investigación de SRI International dentro de PAL, un programa de DARPA, la agencia de investigación del Departamento de Defensa de Estados Unidos. Se convirtió en una empresa independiente en 2007 y Apple la adquirió en abril de 2010 (explicaciones de SRI y DARPA).

NTT Docomo lanza el servicio de diálogo por voz “Shabette Concier” (marzo de 2012, una semana antes de Siri en japonés)

El 1 de marzo de 2012, NTT Docomo lanzó Shabette Concier como aplicación gratuita para sus teléfonos inteligentes Android. Esta “función de agente de voz” permitía buscar información y manejar el correo, las alarmas y otras funciones con solo hablar al teléfono. Interpretaba la “intención” de quien hablaba a partir de las combinaciones de palabras y elegía servicios o respuestas adecuados. Los procesos complejos, como el reconocimiento de voz, se realizaban en la red de Docomo, en la nube. Docomo lo describió como un servicio que aprovechaba la nube después del “teléfono con interpretación”, cuyas pruebas habían comenzado en noviembre de 2011. Siri en japonés se lanzó una semana después, el 8 de marzo.

La IA de preguntas y respuestas “Watson” de IBM vence a 2 campeones históricos del concurso estadounidense Jeopardy!

En febrero de 2011, Watson, un sistema de preguntas y respuestas desarrollado por el equipo de investigación de IBM —un programa que lee enunciados en lenguaje natural y responde—, disputó 2 partidas contra 2 campeones históricos del concurso televisivo estadounidense Jeopardy! Los resultados finales fueron 77,147 dólares para Watson, 24,000 para Ken Jennings y 21,600 para Brad Rutter (página histórica de IBM). Sin conectarse a internet, Watson proponía respuestas con muchos métodos, reunía pruebas y solo pulsaba el botón para responder cuando la “confianza” calculada mediante aprendizaje automático (un sistema que aprende de los datos) era suficiente. En la pregunta final de la primera partida, que pedía una ciudad de Estados Unidos, respondió “¿Qué es Toronto?????” (traducción) y se equivocó.

Cómo ReLU (0 si es negativo, el mismo valor si es positivo) se convirtió en estándar del aprendizaje profundo: recibió su nombre en 2010 y se difundió en 2011–2012. La misma forma aparece en el modelo de Kunihiko Fukushima de 1968

ReLU (rectified linear unit, unidad lineal rectificada) es una unidad o neurona que devuelve la entrada x sin modificar si es mayor que 0, y devuelve 0 si es menor o igual a 0; su fórmula es max(0, x). La sigmoide (función en forma de S) y tanh tienen una pendiente casi nula cuando la entrada es grande (se saturan), pero ReLU mantiene una pendiente de 1 para valores positivos, por lo que la señal que vuelve mediante retropropagación se debilita menos. En 2010, Nair y Hinton, de la Universidad de Toronto, mostraron que, si las unidades ocultas de 0 o 1 de una máquina de Boltzmann restringida se sustituyen por muchas unidades con los mismos pesos y desplazadas ligeramente, se puede aproximar su funcionamiento con unidades lineales rectificadas con ruido. También informaron de mejoras al reconocer fotos de objetos y rostros. En 2011, Glorot y sus colegas de la Universidad de Montreal escribieron que estas unidades también eran un mejor modelo de las células nerviosas reales y permitían representaciones dispersas, con muchos valores exactamente iguales a 0. Además, con suficientes datos etiquetados, las redes profundas podían aprender bien sin aprendizaje no supervisado previo. El artículo de AlexNet de 2012 las llamó ReLU siguiendo a Nair y Hinton, y afirmó que permitían entrenar varias veces más rápido que la misma red con tanh.

Lo que aún no se sabe:No se ha comprobado si el artículo de 2010 fue el primero en utilizar el nombre Rectified linear (el artículo de 2010 dice que Jarrett y sus colegas lo llamaban positive part en 2009). No se ha abierto el texto del artículo de Fukushima en inglés de 1969 (IEEE), porque es de pago. Tampoco se ha abierto el artículo de Jarrett y sus colegas de 2009.

Cómo elegir los pesos iniciales: ajustar el intervalo al número de neuronas de cada capa (Glorot y Bengio, 2010), y el método para ReLU (He y sus colegas, 2015)

Los valores de los pesos antes de entrenar una red profunda (inicialización) influyen mucho en que pueda aprender. Si la señal crece o disminuye en una proporción fija al pasar por cada capa, al acumular muchas capas los gradientes de la retropropagación pueden desaparecer o divergir. En 2010, Glorot y Bengio, de la Universidad de Montreal, mostraron que el método habitual de elegir valores en el intervalo ±1/√n, con n igual al número de neuronas de la capa anterior, hacía que la variabilidad (varianza) de la señal que retrocede disminuyera entre capas. Propusieron la normalized initialization, que elige uniformemente en el intervalo ±√6/√(nj+nj+1), utilizando el número de neuronas de entrada y salida de la capa, nj y nj+1. El objetivo era mantener casi igual en todas las capas la variabilidad de los valores que avanzan y de las señales que retroceden. En 2015, Kaiming He y sus colegas de Microsoft Research señalaron que esa derivación suponía neuronas lineales (salida proporcional a la entrada), lo que no se ajusta a ReLU. Propusieron elegir los pesos para ReLU mediante una distribución normal de media 0 y desviación estándar √(2/n). Escribieron que incluso una red de 30 capas podía aprender, mientras que con el método de Glorot y Bengio el aprendizaje se detenía.

Lo que aún no se sabe:No se ha comprobado cuándo ni quién dio el nombre Xavier dentro de Caffe (no se han abierto el artículo de Caffe ni los registros del programa). Tampoco se ha comprobado quién inició ni cuándo el método ±1/√n, que el artículo de 2010 llama commonly used heuristic.

Dropout: desactivar al azar la mitad de las neuronas ocultas en cada paso de entrenamiento para evitar el sobreajuste (2012)

Dropout es un método que, cada vez que se presenta un dato durante el entrenamiento, excluye temporalmente al azar las neuronas de las capas ocultas con una probabilidad fija, habitualmente 0.5, poniendo su salida a 0. Evita que determinadas neuronas dependan unas de otras (co-adaptation) y reduce el sobreajuste: ajustarse demasiado a los datos de entrenamiento y equivocarse con datos nuevos. Al usar la red, se activan todas las neuronas y se reducen a la mitad sus pesos de salida (el artículo de 2014 multiplica los pesos por la probabilidad p de conservarlas). El resultado se aproxima al promedio de las predicciones de muchas redes más pequeñas que comparten pesos. El artículo de arXiv de julio de 2012, de Hinton, Srivastava, Krizhevsky, Sutskever y Salakhutdinov, de la Universidad de Toronto, lo probó con dígitos manuscritos de MNIST y otros datos, e informó de nuevos récords en reconocimiento de voz y objetos. El artículo de AlexNet del mismo año también lo utilizó en 2 capas totalmente conectadas y señaló que, sin él, el sobreajuste era grave.

Lo que aún no se sabe:No se describen la fecha en que se ideó dropout ni los relatos posteriores de Hinton sobre su inspiración, de los que existen varios, porque no se han buscado sus declaraciones originales.

IDSIA, en Suiza, reduce a la mitad del error humano la tasa de error en reconocimiento de señales de tráfico con redes neuronales convolucionales profundas entrenadas con GPU (8 meses antes de la competencia de 2012)

Dan Cireşan, Ueli Meier y Jürgen Schmidhuber, del instituto suizo IDSIA, entrenaron con GPU para videojuegos varias redes neuronales convolucionales profundas y promediaron sus salidas, un método de redes profundas de varias columnas. Lograron una tasa de error del 0.54% al identificar señales de tráfico alemanas (12,569 imágenes de prueba); según el artículo, la tasa humana era el doble. En los dígitos manuscritos de MNIST lograron un 0.23%, y escribieron que por primera vez se acercaban al aproximadamente 0.2% humano.

El experimento de los gatos de Google: una red que aprendió solo con imágenes de YouTube sin etiquetas desarrolló neuronas que respondían intensamente a caras de gatos

Quoc Le, Andrew Ng y colaboradores, de Google y la Universidad de Stanford, entrenaron una red neuronal de 9 capas y 1 mil millones de conexiones con imágenes sin etiquetas: una imagen de 200×200 píxeles tomada de cada uno de 10 millones de videos de YouTube. El entrenamiento duró 3 días en 1,000 computadoras (16,000 núcleos). Sin recibir instrucciones al respecto, surgieron neuronas que respondían a rostros humanos, y también a caras de gatos y cuerpos humanos. En su blog, Google explicó que “una de nuestras neuronas artificiales aprendió a responder intensamente a imágenes de... gatos” (traducción) y recalcó que “a esta red nunca se le había explicado qué era un gato” (traducción).

Lo que aún no se sabe:El artículo investiga a qué responden las neuronas entrenadas mostrando imágenes que producen respuestas intensas y creando imágenes que las intensifican. Ya entonces se buscaban formas de examinar el funcionamiento interno.

En la competencia de reconocimiento de imágenes ILSVRC 2012, la red convolucional profunda de la Universidad de Toronto (SuperVision) gana con gran ventaja; el equipo de la Universidad de Tokio queda segundo

En una competencia para identificar 1,000 clases de objetos en fotografías, el equipo “SuperVision” de Krizhevsky, Sutskever y Hinton redujo la tasa de error al 15.3% bajo la regla que permite dar hasta 5 respuestas (16.4% usando solo los datos proporcionados por la competencia). El segundo equipo, ISI de la Universidad de Tokio, tuvo un 26.2%: una diferencia de unos 11 puntos. Entrenaron una red neuronal de 8 capas y 60 millones de parámetros con 2 GPU para videojuegos, chips de procesamiento de imágenes de NVIDIA. En un artículo posterior, los organizadores escribieron sobre ese año: “Esto marcó un punto de inflexión en el reconocimiento de objetos a gran escala” (traducción).

En el concurso de reconocimiento de imágenes, la tasa de “Error (5 intentos)” del primer puesto baja del 28% al 2% en 8 años. “Los humanos: 5.1%” es la medición de una sola persona

En un concurso para identificar 1,000 tipos de objetos en imágenes, con un máximo de 5 respuestas, el error del primer puesto disminuyó así: 2010, 28.2%; 2011, 25.8%; 2012, 15.3% (16.4% usando solo los datos proporcionados); 2013, 11.7% (11.2% incluyendo datos externos); 2014, 6.7%; 2015, 3.6%; 2016, 3.0%; y 2017, 2.3%. Los organizadores también midieron el error humano con 2 personas, A1 y A2. A1 practicó con 500 imágenes y obtuvo un 5.1% en 1,500; A2 practicó solo con 100 y obtuvo un 12.0% en 258.

Bonanza, el programa de shogi que aprende de partidas profesionales, gana el campeonato mundial y al año siguiente juega en público contra Akira Watanabe, titular de Ryuo

El investigador en química Kunihito Hoki desarrolló Bonanza y lo publicó gratuitamente en junio de 2005. A diferencia de muchos programas anteriores de shogi, utilizó la “búsqueda de ancho completo”, que examina todas las jugadas legales. También incorporó “aprendizaje automático” (traducción) para aprender a evaluar las posiciones de modo que eligiera las mismas jugadas que en los registros de partidas profesionales. El autor afirma que aplicó una idea de sus investigaciones sobre el control de reacciones químicas al aprendizaje de la evaluación de posiciones. En mayo de 2006, en su primera participación en el 16.º Campeonato Mundial de Shogi por Computadora, ganó con 6 victorias y 1 derrota en la final de todos contra todos entre 8 equipos. El 21 de marzo de 2007 jugó una partida pública contra Akira Watanabe, titular de Ryuo, con 2 horas de tiempo de reflexión. Se dijo que Bonanza tenía ventaja en la fase intermedia, pero Watanabe ganó en 112 jugadas. Más tarde se publicó su método de construcción (y el código en 2009), dando lugar a programas basados en Bonanza, como Bonkras.

El programa de shogi “Akara 2010” de la Sociedad de Procesamiento de la Información de Japón vence a Ichiyo Shimizu, campeona femenina Osho

En abril de 2010, la Sociedad de Procesamiento de la Información de Japón envió un desafío a la Asociación Japonesa de Shogi “con el deseo de que se celebren partidas públicas entre programas de shogi y los mejores jugadores profesionales” (traducción) (es decir, con ese deseo). Su presidente, Kunio Yonenaga, lo aceptó y eligió como primera rival a la campeona femenina Osho Ichiyo Shimizu, una de las principales jugadoras profesionales. La partida se celebró el 11 de octubre en el campus de Hongo de la Universidad de Tokio. Shimizu se rindió tras 86 jugadas y Akara 2010 ganó. Akara 2010 hacía que 4 de los principales programas japoneses de shogi (Gekisashi, GPS Shogi, Bonanza y YSS) analizaran la misma posición y jugaba el movimiento elegido más veces, mediante un sistema de “votación por mayoría”. Usó 208 computadoras, con 658 núcleos en total.

Primer Den-O-sen de shogi: Kunio Yonenaga, Kisei vitalicio, pierde en 113 jugadas ante el programa “Bonkras”

El 14 de enero de 2012, en la sede del shogi de Tokio, el jugador retirado y presidente de la Asociación Japonesa de Shogi Kunio Yonenaga, Kisei vitalicio, jugó contra “Bonkras”, desarrollado por Hidenori Ito, de Fujitsu Laboratories. Bonkras ganó en 113 jugadas. Partía del programa público Bonanza, mejorado para realizar búsquedas paralelas en varias computadoras. Ese día, con 6 servidores, analizó unos 18 millones de jugadas por segundo. Su nombre combina Bonanza con “clúster”, que designa un sistema de computadoras paralelas que calculan simultáneamente (explicación del anuncio de Fujitsu Laboratories).

Sobre las damas: “el juego de damas ya está resuelto”. Una computadora demuestra que, si ninguno de los dos bandos se equivoca, siempre hay empate

Schaeffer y sus colegas de la Universidad de Alberta mantuvieron decenas de computadoras trabajando casi sin interrupción desde 1989 y demostraron que en las damas “El juego perfecto de ambos bandos conduce a un empate.” (traducción). Hay unas 5×10²⁰ posiciones (500 trillones), y era el juego conocido más difícil resuelto hasta entonces. Una de las herramientas centrales de la demostración fue df-pn, el método de búsqueda de la tesis doctoral de Ayumu Nagai, de la Universidad de Tokio, de 2002. También figura como coautor Akihiro Kishimoto, que cuando se publicó el artículo ya se había trasladado a una universidad de Hakodate, Hokkaido.

¿Cuándo fue la primera partida entre un jugador profesional y un programa de shogi? Las fuentes señalan 2005, 2007 o 2013

Las fuentes dan 3 años para el encuentro descrito como “el primero” (traducción) entre un jugador profesional y un programa de shogi. ① Sobre la partida de septiembre de 2005 entre TACOS y Takayoshi Hashimoto, 5-dan, un periódico de entonces citó al autor, el profesor Hiroyuki Iida: “esta es la primera vez que un profesional juega contra una computadora sin hándicap en un evento público” (traducción). ② Sobre la partida de marzo de 2007 entre Bonanza y Akira Watanabe, titular de Ryuo, una explicación de un investigador afirmó: “es la primera vez que un profesional y una computadora se enfrentan en un evento oficial” (traducción); una entrevista de 2020 escribió: “por primera vez en público como jugador profesional” (traducción). ③ Una columna de la Asociación Japonesa de Shogi (2017) describió el segundo Den-O-sen de 2013 así: “por primera vez un jugador profesional se enfrentó oficialmente a un programa de shogi” (traducción). Las diferencias entre las expresiones “un evento público” (traducción), “un evento oficial” (traducción) y “oficialmente” (traducción) permiten describir todas como “por primera vez” (traducción).

La Asociación Japonesa de Shogi dispone que los profesionales deben “consultar y confirmar previamente con el organizador y la federación” (traducción) al jugar en público contra un programa

El 18 de septiembre de 2005, en Komatsu, prefectura de Ishikawa, el programa de shogi “TACOS”, desarrollado por el profesor Hiroyuki Iida y sus colegas del Instituto Avanzado de Ciencia y Tecnología de Japón, jugó una partida pública sin hándicap contra Takayoshi Hashimoto, 5-dan. Ganó el profesional, aunque el programa tuvo ventaja hasta la fase final (Sankei Shimbun). Aproximadamente 1 mes después, el 14 de octubre, la Asociación Japonesa de Shogi anunció que los jugadores profesionales y las jugadoras profesionales debían consultar y confirmar previamente con el organizador y la asociación antes de jugar en público contra un programa, “para crear un entorno en el que los programas de shogi y las personas puedan disputar partidas en un marco adecuado” (traducción). En el mismo anuncio afirmó: “se desea seguir colaborando en el desarrollo de los programas de shogi como hasta ahora” (traducción).

Comienza “¿Puede un robot ingresar en la Universidad de Tokio?” (ロボットは東大に入れるか), del Instituto Nacional de Informática: Torobo-kun busca puntuaciones altas en el Center Test para 2016 y aprobar el examen de ingreso de Tokio en 2021

En 2011, el Instituto Nacional de Informática inició el “Proyecto de cerebro artificial” para desarrollar un programa informático que resolviera preguntas de los exámenes de ingreso universitario. Buscaba volver a integrar la investigación en inteligencia artificial, fragmentada desde 1980, y dar a los jóvenes una aspiración. Fijó como metas concretas “obtener puntuaciones altas en el examen nacional de acceso a la universidad, conocido como Center Test, para 2016” (traducción) y “aprobar el examen de ingreso de la Universidad de Tokio en 2021” (traducción).

Lo que ocurrió después:Según el anuncio de NII del 14 de noviembre de 2016, obtuvo 525 puntos (promedio nacional: 454.8) y una puntuación estandarizada de 57.1 en un simulacro del Center Test (5 áreas, 8 asignaturas). Esto correspondía a una probabilidad de admisión de al menos el 80% en 1,343 facultades de 512 universidades privadas y 30 facultades de 23 universidades nacionales o públicas locales. En el simulacro de ingreso de la Universidad de Tokio alcanzó una puntuación estandarizada de 76.2 en matemáticas para ciencias: resolvió completamente 4 de 6 preguntas sin ayuda humana. Para el tratamiento de su trabajo sobre el Center Test en la presentación de ese día, véase el evento de Torobo-kun de 2016 (registro → Torobo-kun: ¿qué ocurrió en 2016 con el…). Este sitio no ha encontrado ningún anuncio de que aprobara el examen de ingreso de Tokio en 2021.

Predicción: el mercado japonés de robots alcanzaría unos 3 billones de yenes en 2010 (previsión de asociaciones industriales de 2001). El mercado de robots domésticos y hospitalarios no llegó a 10 mil millones

En 2001, un informe de la Federación Japonesa de la Industria de Maquinaria y la Asociación Japonesa de Robótica pronosticó el mercado robótico en 5 sectores. Para 2010 estimó 1.5 billones de yenes en la vida cotidiana, 850 mil millones en manufactura, 290 mil millones en el sector público, 260 mil millones en salud y bienestar, y 90 mil millones en biotecnología (unos 3 billones en total); para 2025, unos 8 billones en total. Según el análisis de Hirohiko Arai, del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada, de 2009, el Ministerio de Economía, Comercio e Industria y otras entidades usaron esta previsión para justificar presupuestos de investigación y desarrollo, y la prensa la difundió. El anuncio de la Expo de Aichi de 2005 también afirmó: “se prevé que el mercado alcance 1.8 billones de yenes en 2010” (traducción).

Lo que ocurrió después:Según el análisis de Hirohiko Arai de 2009, los estudios de la asociación industrial y otras entidades situaban el mercado de robots de próxima generación fuera de la manufactura en 1.4–6.8 mil millones de yenes anuales (menos de 10 mil millones), muy lejos de la previsión para 2010 (unos 2 billones fuera de la manufactura). Entre 2006 y 2008, organismos estatales y la propia asociación rebajaron la previsión de 2010 a 50–75 mil millones. En 2015, la “Nueva estrategia de robótica” del Gobierno describió el mercado robótico como “los actuales 600 mil millones de yenes” (traducción) y fijó un nuevo objetivo de 2.4 billones para 2020 (libro blanco de 2015 del Ministerio de Asuntos Internos y Comunicaciones). Este sitio no ha comprobado la previsión de 2025.