Go, shogi y predicciones sobre el trabajo (2012–2019)
Las técnicas de aprendizaje profundo fueron completándose una tras otra, y la IA venció a profesionales de primer nivel en go y shogi. Se multiplicaron las predicciones: 47%, en 5 años, 2045. En Japón también se extendió el nombre de tercer auge de la IA. Las fuentes originales y los diagramas interactivos permiten comprobar qué se hizo posible, qué se dijo y qué ocurrió.
012015 · Técnicas de aprendizaje
Ajustar las entradas de cada capa
¿Por qué era difícil entrenar redes con 10 o 20 capas apiladas?
Una red profunda corrige sus pesos enviando el error de la salida hacia la entrada (retropropagación del error, capítulo 8). En cada capa, la señal que vuelve se multiplica por los pesos y por la pendiente de las neuronas. La función sigmoide, con forma de S, tiene una pendiente de 0.25 o menos, por lo que las pendientes por sí solas reducen la señal a cerca de una millonésima en 10 capas.
El capítulo 9 presentó ReLU y las técnicas de inicialización de pesos de 2010–2012. En 2015, la normalización por lotes de Sergey Ioffe y Christian Szegedy, de Google, ajusta los valores que entran en una capa para que tengan media 0 y varianza 1 en cada lote de datos que se aprende a la vez. El diagrama de la derecha mide, en una red de 20 capas, la dispersión de los valores que avanzan (azul) y la señal que vuelve (violeta). Se pueden alternar ReLU, la inicialización de pesos y la normalización por lotes para compararlas.
señal que vuelve ≈ señal de salida × (w₁·f′₁) × (w₂·f′₂) × … × (wL·f′L)
f′
pendiente de la neurona (0.25 o menos para la sigmoide; 0 o 1 para ReLU)
w
peso
L
número de capas
Lo que se cree saberLo que suele decirse:La normalización por lotes funciona porque corrige los cambios en la distribución de los valores que entran en las capas Según la fuente original:El artículo lo planteaba así y señaló que alcanzó la misma precisión con 14 veces menos pasos de entrenamiento. Un artículo del MIT de 2018 incluyó en su título (traducción) y comunicó que el aprendizaje era casi igual incluso al alterar deliberadamente las distribuciones. Todavía no se ha resuelto por qué funciona.
ReLU y la inicialización de pesos después
En 2011, Xavier Glorot y sus colegas de la Universidad de Montreal escribieron que las redes profundas podían aprender bien incluso sin un preentrenamiento que no usa respuestas correctas. El artículo de AlexNet de 2012 indicó que el aprendizaje era varias veces más rápido que con tanh. La inicialización de pesos para ReLU es la propuesta de Kaiming He y sus colegas de 2015. Los nombres y la función de activación de la misma forma que Kunihiko Fukushima presentó en 1968 aparecen en los capítulos 9 y 4.
Fuentes originales y grado de certeza (1)Ajustar las entradas de cada capa
11 de febrero de 2015Verificado en la fuente original
Normalización por lotes (Batch Normalization): acelerar el entrenamiento ajustando las entradas de una capa a media 0 y varianza 1 en cada grupo de ejemplos (2015)
La normalización por lotes incorpora un mecanismo que ajusta los valores de entrada de una capa intermedia a media 0 y varianza 1 para cada grupo de datos usado a la vez en el entrenamiento, o minilote. Después vuelve a darles escala y desplazamiento, scale and shift, con 2 valores aprendidos, γ y β. Ioffe y Szegedy, de Google, pensaban que los cambios de distribución de las entradas de una capa cuando cambian los pesos de la anterior ralentizaban el aprendizaje; lo llamaron internal covariate shift. Escribieron que el método permitía usar tasas de aprendizaje mucho mayores, preocuparse menos por los pesos iniciales e incluso prescindir de dropout en algunos casos. En una red de reconocimiento de imágenes alcanzaron la misma precisión con una catorceava parte de las iteraciones. Una combinación de redes obtuvo un 4.9% de error en ImageNet bajo la regla que permite 5 respuestas (4.8% en el test), y escribieron que superaba la precisión de los evaluadores humanos.
Lo que suele decirse:Suele decirse que “la normalización por lotes funciona porque reduce el cambio de distribución de los valores que entran en una capa, internal covariate shift” (el propio título del artículo de 2015 lo afirma) Según la fuente original:El artículo de MIT de 2018 incluyó en su título (traducción). Informó de que, incluso al añadir deliberadamente después de la normalización un ruido cuya media no era 0 y cuya varianza no era 1, y que cambiaba con el tiempo, desplazando la distribución, el entrenamiento era casi igual. Propuso que el efecto útil era suavizar el paisaje de optimización, que representa el error respecto a las respuestas correctas. Es un ejemplo de revisión de la explicación de por qué funciona un método después de su amplia adopción.
Lo que aún no se sabe:La investigación sobre por qué funciona la normalización por lotes continuó después del artículo de 2018; no puede considerarse una cuestión resuelta. Aún no se han consultado artículos posteriores a 2018.
Qué muestra la figura:La señal que vuelve se multiplica en cada capa por la pendiente y el peso, de modo que basta con multiplicarla 20 veces por una pendiente de la sigmoide de 0.25 o menos para que llegue casi a 0 en la entrada. ReLU, los pesos iniciales y la normalización por lotes fueron formas de evitar que esos productos se volvieran demasiado pequeños.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_vanishing_signal.py
022012–2015 · Sobreajuste
Dropout y destilación del conocimiento
¿Cómo se evita el sobreajuste, cuando una red se ajusta demasiado a los datos de entrenamiento?
La red acierta todas las respuestas con los datos de entrenamiento, pero se equivoca con datos nuevos. Esto se llama sobreajuste. El dropout de 2012, presentado en el capítulo 9, desactiva al azar la mitad de las neuronas de las capas ocultas cada vez que se muestra un dato. Tiene un efecto parecido al promedio de muchas redes estrechas.
En el diagrama de la derecha se puede ajustar una curva a 12 puntos (un ejemplo creado para este sitio). Si no se desactiva ninguna neurona, aumenta el error respecto a los puntos nuevos (círculos azules).
La destilación del conocimiento de 2015 hace que una red pequeña imite las probabilidades que produce una red grande, suavizadas mediante una temperatura T. Al aumentar T en “Destilación del conocimiento”, se ven las diferencias entre las respuestas incorrectas. Según el artículo, también hay conocimiento en esas diferencias.
respuesta suavizada qi =exp(zi/T) ÷ Σj exp(zj/T)
zi
puntuación de la salida i
T
temperatura (1 da las probabilidades habituales; cuanto mayor es, más suaves son)
Lo que se cree saberLo que suele decirse:Geoffrey Hinton y sus colegas iniciaron la destilación del conocimiento en 2015 Según la fuente original:El propio artículo de 2015 señala que Rich Caruana y sus colegas ya habían desarrollado una forma del mismo método en 2006.
El experimento de destilación
Según el artículo de Geoffrey Hinton, Oriol Vinyals y Jeff Dean de 2015, se destiló el conocimiento sobre dígitos escritos a mano a una red pequeña sin mostrarle ni una imagen del 3. Al ajustar el sesgo del 3, acertó el 98.6% de los 3 de prueba.
El uso del dropout al hacer predicciones (usar todas las neuronas y reducir a la mitad los pesos de salida) y el origen de la idea aparecen en el capítulo 9.
Fuentes originales y grado de certeza (1)Dropout y destilación del conocimiento
9 de marzo de 2015Verificado en la fuente original
Destilación de conocimiento: hacer que un modelo pequeño imite las de uno grande (2015)
La destilación de conocimiento, distillation, transfiere a una red pequeña y ligera el conocimiento aprendido por una red grande y pesada o por una combinación de muchas redes. Eleva la temperatura T de softmax, una función que transforma puntuaciones en probabilidades, para suavizar las probabilidades de salida de la red grande. Después entrena la pequeña para reproducir esas respuestas suaves, soft targets. Incluyen diferencias de probabilidad entre las opciones incorrectas y dan pistas sobre cómo generaliza la red grande. En el ejemplo del artículo, la probabilidad de confundir una imagen de un BMW con un camión de basura es muy baja, pero varias veces mayor que la de confundirla con una zanahoria. El artículo de marzo de 2015 de Hinton, Vinyals y Dean, de Google, informó de que, en un experimento con dígitos manuscritos, incluso sin mostrar ninguna imagen del 3 a la red pequeña durante la destilación, esta acertaba el 98.6% de los 3 de prueba si se ajustaba el sesgo de ese dígito. En un experimento con una versión anterior del modelo de búsqueda por voz de Android, transfirió a una única red destilada más del 80% de la mejora de precisión conseguida combinando 10 redes. El artículo comienza con una comparación: como los insectos tienen estructuras corporales diferentes como larvas y adultos, una red puede tener formas diferentes durante el entrenamiento y el uso.
Lo que suele decirse:Suele decirse que “Hinton y colaboradores inventaron la destilación de conocimiento en 2015” Según la fuente original:El propio artículo de 2015 dice que Rich Caruana y colaboradores ya habían abierto el camino a una forma de esta estrategia. Su artículo Model Compression de 2006, de Bucilă, Caruana y Niculescu-Mizil, hacía que una combinación de modelos diera respuestas a datos artificiales, pseudo data, y entrenaba una red pequeña con ellas. Conservó casi todo el rendimiento con un tamaño 1,000 veces menor y una velocidad 1,000 veces mayor. La novedad de 2015 consiste en usar respuestas suaves mediante temperatura, el nombre distillation y la idea de que las probabilidades de respuestas incorrectas también contienen conocimiento.
Lo que aún no se sabe:Todavía no se ha comprobado en fuentes originales hasta qué punto se usa actualmente la destilación de conocimiento en IA pequeñas que funcionan en teléfonos inteligentes y otros dispositivos.
Model Compression (KDD’06, pp. 535-541) (Cristian Bucilă, Rich Caruana, Alexandru Niculescu-Mizil · 2006 · Página 1 del PDF Abstract y 1. Introduction (conclusión en pdf_page 7) · Fuente original)
Qué muestra la figura:Ajustarse demasiado a los puntos aprendidos provoca grandes errores en puntos nuevos, mientras que desactivar al azar la mitad de las neuronas en cada ocasión conserva una curva suave que acierta mejor en puntos nuevos. En la destilación de conocimiento, las probabilidades de las respuestas incorrectas también contienen información sobre qué respuestas se parecen.
Error en los puntos aprendidos (línea continua) y en los puntos nuevos (línea discontinua). Azul=sin desactivar neuronas; verde=segunda red. La escala vertical aumenta por factores de 10
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_dropout.py
032013 · Vectores de palabras
Sumar palabras
Si las palabras se convierten en conjuntos de números, ¿se pueden calcular incluso las relaciones entre sus significados?
En 2013, word2vec, de Tomas Mikolov y sus colegas de Google, representa las palabras mediante conjuntos de varios cientos de números (vectores). Aprende de grandes cantidades de texto para que las palabras que se usan de manera parecida queden cerca unas de otras. A partir de 1.6 mil millones de palabras, pudo crear vectores de 300 dimensiones para 1 millón de palabras con una sola CPU en menos de 1 día.
Los vectores obtenidos podían expresar relaciones de significado mediante sumas y restas. El artículo midió el rendimiento por el porcentaje de aciertos en problemas como comprobar si biggest − big+small daba smallest. En el diagrama de la derecha (un ejemplo de 2 dimensiones creado para este sitio), se pueden pulsar 3 palabras.
La respuesta era la palabra más cercana después de excluir las 3 palabras de la pregunta (una nota añadida en la versión de septiembre del artículo). Sin excluirlas, en este ejemplo small queda en primer lugar.
v(respuesta) ≈ v(biggest) − v(big)+v(small)
v(palabra)
vector de esa palabra
respuesta
palabra más cercana al punto calculado (excluidas las 3 palabras de la pregunta)
Lo que se cree saberLo que suele decirse:king − man+woman=queen es un cálculo descubierto por el artículo de word2vec y da exactamente esa respuesta Según la fuente original:El propio artículo de enero de 2013 cita este ejemplo como resultado de investigaciones anteriores. La respuesta se buscaba excluyendo las 3 palabras de la pregunta de las candidatas.
Dos métodos
CBOW predice la palabra central a partir de las que la rodean, y Skip-gram predice las palabras de alrededor a partir de la central. El artículo siguiente, de octubre, también mostró un ejemplo en el que sumar los vectores de Russia y river daba un resultado cercano a Volga River.
Una larga historia: La idea de representar palabras con conjuntos de números es antigua. El artículo cita las redes neuronales de David Rumelhart y sus colegas de 1986, de Elman de 1990 y de Yoshua Bengio y sus colegas de 2003.
Fuentes originales y grado de certeza (1)Sumar palabras
16 de enero de 2013Verificado en la fuente original
word2vec: representar palabras como vectores para calcular la cercanía de sus significados y sus relaciones (2013)
word2vec es un método y un programa que representan cada palabra mediante un conjunto de varios cientos de números, un vector. Aprende de grandes cantidades de texto para situar cerca las palabras que se usan de forma semejante. Mikolov y colaboradores, de Google, lo presentaron en 2013. Tiene 2 estructuras: CBOW aprende a predecir la palabra central a partir de las palabras cercanas, y Skip-gram aprende a predecir las palabras anteriores y posteriores a partir de la central. Simplifica el cálculo eliminando el procesamiento no lineal de la capa oculta de modelos de lenguaje neuronales anteriores, como el de Bengio y colaboradores de 2003. Según el artículo, a partir de 1.6 mil millones de palabras pudo crear vectores de 300 dimensiones para 1 millón de palabras con una sola CPU en menos de un día. Las sumas y restas de estos vectores representan relaciones entre palabras. El artículo midió el rendimiento con la proporción de aciertos en problemas como encontrar smallest como palabra más cercana al vector biggest − big + small. El artículo posterior de octubre añadió métodos para acelerar el entrenamiento de Skip-gram, como negative sampling, y el tratamiento de expresiones como Air Canada. También mostró que sumar los vectores Russia y river produce uno cercano a Volga River. El programa se publicó con el nombre word2vec.
Lo que suele decirse:Suele decirse que “king − man + woman = queen fue un cálculo descubierto por el artículo de word2vec, y las sumas y restas de vectores dan la respuesta exacta” Según la fuente original:El artículo de enero de 2013 cita este ejemplo como resultado de un estudio anterior de Mikolov y Zweig (referencia [14]). Además, la versión de septiembre añadió que al buscar la respuesta se excluyen las propias palabras de la pregunta: biggest, big y small en biggest − big + small. La primera versión de enero no incluye esta nota. La respuesta era la palabra más cercana entre las que quedaban tras excluir esas 3 palabras. Representar palabras con conjuntos de números tampoco era una idea nueva. El artículo dice que tiene una larga historia, cita a Rumelhart y colaboradores (1986) y a Elman (1990), y menciona las redes neuronales de Bengio y colaboradores (2003) como una forma ampliamente utilizada.
Lo que aún no se sabe:No se ha comprobado todavía en fuentes originales cómo cambia la respuesta si no se excluyen las 3 palabras de la pregunta, ni si es frecuente que la palabra más cercana sea una de ellas. Tampoco se ha comprobado en qué conferencia de 2013 se presentó word2vec.
Qué muestra la figura:Al representar palabras con conjuntos de números, la dirección que convierte una palabra en superlativo es casi la misma para todas, por lo que biggest − big + small lleva cerca de smallest. Sin embargo, la respuesta se elegía excluyendo las 3 palabras de la pregunta.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_skipgram.py
042013–2015 · Aprendizaje por refuerzo
Aprender a jugar solo con puntos
¿Se puede mejorar en un videojuego solo con la pantalla y la puntuación, sin enseñar las reglas?
El aprendizaje por refuerzo consiste en aprender por ensayo y error, aumentando las acciones que han llevado a obtener puntos. El aprendizaje Q registra en una tabla cuántos puntos se pueden obtener en el futuro al realizar una acción en un estado determinado (valor Q), y la actualiza poco a poco con cada acción. El laberinto de la derecha (un ejemplo creado para este sitio) muestra cómo la recompensa de la meta se transmite hacia atrás, casilla por casilla.
En diciembre de 2013, DQN, de DeepMind, en Londres, usó una red neuronal convolucional en lugar de una tabla. Recibía directamente los píxeles de la pantalla y aprendía con una versión modificada del aprendizaje Q. De 7 videojuegos clásicos, superó a los métodos anteriores en 6 y a jugadores humanos expertos en 3. El artículo de Nature de 2015 entrenó un mismo sistema en 49 juegos.
Lo que se cree saberLo que suele decirse:La IA superó a los humanos en los videojuegos Según la fuente original:La expresión del artículo de 2015 es (traducción). Alcanzó el 75% o más de la puntuación humana en 29 de los 49 juegos. El propio artículo señala que los juegos que requieren planificar a largo plazo (como Montezuma's Revenge) seguían siendo un gran reto.
Otra técnica
Se guardan las experiencias pasadas, se extraen al azar y se vuelve a aprender de ellas (experience replay). El artículo indica que esto reduce los sesgos de los datos de entrenamiento.
DeepMind y Google: En enero de 2014 se informó de que Google compraría DeepMind. Las partes no revelaron el importe, y las noticias hablaban de 400 millones de dólares o de más de 500 millones. La afiliación en el artículo de 2015 ya era Google DeepMind.
Fuentes originales y grado de certeza (2)Aprender a jugar solo con puntos
19 de diciembre de 2013–2015Verificado en la fuente original
Una IA que aprende a jugar videojuegos observando la pantalla (DQN de DeepMind, 2013 y 2015)
En diciembre de 2013, DeepMind Technologies (ubicación en el artículo de 2015: Londres, Reino Unido) presentó una IA que jugaba videojuegos antiguos, descritos en el artículo como “juegos clásicos de Atari 2600” (traducción). Usaba solo los píxeles de la pantalla y la puntuación como señales, combinando aprendizaje profundo con aprendizaje por refuerzo, que mejora mediante ensayo y error. Superó a métodos anteriores en 6 de 7 juegos y a jugadores humanos expertos en 3. En el artículo de Nature de febrero de 2015, con afiliación Google DeepMind, entrenaron el mismo sistema en 49 juegos y alcanzó un rendimiento comparable al de un probador profesional de videojuegos. En 29 juegos consiguió al menos el 75% de la puntuación humana.
Lo que suele decirse:Suele decirse que “la IA superó a humanos en videojuegos” Según la fuente original:La expresión del artículo es (traducción), y logró al menos el 75% de la puntuación humana en 29 de los 49 juegos. El propio artículo señala que los juegos que requieren planificación a largo plazo, como Montezuma’s Revenge, seguían siendo un gran reto para todos los métodos, incluido DQN.
26 de enero de 2014Confirmado en resúmenesLas fuentes discrepan
Google adquiere DeepMind, una empresa de IA de Londres (2014)
En enero de 2014 se informó de que Google adquiría DeepMind, una empresa de IA de Londres. Google confirmó la adquisición a Re/code y DeepMind a TechCrunch, pero no revelaron el importe. Según TechCrunch, DeepMind fue fundada por Demis Hassabis, Shane Legg y Mustafa Suleyman. En artículos posteriores, la afiliación pasó a ser “Google DeepMind”, como en el artículo de DQN de 2015.
3 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Importe de la adquisición: Re/code, republicado por CNBC, informó de 400 millones de dólares; TechCrunch, citando The Information, de “más de 500 millones de dólares” (traducción). Las partes no revelaron el importe.
Qué muestra la figura:Sin enseñar las reglas y dando solo +1 en la meta y −1 en el agujero, la repetición transmite la puntuación de la meta hacia atrás, avanzando 1 paso cada vez, y permite encontrar por sí solo el camino desde el inicio.
Resultado de cada intento (verde=meta, violeta=agujero, gris=tiempo agotado)
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_q_learning.py
052013–2014 · Aprendizaje por transferencia
Reutilizar una red entrenada
¿Se puede usar el aprendizaje profundo en una tarea para la que solo hay unas pocas decenas de fotos?
AlexNet, de 2012, se entrenó con unos 1.2 millones de imágenes de 1000 categorías del concurso ImageNet. En octubre de 2013, DeCAF, de Jeff Donahue y sus colegas de la Universidad de California en Berkeley, mantuvo fijos los pesos de una red de la misma forma y usó las respuestas de una capa cercana a la salida (4096 números) como características para otra tarea. Incluso en Caltech-101, con solo 30 imágenes de entrenamiento por categoría, bastó añadir un clasificador lineal para acertar el 86.9%, superando el mejor resultado de entonces, que combinaba 5 tipos de características diseñadas a mano. Esto se llama aprendizaje por transferencia.
El ajuste fino (fine-tuning) consiste en volver a entrenar toda la red con los datos de la tarea nueva, usando pasos pequeños. En R-CNN, presentado en la siguiente página doble, el ajuste fino aumentó el mAP en 8 puntos.
El diagrama de la derecha (un ejemplo de 8×8 creado para este sitio) reutiliza una red que aprendió a distinguir una sola línea para distinguir pares de 2 líneas. Se pueden comparar los resultados variando el número de ejemplos.
respuesta nueva=softmax( Wnuevo · φ(x) )
φ(x)
respuestas de las capas aprendidas antes (4096 números en DeCAF; no cambian si se mantienen fijas)
Wnuevo
última capa que se entrena para la tarea nueva
Lo que se cree saberLo que suele decirse:El aprendizaje por transferencia nació en la época del aprendizaje profundo Según la fuente original:Un artículo explicativo de 2010 en la revista de la Sociedad Japonesa de Inteligencia Artificial dice (traducción) y señala que se convirtió en un campo del aprendizaje automático a partir de un taller de NIPS de 1995. El artículo de DeCAF también sitúa en 1996–1997 el inicio de la historia de las investigaciones que aprenden de tareas relacionadas.
Medir capa por capa
En 2014, Jason Yosinski y sus colegas dividieron ImageNet en A y B, con 500 categorías cada uno (unas 645,000 imágenes cada uno), y copiaron a B las capas inferiores entrenadas con A. Las capas 1–2 podían usarse casi sin cambios. En las capas 3–5, el rendimiento bajó al romperse la frágil adaptación conjunta con las capas vecinas; en las capas 6–7 influyó la especialización en la tarea A. Tras copiar y hacer un ajuste fino, acertaron en promedio un 1.6% más que al entrenar desde cero con B. Este resultado no se explica solo como una forma de compensar la escasez de datos.
Aprender desde cero: En 2018, Kaiming He y sus colegas de FAIR comunicaron que, en la detección de objetos de COCO, entrenar desde cero podía alcanzar el rendimiento del preentrenamiento si se entrenaba durante suficiente tiempo. Sin embargo, con solo 1000 imágenes de entrenamiento, el resultado fue 3.5 frente a 9.9 con preentrenamiento (AP).
Por la misma época: En marzo de 2014, Ali Sharif Razavian y sus colegas del KTH, en Suecia, también añadieron un SVM lineal a las características de la red pública OverFeat y lo probaron con escenas, categorías detalladas y búsqueda de imágenes, entre otras tareas.
En Japón por entonces: El artículo explicativo de Toshihiro Kamishima, del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada, de 2010 también presenta estudios sobre la transferencia negativa, en la que usar los datos originales empeora las predicciones.
Fuentes originales y grado de certeza (5)Reutilizar una red entrenada
6 de octubre de 2013–2014Verificado en la fuente original
DeCAF: fijar las capas intermedias de una CNN entrenada con ImageNet y reutilizarlas como características para otras tareas (Donahue y colaboradores, 2013–2014)
En octubre de 2013, Jeff Donahue, Yangqing Jia y otros, 7 investigadores de la Universidad de California en Berkeley e ICSI, fijaron los pesos de una CNN entrenada para clasificar las 1,000 categorías de ImageNet, con la estructura de la red de Krizhevsky y colaboradores de 2012. Comprobaron si sus respuestas en capas intermedias podían servir como características para otras tareas, llamadas DeCAF. Bastó colocar un clasificador lineal sobre una capa cercana a la salida (DeCAF6, 4,096 valores) para acertar el 86.9% en Caltech-101, con 30 imágenes de entrenamiento por clase. Superó en un 2.6% el mejor resultado de entonces, obtenido combinando 5 características diseñadas manualmente. Con solo 1 imagen por clase logró un 33.0%. También superó los mejores resultados de entonces en identificación de escenas (SUN-397, 40.94%) y especies de aves. No ajustaron las capas de la CNN y publicaron el software, incluidos los pesos, para que cualquiera pudiera usarlo.
Lo que suele decirse:Suele decirse que el aprendizaje profundo requiere grandes cantidades de datos para cada tarea (esta percepción es una estimación del sitio) Según la fuente original:DeCAF fijó las capas intermedias de una red entrenada con otro gran conjunto de datos y logró un 86.9% en Caltech-101 con 30 imágenes por clase, e incluso un 33.0% con 1. Sin embargo, la propia red se había entrenado con las numerosas fotografías de la competencia ImageNet. Se reutilizó un modelo entrenado previamente con otros datos; eso no eliminó la necesidad de grandes cantidades de datos.
DeCAF (arXiv:1310.1531v1) (Jeff Donahue y colaboradores · 2013 · Página 1 del PDF Primera página · Fuente original)
6 de noviembre de 2014Verificado en la fuente original
Medir capa por capa hasta dónde se pueden transferir a otra tarea las características de una red profunda (Yosinski y colaboradores, 2014)
En noviembre de 2014, Jason Yosinski, de Cornell, Jeff Clune, de Wyoming, Yoshua Bengio, de Montreal, y Hod Lipson, de Cornell, midieron capa por capa hasta dónde una red profunda aprende características generales útiles para cualquier tarea. Dividieron aleatoriamente las 1,000 clases de ImageNet en A y B, con 500 clases y unas 645,000 imágenes cada uno. Copiaron las n capas inferiores de una red de 8 capas entrenada con A a una red para B y entrenaron las restantes con B. Las capas 1–2 pudieron transferirse casi sin cambios. En las capas 3–5, separar características cuya cooperación entre capas vecinas era frágil redujo el rendimiento. En las capas 6–7, la principal causa de la caída era que las características se habían especializado en la tarea A. Al ajustar con B también las capas copiadas, la tasa de aciertos superó en promedio en un 1.6% a una red entrenada desde cero solo con B; al copiar al menos 5 capas, la mejora fue del 2.1%.
Lo que suele decirse:Suele decirse que reutilizar redes entrenadas, mediante aprendizaje por transferencia, es una solución para cuando hay pocos datos (esta percepción es una estimación del sitio) Según la fuente original:El artículo también dice que su primer propósito es entrenar redes grandes con pocos datos sin sobreajuste. Además, la red transferida y ajustada rindió mejor que otra entrenada desde cero con las mismas aproximadamente 645,000 imágenes: resultó útil incluso con muchos datos. El artículo también señala que hay pocos puntos de medición porque obtener cada uno requiere 9.5 días de GPU.
Lo que aún no se sabe:Para explicar por qué el efecto del entrenamiento anterior persiste después del ajuste, el artículo se limita a una explicación plausible: queda la influencia de haber visto los datos originales.
23 de marzo de 2014Verificado en la fuente original
Probar diversas tareas de reconocimiento de imágenes usando solo características de una CNN ya entrenada (Razavian y colaboradores, 2014)
En marzo de 2014, Ali Sharif Razavian, Hossein Azizpour, Josephine Sullivan y Stefan Carlsson, de KTH, el Real Instituto de Tecnología de Suecia, extrajeron características compuestas por 4,096 números del modelo público OverFeat, entrenado para la clasificación de ILSVRC13. Con solo añadir una SVM lineal, probaron tareas cada vez más alejadas de la original: clasificación de objetos, identificación de escenas, clasificación de categorías detalladas, identificación de atributos y búsqueda de imágenes. Escribieron que, en clasificación, superaban a todos los métodos de máximo nivel de entonces que estaban bien ajustados, y concluyeron que las características de CNN profundas deberían ser la primera opción en la mayoría de las tareas de reconocimiento de imágenes.
21 de noviembre de 2018Verificado en la fuente originalLas fuentes discrepan
Se comprueba si los modelos de detección de objetos pueden aprender desde cero sin preentrenamiento con ImageNet (He y otros, 2018)
En noviembre de 2018, Kaiming He, Ross Girshick y Piotr Dollár, de Facebook AI Research (FAIR), volvieron a comprobar si la combinación de preentrenamiento con ImageNet y ajuste fino era realmente necesaria para detectar objetos. En detección de objetos y segmentación de regiones con COCO, incluso al entrenar con pesos iniciales aleatorios (desde cero), los resultados igualaban los de modelos preentrenados y ajustados si se aumentaban las iteraciones de entrenamiento. Lo mismo ocurrió al reducir al 10% las imágenes de entrenamiento de COCO. El efecto del preentrenamiento consistía en acelerar el aprendizaje inicial. Sin embargo, con solo 1,000 imágenes de entrenamiento, el resultado desde cero fue 3.5 frente a 9.9 con preentrenamiento, una diferencia considerable (la medida es AP; con 3,500 imágenes, los resultados fueron 16.0 con preentrenamiento y 9.3 desde cero).
Lo que suele decirse:La idea aceptada entonces era que las redes de detección de objetos no podían aprender lo suficiente sin preentrenamiento con ImageNet (el propio artículo la llama conventional wisdom) Según la fuente original:Con un entrenamiento más largo, también se alcanzaron esos resultados desde cero. Pero el artículo no afirma que ImageNet sea inútil. A la pregunta de si el preentrenamiento es imprescindible, responde que no hace falta si hay suficientes datos de la tarea objetivo (y capacidad de cálculo). A la pregunta de si resulta útil, responde que sí: reduce el tiempo de entrenamiento y ayuda cuando hay pocos datos. En PASCAL VOC (15,000 imágenes de entrenamiento), el resultado de 77.6 desde cero no alcanzó el 82.7 con preentrenamiento.
Lo que aún no se sabe:La cantidad de datos de la tarea objetivo necesaria para prescindir del preentrenamiento depende de la tarea. Para COCO, el artículo la estima entre 3,500 y 10,000 imágenes.
1 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:El mismo artículo da dos valores de AP para una red neuronal entrenada desde cero con 1,000 imágenes: 3.5 en el texto principal (pdf_page 7) y 3.4 en la descripción de la figura 8 (pdf_page 8). Sin decidir cuál es correcto, el sitio usa el 3.5 del texto principal y deja constancia de esta discrepancia en notes.
julio de 2010Verificado en la fuente originalJapón
Toshihiro Kamishima resume en japonés el aprendizaje por transferencia en un artículo explicativo de la revista de la Sociedad Japonesa de Inteligencia Artificial (2010)
En julio de 2010, Toshihiro Kamishima, del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada, resumió en japonés las ideas y los métodos del aprendizaje por transferencia en un artículo explicativo de la revista de la Sociedad Japonesa de Inteligencia Artificial. Este aprendizaje consiste en incorporar, de datos relacionados pero también diferentes, solo los conocimientos que pueden servir para el problema que se quiere resolver, para obtener reglas de predicción más precisas. Explicó que ideas semejantes habían recibido nombres diversos: transferencia inductiva, adaptación de dominio, aprendizaje multitarea y learning to learn, entre otros. También presentó investigaciones sobre redes neuronales que comparten capas intermedias entre varias tareas (Caruana, 1997) y sobre la transferencia negativa, en la que usar los datos de origen reduce la precisión de las predicciones.
Lo que suele decirse:Puede pensarse que el aprendizaje por transferencia, que aprovecha conocimientos aprendidos en otra tarea, nació con el auge del aprendizaje profundo (esta percepción es una estimación del sitio) Según la fuente original:El artículo de 2010 dice (traducción) y explica que empezó a reconocerse como un campo del aprendizaje automático a partir de un taller de NIPS de 1995. Es una explicación en japonés anterior a los resultados del aprendizaje profundo en imágenes (2012).
Qué muestra la figura:Reutilizar capas que aprendieron mucho en otra tarea permite acertar en una nueva tarea con solo unas pocas imágenes de ejemplo. Al aumentar los ejemplos, el aprendizaje desde cero también alcanza un rendimiento parecido.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_transfer_finetune.py
062013–2015 · Detección de objetos
Qué hay, dónde y cuántos
¿Cómo se rodean los objetos de una foto con rectángulos y se les asignan nombres?
La clasificación de imágenes da una respuesta por imagen. La detección de objetos rodea con un rectángulo cada objeto de una foto y le asigna un nombre.
En noviembre de 2013, R-CNN, de Ross Girshick y sus colegas de la Universidad de California en Berkeley, generó unos 2000 rectángulos candidatos mediante un método que no aprende, los pasó uno por uno por una CNN y les asignó puntuaciones con un SVM para cada categoría. Como quedan varios rectángulos alrededor del mismo objeto, se eliminan los que se superponen mucho con uno de puntuación alta (supresión de no máximos). La versión del congreso alcanzó un mAP de 53.3% en PASCAL VOC 2012, muy por encima del mejor resultado anterior, pero tardaba 13 segundos por imagen con una GPU.
En junio de 2015, YOLO, de Joseph Redmon y sus colegas de la Universidad de Washington, divide la imagen en una cuadrícula de 7×7 y produce a la vez 2 rectángulos por casilla (98 en total) y las categorías en una sola pasada por la red. Procesaba 45 imágenes por segundo con un 63.4%. Faster R-CNN, de Shaoqing Ren y sus colegas, del mismo mes, también encarga a la red generar los candidatos: 5 imágenes por segundo con un 73.2%. El diagrama de la derecha permite compararlos.
IoU= área de intersección ÷ área de unión
IoU
proporción de superposición entre el rectángulo predicho y el correcto (1 indica coincidencia total; 0, ninguna superposición)
Lo que se cree saberLo que suele decirse:YOLO fue el primero en detectar objetos en tiempo real Según la fuente original:El propio artículo de YOLO menciona DPM, que ya funcionaba a 30 imágenes por segundo (Sadeghi y Forsyth, 2014). La afirmación de YOLO era que, entre los métodos en tiempo real, la precisión se había más que duplicado (26.1% → 63.4%). Fast R-CNN, con 0.5 imágenes por segundo (70.0%), era más preciso, y YOLO cometía más errores de posición.
El interior de R-CNN
El nombre viene de Regions with CNN features (regiones con características de CNN). La generación de candidatos (selective search) y el SVM eran herramientas anteriores de visión por computadora. La conclusión del artículo dice de esas herramientas y el aprendizaje profundo que (traducción). El artículo también cita el neocognitrón de Kunihiko Fukushima (1980) como un intento temprano de construir características por etapas. Los candidatos se deformaban hasta 227×227 antes de pasar por la CNN. La primera versión (noviembre de 2013) alcanzó un 48% en VOC 2007, que aumentó en la versión del congreso.
Las debilidades de YOLO: Según el criterio del artículo de YOLO, la respuesta es correcta si la categoría lo es y la IoU es mayor que 0.5. Como YOLO solo puede producir 2 rectángulos y 1 categoría por casilla, el propio artículo señala que le cuestan los grupos de objetos pequeños, como las bandadas de aves. La primera versión (junio de 2015) tenía 49 rectángulos en total.
Los candidatos de Faster R-CNN: Shaoqing Ren y sus colegas de Microsoft Research colocan en cada posición del mapa de características 9 rectángulos de referencia (anclas): 3 tamaños × 3 proporciones entre ancho y alto. La red produce una puntuación de cuánto parecen contener un objeto y una corrección de la posición. Hay 300 candidatos por imagen. En la detección de objetos de COCO de 2015, este método combinado con ResNet obtuvo el primer puesto.
En Japón por entonces: En 2017, miembros de la Universidad de Tokio y de Preferred Networks publicaron ChainerCV, una biblioteca para entrenar Faster R-CNN y SSD con Chainer, y reprodujeron un 70.5% frente al 69.9% del artículo de Faster R-CNN.
Fuentes originales y grado de certeza (4)Qué hay, dónde y cuántos
11 de noviembre de 2013Verificado en la fuente original
R-CNN: crear unas 2,000 regiones candidatas y obtener sus características una a una con una CNN para detectar objetos (Girshick y colaboradores, 2013–2014)
En noviembre de 2013, Ross Girshick, Jeff Donahue, Trevor Darrell y Jitendra Malik, de la Universidad de California en Berkeley (UC Berkeley en el artículo) e ICSI, aplicaron a la detección de objetos las CNN, redes neuronales convolucionales que habían demostrado su capacidad en clasificación de imágenes. Detectar objetos consiste en identificarlos y rodearlos con rectángulos, llamados cajas delimitadoras. Primero, selective search, un método sin aprendizaje, propone unos 2,000 rectángulos por imagen. Cada uno se transforma a 227×227 píxeles y pasa por la CNN para obtener características de 4,096 dimensiones. Después se puntúan con una SVM lineal para cada clase. Se eliminan los rectángulos que se solapan mucho con otros de la misma clase y mayor puntuación, usando IoU, área de intersección dividida por área de unión: supresión de no máximos. La CNN se preentrenó con clasificación de ImageNet (ILSVRC 2012) y después se ajustó con datos de detección, proceso llamado fine-tuning. En la versión de CVPR 2014 alcanzó un mAP, promedio de precisión media, del 53.3% en PASCAL VOC 2012, más de un 30% de mejora relativa respecto al mejor resultado anterior. Sin embargo, calcular las regiones y las características tardaba 13 segundos por imagen con GPU y 53 con CPU.
Lo que suele decirse:Puede pensarse que R-CNN detectaba objetos de principio a fin solo mediante aprendizaje profundo, con redes neuronales (esta percepción es una estimación del sitio) Según la fuente original:Las cajas candidatas se generaban con selective search, sin aprendizaje; las puntuaciones se calculaban con SVM lineales; y la CNN solo extraía características. En su conclusión, el artículo dice que los métodos tradicionales de visión por computadora y el aprendizaje profundo no son corrientes enfrentadas: (traducción). También cita el neocognitrón de Kunihiko Fukushima (1980) como precursor de los sistemas que construyen características jerárquicamente.
8 de junio de 2015–2016Verificado en la fuente original
YOLO: dividir la imagen en una cuadrícula de 7×7 y detectar a la vez posiciones y clases en una sola ejecución de la red (Redmon y colaboradores, 2015–2016)
En junio de 2015, Joseph Redmon y sus colaboradores de la Universidad de Washington presentaron YOLO (You Only Look Once: solo se mira una vez), un método que resuelve la detección de objetos con un solo cálculo de una única red neuronal. Ajusta la imagen a 448×448 píxeles y la divide en una cuadrícula de 7×7. Cada celda produce a la vez 2 rectángulos con sus niveles de confianza y las probabilidades de 20 clases (la salida son 7×7×30 valores, con 98 rectángulos en total; R-CNN utiliza unas 2,000 regiones candidatas). Es rápido porque no separa la detección de regiones candidatas y su clasificación. En la versión para el congreso CVPR 2016, utilizando una GPU Titan X, alcanzó un mAP del 63.4% en PASCAL VOC 2007 a 45 imágenes por segundo. La versión pequeña, Fast YOLO, logró el 52.7% a 155 imágenes por segundo. En la comparación del mismo artículo, Fast R-CNN alcanzó el 70.0% a 0.5 imágenes por segundo. YOLO cometía más errores de localización (19.0% en las predicciones mejor puntuadas, frente al 8.6% de Fast R-CNN), pero confundía menos el fondo con objetos (4.75% frente al 13.6%).
Lo que suele decirse:Se suele pensar que YOLO fue el primer método de detección de objetos en tiempo real (esta percepción es una estimación de este sitio) Según la fuente original:El propio artículo cita como método anterior de tiempo real, de al menos 30 imágenes por segundo, el DPM de 30Hz de Sadeghi y Forsyth de 2014 (30 imágenes por segundo, mAP del 26.1%). La afirmación de YOLO era que había más que duplicado la precisión entre los métodos de tiempo real (63.4%). La precisión en sí era mayor en Fast R-CNN, que aparece en la misma tabla (0.5 imágenes por segundo, 70.0%). Además, aunque solo se mira una vez, se utiliza la supresión de no máximos para eliminar rectángulos superpuestos; según el artículo, esto mejora el mAP un 2–3%.
4 de junio de 2015Verificado en la fuente original
Faster R-CNN: acelerar la detección de objetos generando también las regiones candidatas con una red (Ren y colaboradores, 2015)
En junio de 2015, Shaoqing Ren, Kaiming He, Ross Girshick y Jian Sun, de Microsoft Research, presentaron Faster R-CNN. El método encarga también a una red la generación de regiones candidatas, que era una causa de lentitud en el proceso de R-CNN. Una pequeña red (RPN: red de propuestas de regiones) comparte con el reconocimiento de objetos las características de CNN de toda la imagen. Para cada uno de los 9 marcos de referencia (anclas), con 3 tamaños × 3 proporciones, sobre el mapa de características, produce una puntuación de la probabilidad de que haya un objeto y una corrección de posición. Con VGG-16 y 300 propuestas por imagen, procesó todo el procedimiento en GPU a 5 imágenes por segundo y alcanzó un mAP del 73.2% en PASCAL VOC 2007. Según el artículo, selective search, muy utilizado hasta entonces, necesitaba 2 segundos por imagen en CPU.
Lo que suele decirse:Es fácil pensar que Faster R-CNN detecta objetos en tiempo real (esta percepción es una estimación de este sitio) Según la fuente original:El título del artículo dice Towards Real-Time (hacia el tiempo real), y con VGG-16 procesaba 5 imágenes por segundo. El artículo de YOLO señala que ni Fast R-CNN ni Faster R-CNN alcanzaban todavía el tiempo real y que Faster R-CNN, incluso con la pequeña red ZF, procesaba 18 imágenes por segundo.
28 de agosto de 2017Verificado en la fuente originalJapón
ChainerCV: investigadores de la Universidad de Tokio y Preferred Networks publican una biblioteca para ejecutar la detección de objetos con Chainer con los resultados descritos en los artículos (2017)
En agosto de 2017, Yusuke Niitani y Toru Ogawa, de la Universidad de Tokio, y Shunta Saito y Masaki Saito, de Preferred Networks, publicaron un artículo sobre ChainerCV, una biblioteca que reúne redes de detección de objetos y segmentación de regiones para usarlas con Chainer, una herramienta de aprendizaje profundo. Incluyeron incluso programas para entrenar Faster R-CNN y SSD (otro método que detecta en una sola pasada) hasta alcanzar el rendimiento de los artículos originales. En la medida mAP de PASCAL VOC 2007, informaron de un 70.5% para Faster R-CNN frente al 69.9% del artículo original, y un 77.5% para SSD300 frente al 77.5%. También implementaron para GPU la supresión de no máximos, que elimina los cuadros de detección superpuestos.
Qué muestra la figura:R-CNN era lento porque generaba unos 2,000 rectángulos candidatos y los examinaba uno por uno. YOLO dividía la imagen en una cuadrícula y producía todos los rectángulos a la vez en 1 pasada de la red, por lo que era rápido, aunque tenía más errores de ubicación.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_object_detect.py
072013 · Modelos generativos (1)
Comprimir y volver a expandir
Si los datos se comprimen en 2 números, ¿se pueden crear datos nuevos a partir de ellos?
Un autocodificador es una red que aprende a producir lo mismo que recibe como entrada, con una capa intermedia estrecha. La primera mitad (codificador) comprime la entrada en unos pocos números, y la segunda (decodificador) la reconstruye. Esta estructura ya existía en 1985–1987, pero entre los números comprimidos quedan muchos huecos; al generar datos desde esos huecos, las formas se deforman.
En diciembre de 2013, el VAE (autocodificador variacional), de Diederik Kingma y Max Welling, de la Universidad de Ámsterdam, aprende acercando la distribución de los números comprimidos a una distribución normal de media 0 y dispersión 1. Por eso, al elegir números de la distribución normal, se pueden generar datos nuevos. A la derecha aparece un ejemplo entrenado en Python por este sitio que comprime caras de 12×12 en 2 números. Se pueden comparar ambos métodos.
z=μ+σ × ε (ε es un número aleatorio de media 0 y dispersión 1)
μ
media que produce el codificador
σ
dispersión
z
punto elegido
Lo que se cree saberLo que suele decirse:Geoffrey Hinton inició los autocodificadores en 2006 Según la fuente original:La tarea de pasar la entrada por una capa estrecha y producir lo mismo ya aparecía en artículos de 1985 y 1986. El propio artículo de 2006 dice sobre el buen funcionamiento de los autocodificadores profundos: “Es evidente desde la década de 1980” (traducción).
Sacar el número aleatorio fuera
Al expresar z mediante una fórmula con la media y un número aleatorio, este último queda fuera del cálculo, lo que permite entrenar todo a la vez con retropropagación (reparameterization trick, según el artículo).
La misma técnica, otra vez: Unas 4 semanas después, en enero de 2014, Danilo Rezende y sus colegas de DeepMind también presentaron la misma técnica central. La versión de mayo de Kingma y sus colegas escribió (traducción). El título de la primera versión era (traducción), y la expresión variational auto-encoder aparece solo 1 vez, en la sección de experimentos.
Fuentes originales y grado de certeza (2)Comprimir y volver a expandir
20 de diciembre de 2013Verificado en la fuente original
Autocodificador variacional (VAE): comprimir datos en unos pocos números y generar nuevos datos a partir de ellos (Kingma y Welling, 2013)
En diciembre de 2013, Diederik Kingma y Max Welling, de la Universidad de Ámsterdam, publicaron (Auto-Encoding Variational Bayes) en arXiv, un sitio donde los investigadores publican sus artículos por adelantado. El método introduce probabilidades en un autocodificador: una red neuronal que combina un codificador, que comprime la entrada en unos pocos números o variables latentes, y un decodificador, que reconstruye la entrada. El codificador produce una media y una dispersión, la desviación estándar, en lugar de un único punto. Al elegir un punto mediante media + dispersión × número aleatorio, el número aleatorio queda separado del cálculo. Esto permite entrenar toda la red a la vez mediante retropropagación, que transmite el error de la salida hacia atrás para corregir los pesos; el artículo lo llama reparameterization trick. El entrenamiento busca reducir el error entre la entrada reconstruida y la original, y acercar la distribución de las variables latentes a una distribución normal de media 0 y dispersión 1. Después, pasar por el decodificador un punto elegido de esa distribución normal permite generar datos nuevos. El artículo lo comprobó con dígitos manuscritos de MNIST y fotografías de rostros de Frey Face.
Lo que suele decirse:Suele presentarse el VAE como una creación y denominación de Kingma y Welling en un único artículo (esta percepción es una estimación del sitio) Según la fuente original:① Rezende, Mohamed y Wierstra, de DeepMind, también publicaron la idea central —separar los números aleatorios para poder entrenar operaciones probabilísticas mediante retropropagación— en arXiv el 16 de enero de 2014, unas 4 semanas después. La versión de mayo de 2014 de Kingma y colaboradores dice (traducción) sobre ese trabajo, y su explicación de 2019 cita ambos artículos. ② En cuanto al nombre, el título y el método de la primera versión de diciembre de 2013 eran AEVB, Auto-Encoding Variational Bayes. La expresión variational auto-encoder aparecía solo una vez, en la sección experimental. La sección (Example: Variational Auto-Encoder) se añadió por primera vez en mayo de 2014.
Lo que aún no se sabe:No se sabe qué grupo concibió primero la idea: solo se dispone de las fechas de publicación en arXiv, 2013-12-20 y 2014-01-16.
Origen de los autocodificadores: tareas de 1985–1987 que hacían reproducir la entrada a través de una capa intermedia estrecha
Un autocodificador es una red neuronal entrenada para producir como salida los mismos datos que recibe como entrada. Se reduce el número de neuronas de la capa intermedia. Como la entrada no puede pasar sin más, esa capa aprende por sí misma un código que la representa comprimida en pocos valores numéricos. La primera mitad convierte la entrada en un código (codificador) y la segunda reconstruye el original a partir de él (decodificador). Esta estructura aparece en el encoder problem (problema de codificación) del artículo de 1985 sobre la máquina de Boltzmann y en un capítulo de un libro sobre retropropagación de 1986. En el capítulo se entrenó una red para reproducir 8 entradas en las mismas 8 salidas pasando por 3 neuronas de una capa oculta. Las neuronas ocultas asignaron un código propio a cada una de las 8 entradas (utilizando no solo 0 y 1, sino también valores intermedios). En 1987, Ballard propuso apilar redes autoasociativas (autoassociative), con entradas y salidas idénticas. Las capas superiores recibían y aprendían las representaciones de la capa oculta inferior.
Lo que suele decirse:Se suele decir: “Hinton inició los autocodificadores en 2006” Según la fuente original:La tarea de producir la misma entrada a través de pocas neuronas ocultas ya aparecía en el artículo de 1985 sobre la máquina de Boltzmann (encoder problem) y en un capítulo de un libro sobre retropropagación de 1986. En 1987, Ballard ya había propuesto apilar redes autoasociativas (Ballard escribe que Hinton y Rumelhart propusieron esta estructura). El propio artículo de Science de 2006 dice que un autocodificador profundo entrenado con retropropagación podía funcionar bien: “Es evidente desde la década de 1980” (traducción). La novedad era el método para fijar los valores iniciales de los pesos.
Lo que aún no se sabe:No se ha comprobado qué artículo utilizó primero la palabra autoencoder (autocodificador); el más antiguo entre los consultados es el de Hinton y Zemel en NIPS de 1993. No se ha consultado el artículo de Kramer de 1991 sobre análisis de componentes principales no lineal porque es de pago. Se buscó si en Japón, por la misma época, se investigaban redes que reproducían la entrada en la salida (llamadas de tipo reloj de arena, aprendizaje de la aplicación identidad, etc.), pero no se encontró evidencia concluyente.
Qué muestra la figura:En un autoencoder corriente, el mapa de 2 números comprimidos tiene muchos huecos, y generar desde un punto elegido al azar deforma el rostro. VAE concentra el mapa dentro de un círculo, de modo que cualquier punto elegido produce un rostro.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_vae_faces.py
082014 · Modelos generativos (2)
Falsificadores y policía
¿La capacidad de crear imitaciones convincentes mejora al competir con un rival que intenta descubrirlas?
En junio de 2014, la GAN (red generativa adversarial), de Ian Goodfellow y sus colegas de la Universidad de Montreal, hace competir una red G que genera datos con una red D que distingue lo auténtico de lo falso. El artículo compara G con (traducción) y D con (traducción). El estado final es aquel en el que D ya no puede distinguirlos.
A la derecha aparece una GAN sobre una recta numérica (un pequeño ejemplo creado para este sitio). Al abrirlo, la montaña violeta de datos falsos se acerca a la montaña azul de datos auténticos, y la línea de D se aproxima a 0.5. Según la combinación de velocidades de aprendizaje de G y D, el resultado puede concentrarse en un punto u oscilar. La competencia no siempre converge de forma ordenada.
D aumenta log D(x)+log(1 − D(G(z))), y G reduce log(1 − D(G(z)))
x
datos auténticos
z
número aleatorio
G(z)
datos falsos generados
D(·)
probabilidad de considerarlos auténticos
Cómo funciona el diagrama
El artículo señala que, al comienzo del entrenamiento, la pendiente de log(1 − D(G(z))) es demasiado pequeña, por lo que conviene hacer que G aumente log D(G(z)) en su lugar (el diagrama también hace esto). G es la red más sencilla posible: solo convierte un número aleatorio en a·z+b. En cada paso, los pesos de D se acercan un poco a 0 para reducir las oscilaciones (una técnica de este sitio). El artículo hizo pruebas con imágenes de dígitos escritos a mano y fotografías de caras, entre otras.
Fuentes originales y grado de certeza (1)Falsificadores y policía
10 de junio de 2014Verificado en la fuente original
GAN: enfrentar 2 IA, como “un equipo de falsificadores de dinero” (traducción) y (traducción), para crear datos semejantes a los reales (2014)
En junio de 2014, Ian Goodfellow y colaboradores, de la Universidad de Montreal, publicaron un artículo sobre las , GAN, un método que entrena simultáneamente 2 IA: G genera datos y D distingue si son reales o generados. El artículo compara a G con (traducción) y a D con (traducción). Explica que al competir ambos mejoran hasta que las falsificaciones resultan indistinguibles de lo real. Los experimentos usaron imágenes de dígitos manuscritos, rostros y otros datos.
1 fuentes originales y cómo se verificaron
Generative Adversarial Nets (arXiv:1406.2661v1) (Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · 2014 · p.1 Abstract y 1 Introduction (comparación con falsificadores y… · Fuente original)
Qué muestra la figura:Hacer competir a G, que crea falsificaciones, y a D, que las detecta, acerca la distribución de las falsificaciones a la real, y D se aproxima a no poder distinguirlas (0.5 en cualquier punto). Sin embargo, la competencia no siempre termina de forma ordenada.
Media de los datos falsos (violeta) y dispersión (verde). Las líneas discontinuas indican los valores de los datos auténticos
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_gan_1d.py
092014–2016 · Traducción neuronal
¿Un tubo estrecho o atención?
Al traducir una frase larga, ¿qué partes de la frase original debe recordar la red?
En 2014 se sucedieron las investigaciones sobre la traducción de frases completas mediante redes neuronales. seq2seq, de Kyunghyun Cho y sus colegas en junio y de Ilya Sutskever y sus colegas en septiembre, resumía una frase en un conjunto de números de longitud fija y producía la traducción a partir de él. Cho y sus colegas también presentaron un componente que simplificaba LSTM (más tarde llamado GRU). En “Tubo estrecho (seq2seq y GRU)”, a la derecha, se ve cómo las palabras anteriores se desvanecen cuanto más larga es la frase.
Ese mismo septiembre, Dzmitry Bahdanau y sus colegas hicieron que, cada vez que se produce una palabra traducida, la red decidiera cuánto atender a cada palabra de la frase original (pesos que suman 1). Este fue el inicio de la atención. En “Atención (2014)” se pueden pulsar las tarjetas de las palabras traducidas. En 2016, Google Traductor pasó a un sistema de redes neuronales que lee frases completas.
αij =exp(eij) ÷ Σk exp(eik) ci =Σj αij hj
eij
puntuación de la palabra original j al producir la palabra traducida i
hj
resumen de las características de la palabra original
ci
contenido reunido mediante la atención
Lo que se cree saberLo que suele decirse:La atención nació en el artículo del Transformer de 2017 Según la fuente original:Ya estaba en este artículo de 2014, que también cita el de 2017. Lo que el artículo de 2017 presentó como novedad fue una estructura basada solo en atención, sin RNN.
Detalles de seq2seq
El artículo de Ilya Sutskever, Oriol Vinyals y Quoc Le, de Google, leía una frase en inglés con una LSTM de 4 capas y producía francés con otra LSTM. Leer la entrada en orden inverso aumentó la puntuación (BLEU) de 25.9 a 30.6.
El nombre GRU: El artículo de junio de 2014 no usaba el nombre GRU y lo llamaba (traducción). El nombre GRU viene de un artículo de diciembre del mismo laboratorio. En las fórmulas del artículo, la puerta de actualización z es la proporción del estado anterior que se conserva.
La difusión de la traducción: El nuevo sistema de Google Traductor (GNMT), de septiembre de 2016, se extendió al japonés en noviembre. En 2014, el Ministerio de Asuntos Internos y Comunicaciones de Japón elaboró un plan para poner en uso práctico la traducción de voz en 10 idiomas para 2020. En el siguiente plan, de 2020, escribió (traducción) (las fuentes no explican cómo se midió).
Fuentes originales y grado de certeza (5)¿Un tubo estrecho o atención?
3 de junio de 2014Verificado en la fuente original
Codificador-decodificador RNN y GRU: 2 RNN que transforman secuencias y una estructura simplificada de LSTM (Cho y colaboradores, 2014)
En junio de 2014, Kyunghyun Cho y colaboradores, de la Universidad de Montreal, presentaron RNN Encoder–Decoder, que combina 2 redes neuronales recurrentes, RNN: redes que procesan datos secuenciales conservando el estado anterior. La primera, el codificador, resume secuencias de palabras de longitud variable en un vector de longitud fija; la segunda, el decodificador, genera otra secuencia de palabras a partir de él. El mismo artículo propuso una estructura nueva, posteriormente llamada GRU, que simplificaba el cálculo de LSTM. Tiene 2 compuertas, mecanismos que regulan con valores de 0–1 cuánta información pasa. La compuerta de reinicio determina cuánto del estado anterior se ignora al reconstruirlo con la entrada actual; la de actualización determina cuánto se conserva sin cambios para el paso siguiente. El artículo probó el sistema en traducción del inglés al francés, pero lo usó como señal auxiliar para puntuar pares de frases dentro de la traducción automática estadística tradicional, que calcula probabilidades de traducción de grupos de palabras a partir de muchos textos emparejados.
Lo que suele decirse:Puede entenderse que Cho y colaboradores presentaron la GRU con ese nombre en 2014 y que ese artículo hizo que las redes neuronales tradujeran (esta percepción es una estimación del sitio) Según la fuente original:① El nombre GRU no aparece en el artículo. La estructura se llama (traducción) y el encabezado de la sección es “Unidad oculta que recuerda y olvida de forma adaptativa” (traducción). Un artículo del mismo laboratorio de diciembre de 2014 usó el nombre GRU, gated recurrent unit, al escribir “a la que llamamos unidad recurrente con compuertas (GRU)” (traducción). ② El sistema no tradujo oraciones completas: ayudó a evaluar pares de frases dentro de la traducción automática estadística tradicional. Los métodos que traducen oraciones completas directamente con redes neuronales se desarrollan en el artículo seq2seq y el de atención, también de 2014.
10 de septiembre de 2014Verificado en la fuente original
seq2seq, de secuencia a secuencia: leer una oración en un vector con una LSTM y escribir la traducción con otra (Sutskever y colaboradores, 2014)
En septiembre de 2014, Ilya Sutskever, Oriol Vinyals y Quoc V. Le, de Google, publicaron en arXiv (Sequence to Sequence Learning with Neural Networks). Una LSTM de 4 capas, una RNN diseñada para recordar información anterior incluso en secuencias largas, lee la entrada palabra por palabra y la resume en un vector de longitud fija. Otra LSTM de 4 capas escribe la traducción palabra por palabra a partir de ese vector. Descubrieron que invertir el orden de las palabras de entrada facilitaba el aprendizaje: BLEU pasó de 25.9 a 30.6. BLEU puntúa cuánto coinciden las secuencias de palabras de la traducción automática con las de traducciones humanas. En la traducción del inglés al francés de WMT'14, combinar 5 LSTM dio 34.8, frente a 33.3 del sistema estadístico de comparación. Reordenar con LSTM los 1,000 candidatos del sistema estadístico dio 36.5. Una LSTM tenía 380 millones de parámetros y se entrenó con 12 millones de pares de oraciones.
Lo que suele decirse:Suele presentarse seq2seq, el codificador-decodificador, como una primera invención de Sutskever y colaboradores (esta percepción es una estimación del sitio) Según la fuente original:El propio artículo identifica a Kalchbrenner y Blunsom, de Oxford, en 2013, como “quienes fueron los primeros en transformar toda la oración de entrada en un vector” (traducción) y dice que fue “desarrollado en paralelo al trabajo de Cho y colaboradores” (traducción). La novedad que reivindicaba era lograr “por primera vez” (traducción) una traducción hecha solo con redes neuronales que superaba por un amplio margen a la traducción automática estadística. Si se consideran solo las fechas de arXiv, el artículo de atención, del 2014-09-01, apareció 9 días antes y citaba este trabajo como artículo anónimo en proceso de revisión.
Lo que aún no se sabe:El artículo dice que no puede explicar completamente por qué invertir la entrada mejora la precisión. Como hipótesis, propone que acerca las primeras palabras de la entrada a las primeras de la traducción (sección 3.3).
1 de septiembre de 2014Verificado en la fuente original
Origen de la atención: traducir decidiendo cuánto atender a cada palabra del original al generar cada palabra traducida (Bahdanau y colaboradores, 2014)
En septiembre de 2014, Dzmitry Bahdanau, KyungHyun Cho y Yoshua Bengio publicaron en arXiv (Neural Machine Translation by Jointly Learning to Align and Translate). Los codificadores-decodificadores anteriores comprimían toda la oración de entrada en un único vector de longitud fija; el artículo lo consideró un cuello de botella que limitaba el rendimiento. El codificador conserva para cada palabra de entrada un resumen, o anotación, obtenido al leer la oración en ambas direcciones. Cada vez que produce una palabra traducida, el decodificador usa una pequeña red neuronal para puntuar la importancia de cada resumen, convierte las puntuaciones en pesos que suman 1 y utiliza la suma ponderada de los resúmenes. El artículo explica que, intuitivamente, esto dota al decodificador de un mecanismo de atención. En traducción del inglés al francés, la puntuación caía menos al aumentar la longitud de las oraciones. Al limitarse a oraciones sin palabras desconocidas, obtuvo puntuaciones similares a las del sistema estadístico Moses: BLEU 36.15 y 35.63. Al visualizar los pesos, se veía cómo European Economic Area correspondía a zone économique européenne, con el orden de palabras inverso.
Lo que suele decirse:Puede pensarse que la atención nació en el artículo del Transformer de 2017, cuyo título es Attention Is All You Need (esta percepción es una estimación del sitio) Según la fuente original:Este artículo de traducción de 2014 ya incluía un mecanismo de atención. El artículo del Transformer llama a una de las 2 formas habituales y cita este trabajo como referencia [2]. Presenta como novedad construir el sistema solo con atención, sin RNN, frente a lo anterior: “En todos los casos salvo unos pocos … utilizado junto con una red recurrente” (traducción). El título del artículo de 2014 usa align, alinear; attention aparece solo 3 veces, en un único párrafo. También cita la investigación de Graves de 2013 sobre generación de escritura manuscrita como método parecido para relacionar entradas y salidas.
Attention Is All You Need (arXiv:1706.03762v1) (Ashish Vaswani y otras 7 personas (8 en total) · 2017 · p.4 1 Introduction (página 2 del PDF), 3.2.1 (página 4), Refere… · Fuente original)
27 de septiembre de 2016Verificado en la fuente originalLas fuentes discrepan
Google Traductor pasa a la , que lee la oración completa (2016); también en Japón se comenta que las traducciones se han vuelto de repente más naturales
En septiembre de 2016, Google presentó su traducción automática neuronal, GNMT, un método que lee cada oración como un conjunto. Hasta entonces utilizaba traducción automática estadística, que traduce partes de la oración, desde el lanzamiento de Google Traductor unos 10 años antes (el blog de investigación dice y el blog japonés, ). GNMT comenzó a utilizarse en todas las traducciones del chino al inglés, unas 18 millones al día. Según la evaluación humana, redujo los errores en un promedio del 60%. En noviembre se amplió a 8 idiomas, entre ellos japonés y coreano. Según ITmedia, (traducción). Incluye un método que divide las palabras en fragmentos pequeños, llamados wordpieces, para manejar también palabras poco frecuentes. Según el informe técnico de Google, este método se creó originalmente para resolver problemas de segmentación del japonés y el coreano en el reconocimiento de voz, y también se utilizó en BERT, de 2018.
Lo que suele decirse:Se suele interpretar que “Google Traductor alcanzó el nivel humano en 2016” (el título del informe técnico también dice (traducción)) Según la fuente original:El informe indica que en algunos casos las traducciones son casi indistinguibles de las humanas cuando se trata de (traducción), y deja los textos largos y los casos difíciles como trabajo futuro. El blog de investigación también dice (traducción), y el anuncio japonés señala que (traducción).
5 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:El blog japonés dice “8 idiomas en total”, pero enumera 9; parece ser una diferencia según se incluya o no el inglés (estimación de este sitio). Sobre la reducción de errores, el blog de investigación dice “del 55% al 85% o más” y el resumen del informe técnico dice “60% en promedio”; se reunieron de distinta forma las oraciones evaluadas.
abril de 2014–2025Verificado en la fuente originalJapón
Meta del gobierno japonés: poner en uso práctico la traducción de voz en 10 idiomas para 2020 (2014); después, interpretación simultánea para 2025
En abril de 2014, el Ministerio de Asuntos Internos y Comunicaciones anunció el . Fijó como misión “eliminar las barreras lingüísticas del mundo” (traducción) y se propuso lograr para 2020 traducción de voz de alta precisión en 10 idiomas para conversaciones de viajes, prevención de desastres, atención médica y vida cotidiana. Buscaba “recibir a las personas sin que perciban ninguna barrera lingüística” (traducción) al recibir a deportistas, espectadores y otras personas de todo el mundo en los Juegos Olímpicos y Paralímpicos de Tokio de 2020. Las tecnologías centrales incluían VoiceTra, de NICT. El siguiente plan, de marzo de 2020, afirmó que en la primera etapa, 2014–2019, (traducción), y fijó para la Expo de Osaka-Kansai de 2025 la nueva meta “de la traducción consecutiva a la interpretación simultánea” (traducción) (la traducción consecutiva traduce una frase cada vez). Según el libro blanco de 2025, en la Expo se usaron una aplicación de traducción a 30 idiomas e interpretación simultánea en seminarios y otros actos con tecnología de NICT.
Lo que ocurrió después:El plan del propio ministerio de marzo de 2020 afirmó que (traducción). La siguiente meta era la interpretación simultánea para 2025, y el libro blanco de 2025 dice que en la Expo se implementaron una aplicación de traducción a 30 idiomas e interpretación simultánea en seminarios y otros actos. Las fuentes consultadas no explican cómo se mide el “nivel de aplicación práctica”. Este sitio no ha comprobado cómo se usaron en los Juegos Olímpicos y Paralímpicos.
Qué muestra la figura:seq2seq comprime toda la oración en un conjunto de números de longitud fija, por lo que las primeras palabras se desvanecen cuanto más larga es la oración. La atención vuelve a elegir qué parte del texto original mirar cada vez que produce una palabra traducida, y permite regresar a las primeras palabras incluso en textos largos.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_attention_align.py
102014 · Métodos de aprendizaje
Descender por un valle estrecho
Al avanzar en la dirección que reduce el error, ¿cómo se decide el tamaño de cada paso?
La base del entrenamiento de una red es el descenso de gradiente. En el paisaje del error, se avanza poco a poco en la dirección de la bajada (el gradiente). Si el paisaje es un valle largo y estrecho, se avanza demasiado en la dirección de pendiente pronunciada y muy poco en la de pendiente suave (la bola azul oscuro de la derecha).
En diciembre de 2014, Adam, de Diederik Kingma y Jimmy Ba, registra para cada peso una media móvil del gradiente y otra de su cuadrado, y decide el tamaño del paso según su proporción. Avanza con moderación en las direcciones donde el gradiente siempre es grande y con pasos mayores donde es pequeño, por lo que la bola violeta se dirige al fondo del valle con pequeños excesos de avance. Se puede desmarcar “Corrección de sesgo” para comparar con y sin el cálculo que corrige la tendencia inicial de las medias móviles hacia 0.
m ← β₁m+ (1−β₁)g v ← β₂v+ (1−β₂)g² w ← w − η · m̂ ÷ (√v̂ +ε)
g
gradiente
m, v
medias móviles del gradiente y del cuadrado del gradiente
m̂, v̂
valores corregidos
η
tasa de aprendizaje (tamaño del paso)
Lo que se cree saberLo que suele decirse:Se ha demostrado que Adam siempre converge Según la fuente original:En 2018, un artículo de Reddi y sus colegas de Google mostró un ejemplo en el que Adam no alcanza la solución óptima ni siquiera en un problema sencillo y explicó dónde estaba el problema de la demostración original.
El nombre y el orden de los autores
Adam viene de adaptive moment estimation (estimación adaptativa de momentos). El artículo dice que combina las ventajas de AdaGrad y RMSProp. Según una nota al pie, ambos autores contribuyeron por igual y decidieron el orden de los nombres lanzando una moneda durante una videollamada. En el diagrama, β₁ y β₂ son 0.9 y 0.999.
Fuentes originales y grado de certeza (1)Descender por un valle estrecho
22 de diciembre de 2014Verificado en la fuente original
Adam: un método de entrenamiento que ajusta automáticamente el tamaño de actualización de cada peso (2014)
Adam es un método de optimización que mejora el descenso del gradiente, que actualiza poco a poco los pesos en la dirección que reduce el error respecto a la respuesta correcta. Para cada peso registra la media móvil del gradiente, que indica hacia dónde y cuánto cambiar (primer momento), y la media móvil del gradiente al cuadrado (segundo momento). Actualiza el peso en una cantidad basada en dividir la primera media por la raíz cuadrada de la segunda. Así, los pesos con gradientes constantemente grandes reciben cambios menores y los de gradientes pequeños reciben cambios mayores; las actualizaciones quedan limitadas aproximadamente a un tamaño fijo de paso. Como las medias móviles parten de 0, incluye una corrección del sesgo que al principio acerca los valores a 0. El nombre viene de adaptive moment estimation, estimación adaptativa de momentos. El artículo explica que combina las ventajas de AdaGrad, eficaz con gradientes dispersos, y RMSProp, eficaz con problemas que cambian con el tiempo. Como fuente de RMSProp cita la lección 6.5 del curso en línea de Hinton y colaboradores en Coursera. Una nota al pie dice que los 2 autores contribuyeron por igual y decidieron el orden de sus nombres lanzando una moneda durante una videollamada en Google Hangout.
Lo que suele decirse:Suele pensarse que “Adam es un método cuya convergencia, es decir, llegada a la respuesta óptima, está demostrada” (el artículo de 2014 dice que analizó las propiedades teóricas de su convergencia) Según la fuente original:Un artículo de ICLR de 2018, de Reddi, Kale y Kumar, de Google, mostró claramente ejemplos en los que Adam no converge a la solución óptima incluso en problemas simples de optimización convexa y señaló problemas concretos del análisis original. Es un caso de un método muy difundido cuya demostración teórica presentó problemas detectados después.
Lo que aún no se sabe:No se ha comprobado en qué versión entre v1 y v9 cambió la elección de β: solo se consultaron esas 2 versiones. Tampoco se ha consultado la propia lección original de RMSProp, la 6.5 de Coursera.
Qué muestra la figura:En un valle largo y estrecho, descender con el mismo tamaño de paso hace que se avance demasiado en la dirección más inclinada y se forme un zigzag. Adam cambia el tamaño del paso según la dirección y avanza directamente hacia el fondo.
Error en cada paso (azul oscuro=descenso de gradiente; violeta=Adam. La escala vertical aumenta por factores de 10)
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_adam_valley.py
112015 · Atajos
Atajos que saltan capas
¿Una red se vuelve más inteligente si se añaden más capas?
Kaiming He y sus colegas de Microsoft Research mostraron que, al limitarse a apilar capas, una red de 56 capas tenía una tasa de error mayor que una de 20, incluso con los datos de entrenamiento. Por eso introdujeron repetidamente un atajo que suma directamente el valor de entrada a la salida de un grupo de capas (ResNet). Pudieron llegar a 152 capas y obtener el primer puesto en el concurso de imágenes de 2015 (tasa de error de 3.57%).
Ese mismo año, 2015, U-Net, de Olaf Ronneberger y sus colegas de la Universidad de Friburgo, usó una estructura en U que comprime para captar el conjunto y luego vuelve a expandir. Sus atajos copian y conectan las características detalladas anteriores a la compresión. Se creó para segmentar imágenes de microscopio en regiones. El diagrama de la derecha permite alternar los 2 tipos de atajos.
ResNet: salida=F(x)+x U-Net: entrada de la etapa de expansión= [lo expandido desde abajo, copia de la etapa del mismo tamaño]
x
valor que entra en el grupo de capas
F(x)
resto (residuo) que aprende el grupo de capas
Lo que se cree saberLo que suele decirse:ResNet fue el primero en usar conexiones que saltan capas Según la fuente original:El propio artículo dice que los atajos se habían estudiado durante mucho tiempo y cita las highway networks de la misma época (mayo de 2015, cientos de capas con atajos que tienen puertas). La diferencia de ResNet es un atajo sin puerta que transmite el valor sin cambiarlo.
Por qué facilita el aprendizaje
El artículo plantea como hipótesis que la forma residual es más fácil de aprender. La manera en que el diagrama muestra el regreso de la señal es una forma de interpretar el mecanismo, no la explicación del artículo. Las imágenes del diagrama también están hechas a mano y no aprenden.
U-Net después: Ganó por un amplio margen un concurso de imágenes de células de 2015. Más tarde también se usó como estructura de IA que genera imágenes (modelos de difusión latente de 2021), pero se creó para imágenes médicas y biológicas con solo unas pocas decenas de imágenes con respuestas correctas.
Fuentes originales y grado de certeza (2)Atajos que saltan capas
10 de diciembre de 2015Verificado en la fuente original
ResNet (red residual): conexiones que saltan capas permiten llegar a 152 capas de profundidad (2015)
ResNet es una red neuronal que incorpora repetidamente conexiones de salto (shortcut connection): a la salida de varias capas se suma, sin modificar, el valor de entrada anterior a esas capas. El bloque de capas no necesita aprender la transformación objetivo H(x) completa, sino su diferencia respecto de la entrada, F(x) = H(x) − x (el residuo); la salida es F(x) + x. Como la conexión de salto solo transmite el valor sin modificarlo, no aumenta el número de pesos ni la cantidad de cálculo. Kaiming He y sus colaboradores de Microsoft Research mostraron que, en una red de capas simplemente apiladas, 56 capas producían más errores que 20 incluso en los datos de entrenamiento (una degradación por la dificultad de aprender, no por sobreajuste; el artículo la llama degradation). La forma residual resolvió este problema y permitió llegar a 152 capas en ImageNet, 8 veces la profundidad de la anterior VGG. Una combinación de redes alcanzó una tasa de error del 3.57% y el primer puesto en clasificación de imágenes en ILSVRC 2015. También se estudiaron redes de 100 y 1,000 capas con CIFAR-10, un conjunto de imágenes pequeñas.
Lo que suele decirse:Se suele decir que “ResNet fue la primera en utilizar conexiones que saltan capas” Según la fuente original:El propio artículo de ResNet señala que las conexiones de atajo se habían investigado durante mucho tiempo, por ejemplo añadiendo a un perceptrón multicapa una capa que conecta directamente la entrada con la salida, y cita las highway networks como un trabajo de la misma época. El artículo de highway networks, de mayo de 2015, de Srivastava, Greff y Schmidhuber, del IDSIA de Suiza, afirma que las conexiones con compuertas permiten entrenar redes de cientos de capas y que esas compuertas se inspiraron en LSTM. El artículo de ResNet destaca como diferencia que sus conexiones no tienen compuertas, transmiten los valores sin modificarlos y dejan pasar siempre toda la información. Tampoco se cumple necesariamente que “cuantas más capas, mejor”: el punto de partida de ResNet fue que una red común de 56 capas rindió peor que una de 20.
Lo que aún no se sabe:El artículo presenta como hipótesis (hypothesize) la explicación de por qué la forma residual facilita el entrenamiento. Las explicaciones posteriores todavía no se han comprobado en sus fuentes originales.
Highway Networks (arXiv:1505.00387v1) (Rupesh Kumar Srivastava, Klaus Greff, Jürgen Schmidhuber · 2015 · p.1 Abstract y 1. Introduction · Fuente original)
18 de mayo de 2015Verificado en la fuente original
U-Net: una red en forma de U creada para segmentar imágenes microscópicas (2015)
U-Net es una red neuronal para la segmentación de imágenes: clasifica lo que aparece en cada píxel. En la primera mitad, la ruta de contracción (contracting path) repite convoluciones y reducciones de tamaño para captar un contexto amplio. En la segunda, la ruta de expansión (expanding path) aumenta el tamaño repetidamente hasta recuperar el original. Las características de la primera mitad que conservan detalles se copian y conectan a las capas del mismo tamaño de la segunda, lo que permite localizar los objetos con precisión. Las dos mitades son casi simétricas y forman una U. Ronneberger, Fischer y Brox, de la Universidad de Friburgo, Alemania, presentaron esta red junto con un método para ampliar los datos de entrenamiento deformando un pequeño número de imágenes (deformación elástica), porque en medicina y biología no se podían preparar miles de imágenes con respuestas correctas. En el concurso ISBI de seguimiento celular de 2015, ganó por un amplio margen: con 35 imágenes parcialmente anotadas alcanzó un promedio de superposición con la respuesta correcta (IOU) del 92% (el segundo puesto logró el 83%); con 20 imágenes alcanzó el 77.5% (el segundo, el 46%). Segmentar una imagen de 512×512 llevaba menos de 1 segundo en una GPU de aquella época.
Lo que suele decirse:Se suele pensar que “U-Net es un componente de la IA que crea imágenes, los modelos de difusión” Según la fuente original:Originalmente fue una red neuronal presentada en 2015 para segmentar imágenes microscópicas médicas y biológicas. Su título también dice Biomedical Image Segmentation (segmentación de imágenes biomédicas), y partió de una situación en la que solo había unas decenas de imágenes anotadas. El artículo de 2021 sobre modelos de difusión latente, que después dio origen a Stable Diffusion, utiliza como estructura de la red una UNet con información temporal y cita el artículo de 2015. El propio artículo de U-Net también explica que se basa en la fully convolutional network de 2015 (red formada íntegramente por capas de convolución) y mejora las debilidades de la red de Ciresan y colaboradores que ganó el concurso ISBI de 2012: la lentitud y el compromiso entre precisión de localización y contexto.
Lo que aún no se sabe:Todavía no se han comprobado cifras sobre la extensión del uso de U-Net en la investigación de imágenes médicas.
Qué muestra la figura:Apilar capas sin más hizo que las redes más profundas tuvieran incluso más errores de entrenamiento, pero añadir un atajo que suma directamente el valor de entrada permitió llegar a 152 capas. U-Net recupera las formas detalladas mediante atajos que copian y transmiten los rasgos finos anteriores a la reducción.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_resnet_shortcut.py
122014–2016 · El umbral humano
¿A qué humano se superó?
Cuando se dice que la IA superó a los humanos, ¿con quiénes se comparó?
La tasa de error del primer puesto del concurso de reconocimiento de imágenes (1000 categorías, hasta 5 respuestas permitidas) bajó del 28.2% en 2010 al 2.3% en 2017 (a la derecha, cifras oficiales). En febrero de 2015, Kaiming He y sus colegas de Microsoft Research alcanzaron un 4.94% y escribieron que el resultado (traducción).
Ese 5.1% era el resultado de 1 de las 2 personas evaluadas por los organizadores (practicó con 500 imágenes e identificó 1500). La otra persona, que solo practicó con 100 imágenes, tuvo un 12.0% en 258 imágenes. Al cambiar el “Umbral humano” de la derecha, cambia el año en que se superó.
También en el reconocimiento de voz conversacional de 2016, la tasa de error humana variaba según el método de medición: 4%, 5.9% y 5.1%. El umbral del 30% del evento anunciado en 2014 como (traducción) también lo fijaron sus organizadores.
Lo que se cree saberLo que suele decirse:En 2015, la IA de reconocimiento de imágenes superó a los humanos Según la fuente original:El 5.1% con el que se comparó era el resultado de 1 persona; la otra obtuvo un 12.0%. El propio artículo que afirmó la superación también dice que el resultado (traducción).
Escuchar conversaciones (2016–2017)
Los investigadores de Microsoft alcanzaron un 5.9%, igual al 5.9% de los profesionales de la transcripción, y escribieron que era (traducción). El 4% citado con frecuencia estaba (traducción). Los investigadores de IBM (también participó como coautor un miembro del laboratorio de Tokio) volvieron a medir a los humanos con un método en el que 3 personas transcribían por separado y una cuarta comprobaba las transcripciones. El mejor resultado humano fue 5.1%. Sobre su propio 5.5%, escribieron (traducción).
La prueba de Turing: Los 5 minutos y el 70% del artículo de Turing de 1950 eran una previsión para unos 50 años después, no un umbral fijado para aprobar (más detalles en el capítulo 2).
Fuentes originales y grado de certeza (5)¿A qué humano se superó?
2010–2017Verificado en la fuente originalLas fuentes discrepan
En el concurso de reconocimiento de imágenes, la tasa de del primer puesto baja del 28% al 2% en 8 años. “Los humanos: 5.1%” es la medición de una sola persona
En un concurso para identificar 1,000 tipos de objetos en imágenes, con un máximo de 5 respuestas, el error del primer puesto disminuyó así: 2010, 28.2%; 2011, 25.8%; 2012, 15.3% (16.4% usando solo los datos proporcionados); 2013, 11.7% (11.2% incluyendo datos externos); 2014, 6.7%; 2015, 3.6%; 2016, 3.0%; y 2017, 2.3%. Los organizadores también midieron el error humano con 2 personas, A1 y A2. A1 practicó con 500 imágenes y obtuvo un 5.1% en 1,500; A2 practicó solo con 100 y obtuvo un 12.0% en 258.
Lo que suele decirse:Se suele decir que “en 2015, la IA superó a los humanos en reconocimiento de imágenes (error humano del 5.1%)” Según la fuente original:Ese 5.1% corresponde a una de las 2 personas experimentadas que probaron los organizadores (A1), al identificar 1,500 imágenes después de practicar con 500. La otra, que solo practicó con 100, obtuvo un 12.0%. Los propios investigadores que informaron de haber superado a los humanos (Microsoft, 2015) también escribieron que (traducción).
4 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:El criterio para determinar el “primer puesto” varía según el año. En 2012 y 2013 hubo resultados con y sin datos externos, y la tabla del artículo de los organizadores utiliza solo los datos proporcionados (16.4 y 11.7). Los sitios de 2010 y 2011 publicaban el error bajo el nombre “flat cost”, con el mismo sistema de hasta 5 respuestas.
6 de febrero de 2015Verificado en la fuente original
“En 2015, la IA que reconoce imágenes superó a los humanos”: ¿quién era ese ?
En febrero de 2015, Kaiming He y colaboradores, de Microsoft Research, lograron una tasa de error del 4.94% con datos de la competencia de imágenes ImageNet. Es la proporción de casos en los que la respuesta correcta no aparece entre 5 opciones. El artículo anunció que (traducción). En diciembre del mismo año, combinaron redes neuronales profundas de 152 capas, ResNet, y lograron un 3.57% de error, obteniendo el primer puesto de la competencia de 2015.
Lo que suele decirse:Suele decirse que “en 2015 el reconocimiento de imágenes de la IA superó al humano” Según la fuente original:El usado para comparar era el resultado de un único anotador experto que practicó con 500 imágenes y evaluó 1,500 mediante una interfaz especializada. Otro anotador, que practicó con 100, obtuvo aproximadamente un 12.0% de error en 258 imágenes. El propio artículo que dice (traducción) también aclara que es un resultado para esos datos y que no significa que la visión de las máquinas supere en general a la humana al distinguir objetos.
Lo que aún no se sabe:El varía mucho según quién practique, cómo lo haga y cuántas imágenes se evalúen: incluso las 2 personas del mismo artículo obtuvieron 5.1% y 12.0%. Muchas cifras que comparan humanos e IA presentan este mismo problema.
13 de octubre de 2012Verificado en la fuente originalLas fuentes discrepan
En la competencia de reconocimiento de imágenes ILSVRC 2012, la red convolucional profunda de la Universidad de Toronto (SuperVision) gana con gran ventaja; el equipo de la Universidad de Tokio queda segundo
En una competencia para identificar 1,000 clases de objetos en fotografías, el equipo “SuperVision” de Krizhevsky, Sutskever y Hinton redujo la tasa de error al 15.3% bajo la regla que permite dar hasta 5 respuestas (16.4% usando solo los datos proporcionados por la competencia). El segundo equipo, ISI de la Universidad de Tokio, tuvo un 26.2%: una diferencia de unos 11 puntos. Entrenaron una red neuronal de 8 capas y 60 millones de parámetros con 2 GPU para videojuegos, chips de procesamiento de imágenes de NVIDIA. En un artículo posterior, los organizadores escribieron sobre ese año: (traducción).
Lo que suele decirse:Suele decirse que “el aprendizaje profundo nació de repente en 2012” Según la fuente original:El sistema ganador amplió a gran escala las de LeCun y colaboradores de 1989, cuyo origen fue el neocognitrón de Fukushima de 1979, y las entrenó con GPU. El propio artículo dice (traducción), precedido por la observación de que todos los experimentos lo sugieren. También suele pensarse que “lo de 2012 fue una historia occidental”, pero el segundo equipo era de la Universidad de Tokio.
4 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Duración del entrenamiento: la descripción del equipo en la página de la competencia dice “aproximadamente una semana”; el artículo, “5–6 días”. Hay 2 cifras para el primer puesto: 15.3% con datos adicionales y 16.4% usando solo los datos proporcionados. La tabla del artículo de los organizadores usa 16.4.
17 de octubre de 2016–2017Verificado en la fuente originalLas fuentes discrepan
“En 2016, la IA alcanzó el nivel humano al transcribir conversaciones”: ¿quién midió los errores de ese y cómo?
En octubre de 2016, investigadores de Microsoft midieron los errores de transcriptores profesionales (tasa de error por palabra) en pruebas de transcripción de conversaciones telefónicas, Switchboard y CallHome. Obtuvieron el 5.9% y el 11.3%, mientras que su IA alcanzó el 5.9% y el 11.1%, y anunciaron (traducción). El artículo también señala que (traducción), pero que el origen de esa cifra era poco claro, (traducción). En marzo de 2017, investigadores de IBM, incluidos coautores del laboratorio de Tokio, volvieron a medir los errores humanos. Tres transcriptores trabajaron por separado y una cuarta persona verificó sus textos. El mejor resultado fue del 5.1% (6.8% en CallHome), y sobre su propia IA, que logró el 5.5%, escribieron (traducción).
Lo que suele decirse:Se suele decir que “en 2016 la IA igualó a las personas al transcribir conversaciones” Según la fuente original:El valor medido para el cambia entre 4%, 5.9% y 5.1%, según a quién se mida y cómo. El artículo de Microsoft comparó su IA con transcriptores profesionales (5.9%); IBM volvió a medir cuidadosamente el rendimiento humano (5.1%) y afirmó que (traducción). Además, muchos hablantes de los datos de prueba también estaban en los datos de entrenamiento (IBM). Igual que con el (traducción) en ImageNet (registro → En 2015, la IA que reconoce imágenes su…), alcanzar un depende de cómo se defina la medida.
Lo que aún no se sabe:No hay un método fijo para medir la tasa de error humana que define el : a quién se mide, cuántas veces y cómo se comprueba. El artículo de IBM señala que los errores humanos podrían ser bastante menores de lo que se creía.
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Tasa de error humana: 4% (origen poco claro, (traducción), según el artículo de Microsoft); 5.9% (transcriptores profesionales contratados por Microsoft); 5.1% (mejor resultado con el método de IBM de 3 transcriptores más 1 persona de verificación). En CallHome, 11.3% en Microsoft y 6.8% en IBM.
7 de junio de 2014Verificado en la fuente original
(traducción) (2014): ¿de dónde salió el criterio para aprobar?
En junio de 2014, la Universidad de Reading anunció que el programa de conversación “superó la prueba por primera vez” (traducción) en la prueba de Turing, en un evento celebrado en la Royal Society de Londres. La prueba consiste en conversar solo mediante texto en una pantalla y distinguir si el interlocutor es humano o una máquina. El programa imitaba a un chico de 13 años. El criterio de la universidad era “confundido con un ser humano en más del 30% de los casos … conversaciones de cinco minutos mediante teclado” (traducción). Según su anuncio, Eugene hizo que el 33% de 30 jueces lo considerara humano.
Lo que suele decirse:Se dice que “engañar al 30% de las personas permite aprobar la prueba de Turing” Según la fuente original:En el artículo de Turing de 1950, (traducción) y “70%” (traducción) eran parte de una predicción sobre el rendimiento unos 50 años después, hacia 2000. No los fijó como criterio para aprobar. “confundido con un ser humano en más del 30% de los casos … supera la prueba” (traducción) fue una regla establecida por los organizadores del evento de 2014.
Lo que aún no se sabe:Todavía no hay una respuesta establecida sobre cómo determinar si son . El propio Turing escribió en el mismo párrafo que la pregunta original “¿Pueden pensar las máquinas?” (traducción) era demasiado carente de significado como para merecer discusión.
Qué muestra la figura:El valor humano en la afirmación de haber superado a los seres humanos cambia mucho según quién participe, cómo se le prepare y cuántas imágenes se usen para medirlo. Cambiar solo la línea del rendimiento humano desplaza 2 años la fecha en que se lo supera.
132015 · Generación de imágenes
Dos maneras de crear imágenes
¿Cómo se crea una imagen con una red ya entrenada?
En agosto de 2015, la transferencia de estilo de Leon Gatys y sus colegas de la Universidad de Tubinga y otras instituciones mantiene fija la red entrenada y modifica los píxeles de la imagen. Usa las respuestas de las capas profundas como contenido y una tabla que indica qué características aparecen juntas con fuerza (matriz de Gram) como estilo, y reduce las diferencias en ambos. La “Transferencia de estilo” de la derecha es una versión mínima que solo usa filtros pequeños (un ejemplo creado para este sitio).
En marzo del mismo año, el modelo de difusión de Jascha Sohl-Dickstein y sus colegas de la Universidad de Stanford añade ruido repetidamente para destruir los datos y hace que una red aprenda un paso en sentido inverso. Al repetir los pasos inversos desde el ruido, se obtienen datos nuevos. En “Modelo de difusión” se puede destruir una espiral y reconstruirla.
transferencia de estilo: diferencia=α × (diferencia de contenido)+β × (diferencia de la matriz de Gram) un paso de difusión: x ← √(1−βt)·x+ √βt·ε
α, β
pesos de las 2 diferencias
βt
cantidad de ruido en el paso t
ε
número aleatorio de media 0 y varianza 1
Lo que se cree saberLo que suele decirse:Los modelos de difusión son un método nuevo creado hacia 2022 (o con DDPM de 2020) Según la fuente original:La idea ya estaba en el artículo de 2015, que la describe como (traducción). El artículo de DDPM de 2020 escribió que, hasta entonces, (traducción), y lo demostró.
El sentido inverso del diagrama
En el método real, una red aprende un paso en sentido inverso. El diagrama lo calcula directamente a partir del conjunto de puntos originales (un atajo que omite el aprendizaje).
En Japón por entonces: 15 días después del artículo sobre transferencia de estilo, el 10 de septiembre de 2015, el Sr. Matsumoto, de Preferred Networks, publicó un programa de transferencia de estilo escrito en Chainer. En su entrada de blog (traducción) explicó sobre la red ya entrenada: (traducción).
Fuentes originales y grado de certeza (2)Dos maneras de crear imágenes
26 de agosto de 2015Verificado en la fuente original
Transferencia de estilo: mantener intacta una CNN ya entrenada y modificar la imagen para combinar el contenido de una foto con el estilo de una obra pictórica (Gatys y colaboradores, 2015)
En agosto de 2015, Leon Gatys, Alexander Ecker y Matthias Bethge, de la Universidad de Tubinga, Alemania, y otras instituciones, publicaron A Neural Algorithm of Artistic Style (, traducción). Es un método para crear imágenes que combinan el contenido de una fotografía (qué hay y dónde) con el estilo de una pintura (colores y pinceladas). Utiliza sin modificar una CNN ya entrenada para reconocer objetos (red neuronal convolucional: extrae características aplicando repetidamente pequeños filtros a una imagen; aquí, VGG de 19 capas). Las respuestas de las capas profundas representan el contenido de la fotografía. En varias capas se calcula la correlación entre características, es decir, si aparecen con fuerza juntas (matriz de Gram), para representar el estilo. Se parte de una imagen de ruido blanco y, mediante descenso por gradiente (cambiar poco a poco en la dirección que reduce el error), se ajustan los píxeles de la imagen, en vez de los pesos de la red, para reducir tanto el error del contenido como el del estilo. Las figuras del artículo muestran una fotografía de la ribera del Neckar en Tubinga con estilos como los de The Starry Night () de Van Gogh y Der Schrei () de Munch. En Japón, 15 días después, el 10 de septiembre de 2015, el Sr. Matsumoto, investigador de Preferred Networks (PFN), publicó un programa que implementaba el método con Chainer, una herramienta de aprendizaje profundo. Explicó el funcionamiento en japonés en el blog (画風を変換するアルゴリズム).
Lo que suele decirse:Es fácil pensar que la IA de transferencia de estilo aprende la manera de pintar de un artista entrenándose con muchas obras (esta percepción es una estimación de este sitio) Según la fuente original:El método del artículo utiliza sin modificar una red ya entrenada para reconocer objetos. Como dice el blog de PFN, (traducción). Lo que se actualiza es (traducción), y basta una sola pintura como fuente del estilo. Además, entre las afiliaciones de los autores hay institutos de neurociencia, como Centre for Integrative Neuroscience. Al final del resumen, el artículo dice que el método abre una vía para comprender mediante el cálculo (traducción).
12 de marzo de 2015–2020Verificado en la fuente original
Modelos de difusión: aprender a invertir un proceso que destruye los datos añadiendo ruido poco a poco para crear imágenes a partir de ruido (Sohl-Dickstein y colaboradores, 2015; Ho y colaboradores, 2020)
En marzo de 2015, Jascha Sohl-Dickstein y sus colaboradores de la Universidad de Stanford presentaron un método inspirado en la física estadística fuera del equilibrio (la física que estudia el movimiento de muchas partículas en estados sin equilibrio). El método aprende un proceso de difusión que destruye poco a poco la estructura de los datos y el proceso inverso que la restaura (la difusión es un movimiento de dispersión aleatoria, como el de la tinta que se extiende en el agua). En el proceso hacia adelante, se añade repetidamente una pequeña cantidad de ruido gaussiano (números aleatorios que siguen una distribución normal) a los datos hasta convertirlos por completo en ruido. Una red neuronal aprende a invertir cada paso, retirando un poco de ruido. Después del entrenamiento, puede generar nuevos datos repitiendo el proceso inverso a partir de ruido puro. El artículo de 2015 experimentó con una espiral bidimensional (Swiss roll), dígitos manuscritos y fotografías pequeñas (CIFAR-10). En junio de 2020, Jonathan Ho y sus colaboradores de la Universidad de California en Berkeley publicaron el artículo sobre DDPM (Denoising Diffusion Probabilistic Models). Utilizaron un proceso de 1,000 pasos y un método de entrenamiento que predice el propio ruido añadido en cada paso. En la generación de imágenes de CIFAR-10 sin especificar etiquetas, lograron un FID de 3.17, el mejor de entonces (una medida de la diferencia entre conjuntos de imágenes generadas y reales; cuanto menor, mejor).
Lo que suele decirse:Es fácil pensar que los modelos de difusión nacieron hacia 2022, con Stable Diffusion, o en 2020, con DDPM (esta percepción es una estimación de este sitio) Según la fuente original:La idea se remonta al artículo de 2015. Este la describe como (traducción), propone (traducción) y aprender (traducción). Cinco años después, el artículo de DDPM explicó que los modelos de difusión eran fáciles de construir y entrenar, pero que (traducción), y presentó como logro haber demostrado una generación de alta calidad. El artículo original de Stable Diffusion, de diciembre de 2021, también cita el artículo de 2015 como fundamento de los modelos de difusión.
Qué muestra la figura:La transferencia de estilo modifica los píxeles de la imagen, manteniendo la red sin cambios. Un modelo de difusión aprende a invertir 1 paso de deterioro por ruido y recupera formas desde una niebla de ruido.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_diffusion_roll.py
142014–2015 · Japón
Construir mientras se ejecuta
¿Hace falta decidir toda la estructura de una red antes de poder entrenarla?
En marzo de 2014, Toru Nishikawa y Daisuke Okanohara fundaron Preferred Networks (PFN). En junio de 2015, PFN publicó Chainer, una herramienta para escribir redes neuronales en Python y entrenarlas, de forma que cualquiera pudiera usarla.
Muchas herramientas anteriores (como Caffe) definían primero todo el recorrido del cálculo y después hacían pasar los datos (Define-and-Run en el artículo de Chainer). Chainer registra el recorrido en el momento en que calcula y lo recorre hacia atrás para obtener los gradientes (Define-by-Run). Incluso una red que maneja frases de distintas longitudes se puede escribir con instrucciones for e if habituales. A la derecha se puede pulsar “Avanzar 1 línea”.
El artículo de PyTorch de 2019 atribuye a Chainer y DyNet el papel pionero en esta forma de programar. En diciembre de 2019, PFN trasladó la base de su investigación y desarrollo a PyTorch.
Lo que se cree saberLo que suele decirse:La forma de construir mientras se ejecuta (Define-by-Run) nació con PyTorch en Estados Unidos Según la fuente original:El propio artículo de PyTorch de 2019 escribe que Chainer y DyNet fueron pioneros en este diseño. Sin embargo, también dice que el enfoque de Chainer sacrificaba velocidad.
PFN y Chainer después
En 2015, PFN estableció alianzas de capital con FANUC y Toyota Motor. Ponanza Chainer, segundo en el Campeonato Mundial de Shogi por Computadora de 2017, también lo usó. El 5 de diciembre de 2019, Chainer entró en la fase de mantenimiento con la versión publicada ese día.
Fuentes originales y grado de certeza (2)Construir mientras se ejecuta
5 de junio de 2015Verificado en la fuente originalJapón
Chainer, de la empresa japonesa Preferred Networks: Define-by-Run, construir la red mientras se ejecuta (2015)
Chainer es una herramienta (framework) desarrollada por Preferred Networks (PFN), una empresa de Tokio, y publicada en junio de 2015 como software de código abierto (que cualquiera puede utilizar). Permite escribir redes de aprendizaje profundo en Python y entrenarlas. Muchas herramientas anteriores, como Caffe, funcionaban en 2 etapas: primero se definía toda la estructura de la red (grafo de cálculo) y después se hacían pasar los datos para entrenarla. El artículo de Chainer llamó a este método Define-and-Run. Chainer, en cambio, registra la ruta de cálculo al hacer pasar los datos y realizar el cálculo hacia adelante, y luego la recorre al revés para calcular los gradientes. A esto lo llamó Define-by-Run. Así, incluso las redes cuya forma cambia con cada entrada, como las redes neuronales recurrentes que procesan frases de distinta longitud, pueden escribirse con bucles e instrucciones if comunes de Python y utilizar depuradores comunes (herramientas para encontrar errores en los programas). Se presentó como artículo en el taller de sistemas de aprendizaje automático de NIPS, en diciembre de 2015. El posterior artículo de PyTorch de 2019 señala que Chainer y DyNet fueron los pioneros de este método. El 5 de diciembre de 2019, PFN anunció que trasladaba su plataforma de investigación y desarrollo de Chainer a PyTorch, y que Chainer entraba en la etapa de mantenimiento con la v7 publicada ese día.
Lo que suele decirse:Se suele pensar que “PyTorch, de Estados Unidos, inició la forma de construir una red mientras se ejecuta (Define-by-Run)” Según la fuente original:El propio artículo de PyTorch de 2019 señala que Chainer y DyNet fueron los pioneros de este diseño. La documentación de PyTorch (README, versión v0.4.1) también menciona Chainer como una de sus fuentes de inspiración. El anuncio de PFN de 2019 explica que Define-by-Run se adoptó ampliamente como (traducción). Sin embargo, el artículo de PyTorch también indica que el enfoque de Chainer sacrificaba velocidad. Además, la propia PFN trasladó en 2019 su plataforma de investigación y desarrollo de Chainer a PyTorch.
Lo que aún no se sabe:No se ha comprobado cuál de las ideas, la de DyNet o la de Chainer, surgió primero ni si sus creadores conocían el trabajo de los otros. Tampoco se han comprobado cifras concretas sobre el uso de Chainer entre investigadores y empresas de Japón.
26 de marzo de 2014Verificado en la fuente originalJapón
Se funda la empresa japonesa de IA Preferred Networks (PFN) en 2014; en 2015 publica gratuitamente , una herramienta de aprendizaje profundo
El 26 de marzo de 2014, Toru Nishikawa y Daisuke Okanohara fundaron conjuntamente Preferred Networks. En junio de 2015 publicaron , una herramienta para crear IA de aprendizaje profundo, como software de código abierto que cualquiera podía usar. En 2015 establecieron alianzas de capital con FANUC y Toyota Motor. En el Campeonato Mundial de Shogi por Computadora de 2017, el programa “Ponanza Chainer”, que quedó segundo, utilizaba Chainer.
Qué muestra la figura:Chainer registra el recorrido de los cálculos a medida que se ejecuta un programa corriente y aprende siguiéndolo en sentido inverso. Por eso permite escribir el procesamiento de oraciones de distinta longitud directamente con un bucle for.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_tiny_autograd.py
152006–2017 · Go
Simulaciones y 2 redes
¿Cómo se eligen las jugadas en el go, donde es difícil asignar una puntuación a las posiciones?
En el go hay muchas jugadas posibles y es difícil puntuar una posición. En 2006, la búsqueda de árboles de Montecarlo del francés Coulom comparaba las jugadas según el porcentaje de victorias al jugar muchas veces al azar hasta el final y exploraba más profundamente las ramas prometedoras (UCT, que decide cuánto probar cada jugada, es del mismo año). A la derecha hay un ejemplo con cuatro en raya. Se puede pulsar una columna para jugar contra el sistema.
AlphaGo, de DeepMind, añadió una red que elige jugadas y otra que evalúa posiciones. En octubre de 2015 ganó 5 partidas y perdió 0 contra Fan Hui, 2 dan. El artículo escribió que vencer a un profesional sin ventaja de piedras (traducción). En marzo de 2016 ganó 4 partidas y perdió 1 contra Lee Sedol, 9 dan. En octubre de 2017, AlphaGo Zero aprendió solo mediante partidas contra sí mismo y, tras 72 horas, ganó las 100 de 100 partidas contra la versión que había vencido a Lee Sedol.
puntuación UCT=proporción de victorias+C √( ln N ÷ n )
N
número total de veces que se probó esa posición
n
número de veces que se probó esa jugada
C
grado de exploración de jugadas poco probadas
Lo que se cree saberLo que suele decirse:AlphaGo se hizo fuerte aprendiendo por su cuenta Según la fuente original:Incluso la versión que venció a Lee Sedol en 2016 aprendió primero de 160,000 partidas humanas como ejemplos y después mejoró jugando contra sí misma. La primera versión que no usó partidas humanas fue AlphaGo Zero, de octubre de 2017. Incluso Zero recibió de las personas las reglas y el diseño que trata el tablero como una imagen de 19×19.
Después
En enero de 2017, Master, con su identidad oculta, ganó 60 partidas seguidas contra profesionales de primer nivel en internet. En mayo ganó 3 partidas y perdió 0 contra Ke Jie, 9 dan, número 1 del mundo. AlphaGo se retiró de la competición. En diciembre, AlphaZero aprendió go, ajedrez y shogi solo a partir de las reglas. En 100 partidas contra elmo, el programa ganador del campeonato mundial de shogi por computadora, obtuvo 90 victorias, 8 derrotas y 2 empates (1 minuto por jugada). El artículo describe el juego como (traducción).
La IA de juegos después: En enero de 2019, AlphaStar, de DeepMind, venció a profesionales en StarCraft II, pero entonces podía leer directamente las unidades visibles de todo el mapa, sin desplazar la pantalla como una persona. En abril de 2019, OpenAI Five venció al equipo campeón mundial en Dota 2, un juego de enfrentamiento por equipos.
Fuentes originales y grado de certeza (10)Simulaciones y 2 redes
2006Verificado en la fuente originalLas fuentes discrepan
Los 2 artículos que dieron origen a la , que fortaleció los programas de go
En go hay muchas jugadas posibles en cada posición y es difícil evaluar las posiciones. Por eso, los métodos de búsqueda como los del ajedrez no producían programas fuertes. En 2006, un artículo del francés Rémi Coulom presentó un nuevo método, la búsqueda en árbol de Monte Carlo (MCTS). Consiste en jugar al azar repetidamente desde una posición hasta el final (Monte Carlo), comparar las jugadas por su proporción de victorias y explorar más profundamente las ramas prometedoras. Coulom ganó un torneo de go por computadora (KGS) con Crazy Stone, su programa para tableros de 9×9. Ese mismo año, Levente Kocsis y Csaba Szepesvári, de Hungría, propusieron UCT, un método para decidir cuánto explorar cada rama. Diez años después, el artículo de AlphaGo (2016) citó ambos trabajos como referencias de MCTS y combinó MCTS con 2 redes neuronales (predicción de la siguiente jugada y evaluación de la posición).
3 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Número de edición de la conferencia del artículo de Kocsis y Szepesvári: la bibliografía de AlphaGo indica “15th European Conference on Machine Learning”. En cambio, el registro de Springer describe ECML 2006 como la 17.ª edición (solo se comprobó en resultados de búsqueda; no se abrió la fuente original). No se ha resuelto cuál es correcto.
5 de octubre de 2015Verificado en la fuente original
AlphaGo, la IA de go, logra su primera victoria sin hándicap contra un jugador profesional (5 victorias y 0 derrotas frente a Fan Hui)
AlphaGo, la IA de go desarrollada por DeepMind, de Londres, Reino Unido, disputó un encuentro de 5 partidas sin hándicap (piedras de ventaja) contra el campeón europeo Fan Hui, profesional de 2.º dan, y ganó por 5 victorias a 0. El artículo afirma que fue la (traducción) y que (traducción). El resultado se hizo público unos 3 meses y medio después, en enero de 2016, en un artículo de la revista científica Nature.
Lo que suele decirse:Se suele decir que “AlphaGo se hizo fuerte por sí solo” Según la fuente original:En este artículo, primero aprendió a imitar las jugadas humanas con 160,000 partidas (unos 29.4 millones de posiciones) de jugadores de 6.º a 9.º dan del servidor de go KGS, y después mejoró mediante partidas contra sí mismo (páginas 8 y 2 del PDF). La versión que no utiliza registros de partidas humanas es AlphaGo Zero, de 2017 (véase → ¿Es cierto que AlphaGo aprendió solo y …).
9 de marzo de 2016Verificado en la fuente original
AlphaGo vence por 4 victorias a 1 a Lee Sedol, uno de los mejores jugadores del mundo, en Seúl
En marzo de 2016, en Seúl, Corea del Sur, AlphaGo y Lee Sedol, 9.º dan y ganador de 18 títulos mundiales, disputaron un encuentro de 5 partidas sin hándicap. AlphaGo ganó por 4 victorias a 1. Lee Sedol ganó la cuarta partida a partir de una jugada inesperada, la número 78. DeepMind anunció que donaría el premio de 1 millón de dólares a organizaciones de educación y go y a UNICEF.
Lo que suele decirse:Se suele decir que “AlphaGo mejoró solo, sin aprender de personas” Según la fuente original:La versión que se enfrentó a Lee Sedol, AlphaGo Lee, también tenía casi el mismo mecanismo que la de 2015 y comenzó aprendiendo a imitar partidas humanas (página 21 del PDF del artículo de 2017; artículo de DeepMind del 2017-10-18: (traducción)). La versión que prescindió de registros de partidas humanas fue AlphaGo Zero, de 2017 (→ ¿Es cierto que AlphaGo aprendió solo y …).
What we learned in Seoul with AlphaGo (Demis Hassabis (blog oficial de Google) · 2016 · Texto (The final score was 4-1; move 78 de Game 4) · Fuente original)
27 de enero de 2016–2017Verificado en la fuente originalLas fuentes discrepan
¿Es cierto que “AlphaGo aprendió solo y así se hizo fuerte”?
A menudo se dice que “AlphaGo mejoró jugando contra sí mismo”. Sin embargo, según los artículos originales, las versiones de AlphaGo que jugaron contra personas entre 2015 y mayo de 2017, las de los encuentros con Fan Hui y Lee Sedol y Master, primero aprendieron a imitar dónde jugaría una persona usando partidas humanas como ejemplos. Mejoraron mediante partidas contra sí mismas después de ese aprendizaje. La primera versión que aprendió sin utilizar una sola partida humana fue AlphaGo Zero, presentada en octubre de 2017.
Lo que suele decirse:Se suele decir que “AlphaGo mejoró jugando contra sí mismo, sin aprender de personas” Según la fuente original:En el artículo de 2016, primero aprendió con 160,000 partidas humanas como ejemplos y después mejoró jugando contra sí mismo. La versión que prescindió de partidas humanas fue AlphaGo Zero, de 2017.
3 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:El número de partidas utilizadas como ejemplos varía entre fuentes. El artículo de 2016 indica 160,000 partidas de jugadores de 6.º a 9.º dan de KGS, un servidor de go, y unos 29.4 millones de posiciones (unos 30 millones en el texto principal). El blog de DeepMind y su página de presentación actual dicen “miles de partidas (thousands of)”, y el blog indica “partidas de aficionados y profesionales”.
19 de octubre de 2017Verificado en la fuente original
“AlphaGo Zero” aprende solo jugando contra sí mismo, sin registros de partidas humanas
En octubre de 2017, DeepMind presentó “AlphaGo Zero”. Sin usar datos de partidas humanas, aprende jugando repetidamente contra sí mismo tras recibir solo las reglas del go. A las 72 horas de comenzar el entrenamiento, ganó las 100 partidas que jugó contra la versión que había vencido a Lee Sedol. Tras unos 40 días de entrenamiento, también ganó 89 de 100 partidas contra Master, que había logrado 60 victorias consecutivas.
La afirmación “AlphaGo aprendió por sí solo” se cumple por primera vez con esta versión Zero de 2017. Todas las versiones de AlphaGo que participaron en encuentros desde 2015 hasta mayo de 2017 (Fan, Lee y Master) comenzaron a aprender con datos de partidas humanas (→ ¿Es cierto que AlphaGo aprendió solo y …).
Lo que aún no se sabe:Aunque Zero se describe como (traducción), los humanos le proporcionaron las reglas (dónde se puede jugar y cómo se determina una victoria o una derrota) y la estructura que trata el tablero como una imagen de 19×19 (sección Domain Knowledge, página 22 del PDF del artículo).
5 de diciembre de 2017Verificado en la fuente original
“AlphaZero” aprende go, ajedrez y shogi con un solo sistema. Gana 90 de 100 partidas contra elmo, el programa campeón mundial de shogi
En diciembre de 2017, DeepMind presentó “AlphaZero”, que amplía el método de AlphaGo Zero. Recibe solo las reglas y aprende go, ajedrez y shogi exclusivamente jugando contra sí mismo. En shogi, disputó 100 partidas contra “elmo” (creado por Makoto Takizawa), el programa que había ganado ese año el Campeonato Mundial de Shogi por Computadora (organizado en Kawasaki por la Asociación de Shogi por Computadora). Obtuvo 90 victorias, 8 derrotas y 2 empates (con 1 minuto por jugada). El artículo describe el shogi como (traducción).
enero de 2017Verificado en la fuente originalLas fuentes discrepan
AlphaGo , que ocultó su identidad, gana 60 partidas consecutivas en línea contra profesionales de primer nivel
En enero de 2017, un jugador que apareció con el nombre en sitios de partidas de go en línea logró 60 victorias y 0 derrotas frente a los mejores jugadores del mundo. DeepMind reveló en un artículo y en su blog que era una versión de AlphaGo, AlphaGo Master. Eran partidas informales por internet, no encuentros oficiales (explicación de DeepMind).
Master también comenzó a aprender con datos de partidas humanas (página 22 del PDF del artículo: (traducción)).
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Las fechas difieren entre registros. El artículo indica “enero de 2017”, mientras que el resumen de AlphaGo en Wikipedia en inglés dice finales de diciembre de 2016 y comienzos de enero de 2017. No se ha elegido una de las versiones.
AlphaGo's next move (Demis Hassabis y David Silver (blog de DeepMind) · 2017 · Tercer párrafo del texto (unofficial online games … Magiste… · Fuente original)
23 de mayo de 2017Verificado en la fuente original
AlphaGo vence al número 1 del mundo, Ke Jie, por 3 victorias a 0 y se retira de las competiciones
En mayo de 2017, en la , celebrada en Wuzhen, China, AlphaGo disputó un encuentro de 3 partidas contra Ke Jie, 9.º dan y entonces número 1 del mundo, y ganó por 3 victorias a 0. También se jugaron partidas formando pareja con personas y contra un equipo de 5 profesionales chinos. DeepMind anunció que serían los últimos encuentros de AlphaGo y que trasladaría su investigación del go a otros problemas.
AlphaGo's next move (Demis Hassabis y David Silver (blog de DeepMind) · 2017 · Cuarto párrafo del texto (the Future of Go Summit is our fi… · Fuente original)
24 de enero de 2019Verificado en la fuente original
AlphaStar de DeepMind vence a profesionales en el juego de estrategia (2019), aunque al principio veía todo el mapa sin mover la pantalla
En enero de 2019, DeepMind presentó “AlphaStar”, una IA que juega al juego de estrategia en tiempo real . En el encuentro de prueba del 19 de diciembre de 2018, venció al profesional MaNa por 5 a 0; antes también había vencido a TLO. Según el blog oficial, el AlphaStar de esos encuentros jugaba captando directamente las unidades visibles de todo el mapa sin mover la pantalla (cámara) como una persona. Se creó también una versión que movía la pantalla como los humanos, pero el prototipo, entrenado durante solo 7 días, perdió contra MaNa en un encuentro público.
Lo que suele decirse:“La IA venció a profesionales en StarCraft (enero de 2019)” Según la fuente original:La propia DeepMind escribió que el AlphaStar de entonces jugaba captando directamente las unidades visibles de todo el mapa sin mover la pantalla. El prototipo que movía la pantalla como los humanos (entrenado durante 7 días) perdió contra un profesional en un encuentro público. Este sitio no ha comprobado el texto principal del artículo posterior de Nature (octubre de 2019).
13 de abril de 2019Verificado en la fuente original
OpenAI Five vence al equipo campeón mundial en el juego de equipos (2019)
El 13 de abril de 2019, la IA de OpenAI “OpenAI Five” venció al equipo campeón mundial OG en , un juego de equipos. Cada uno de los 5 personajes (héroes) del equipo es controlado por una red con la misma estructura. El artículo informa de que el entrenamiento mediante aprendizaje por refuerzo y partidas contra sí misma se prolongó durante 10 meses con cálculo a gran escala.
Qué muestra la figura:Aunque no se pueda puntuar una posición, jugar muchas veces al azar desde ella hasta el final y comparar las jugadas por su proporción de victorias permite elegir jugadas fuertes. Cuantos más intentos se hacen, más fuerte se vuelve el sistema.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_mcts_connect4.py
162007–2017 · Japón
Diez años que invirtieron las fuerzas
¿Cuándo se invirtió la diferencia de nivel entre los profesionales y los programas?
En shogi, Kunihito Hoki, investigador de química, publicó Bonanza en 2005. Hizo que la máquina aprendiera los pesos de una función de evaluación (una fórmula que puntúa lo buena o mala que es una posición) para elegir las mismas jugadas que en los registros de partidas profesionales. Justo después de que Akira Watanabe, titular del Ryuo, venciera a Bonanza en marzo de 2007, el investigador Hitoshi Matsubara escribió que ganar más de lo que se pierde contra los mejores profesionales (traducción).
Cada cuadrado de la derecha representa 1 partida pública. En octubre de 2015, la Sociedad de Procesamiento de la Información de Japón cerró su proyecto de shogi con la declaración (traducción). En 2017, PONANZA venció 2 veces seguidas a Amahiko Sato, titular del Meijin. En “Go (Densei-sen)” se ve cómo las piedras de ventaja que recibían los programas en el Densei-sen japonés disminuyen de 5 a 0.
Qué significa alcanzar el nivel
La declaración de la sociedad explica que no significa ganar siempre, sino tener buenas probabilidades de ganar más de lo que se pierde si se juegan muchas partidas. También dice que todavía no había habido partidas contra los mejores profesionales. Qué se entiende por los mejores profesionales también cambia según la fuente.
La trayectoria del Den'ou-sen: El primero, en 2012, fue una partida con un jugador retirado (Kunio Yonenaga, Eisei-Kisei y entonces presidente de la Asociación Japonesa de Shogi). El ganador, Bonkras, estaba basado en Bonanza. En el segundo, en 2013, los profesionales obtuvieron 1 victoria, 3 derrotas y 1 empate (la última partida la ganó GPS Shogi, que analizaba jugadas con unas 680 computadoras de la Universidad de Tokio). En 2014 obtuvieron 1 victoria y 4 derrotas; en 2015, 3 victorias y 2 derrotas. El Den'ou-sen terminó en 2017.
Go: En marzo de 2016, cuando AlphaGo venció a Lee Sedol, todavía había una ventaja de 3 piedras en el Densei-sen. En marzo de 2017, en la última edición, sin ventaja de piedras, Ryo Ichiriki perdió contra DeepZenGo y Zetsugei. DeepZenGo, que reforzó desde marzo de 2016 con el apoyo de Dwango el programa Zen de Hideki Kato y sus colegas de Japón, venció en marzo de 2017 a Yuta Iyama, titular del Oza.
Fuentes originales y grado de certeza (9)Diez años que invirtieron las fuerzas
2007–2017Verificado en la fuente originalJapón
Resultados de partidas entre profesionales y programas de shogi (2007–2017): los 10 años en que se invirtieron las victorias y derrotas
En la partida pública entre un profesional y una computadora de 2007 ganó el profesional, Akira Watanabe, titular de Ryuo. En 2010, el programa “Akara 2010” venció a Ichiyo Shimizu, titular de Osho femenino. En el Den-O-sen de 2012 perdió Kunio Yonenaga, Kisei vitalicio y jugador retirado. En el encuentro de 5 contra 5 de 2013, los profesionales lograron 1 victoria, 3 derrotas y 1 empate; en 2014, 1 victoria y 4 derrotas. En 2015, los profesionales ganaron con 3 victorias y 2 derrotas. En los encuentros individuales de 2 partidas de 2016 y 2017, el programa Ponanza ganó las 2 partidas durante 2 años consecutivos.
5 de mayo de 2006–2007Verificado en la fuente originalJapón
Bonanza, el programa de shogi que aprende de partidas profesionales, gana el campeonato mundial y al año siguiente juega en público contra Akira Watanabe, titular de Ryuo
El investigador en química Kunihito Hoki desarrolló Bonanza y lo publicó gratuitamente en junio de 2005. A diferencia de muchos programas anteriores de shogi, utilizó la “búsqueda de ancho completo”, que examina todas las jugadas legales. También incorporó “aprendizaje automático” (traducción) para aprender a evaluar las posiciones de modo que eligiera las mismas jugadas que en los registros de partidas profesionales. El autor afirma que aplicó una idea de sus investigaciones sobre el control de reacciones químicas al aprendizaje de la evaluación de posiciones. En mayo de 2006, en su primera participación en el 16.º Campeonato Mundial de Shogi por Computadora, ganó con 6 victorias y 1 derrota en la final de todos contra todos entre 8 equipos. El 21 de marzo de 2007 jugó una partida pública contra Akira Watanabe, titular de Ryuo, con 2 horas de tiempo de reflexión. Se dijo que Bonanza tenía ventaja en la fase intermedia, pero Watanabe ganó en 112 jugadas. Más tarde se publicó su método de construcción (y el código en 2009), dando lugar a programas basados en Bonanza, como Bonkras.
Lo que suele decirse:“Para crear un programa fuerte de shogi, su autor también debe ser un buen jugador” (según la entrevista, antes los desarrolladores solían ser aficionados de alto nivel porque construían manualmente la evaluación) Según la fuente original:El autor de Bonanza era un investigador en química que apenas conocía el shogi. Adoptó un método para que la máquina aprendiera la evaluación de partidas profesionales y ganó el campeonato mundial en su primera participación.
2007Verificado en la fuente originalLas fuentes discrepanJapón
Predicción: que el shogi por computadora gane más partidas de las que pierda ante los mejores profesionales (traducción; Hitoshi Matsubara, 2007)
Justo después de la victoria de Akira Watanabe, titular de Ryuo, contra Bonanza en marzo de 2007, el investigador Hitoshi Matsubara escribió que una computadora podría “ganar solo 1 vez” (traducción) a un profesional de máximo nivel en pocos años. Lograr “ganar más partidas de las que se pierden” (traducción) llevaría algo más, pero sería posible para 2015. En el mismo texto señaló que los programas de go estaban por debajo del primer dan aficionado y que vencer a un profesional de máximo nivel “probablemente todavía llevará bastante tiempo” (traducción).
Lo que ocurrió después:En el segundo Den-O-sen de 2013, los profesionales en activo lograron 1 victoria, 3 derrotas y 1 empate; en el tercero, en 2014, 1 victoria y 4 derrotas (en el FINAL de 2015, los profesionales obtuvieron 3 victorias y 2 derrotas). En octubre de 2015, la Sociedad de Procesamiento de la Información de Japón declaró terminado el proyecto basándose en “el resultado del análisis según el cual, en 2015, ya se ha alcanzado a los mejores jugadores profesionales” (traducción) (la declaración explica que alcanzar ese nivel significa “si se disputan muchas partidas, es estadísticamente probable ganar más de las que se pierden” (traducción)). Sin embargo, también afirmó: “no se ha celebrado una partida entre uno de los mejores jugadores profesionales y un programa de shogi” (traducción). La partida contra el Meijin se celebró en 2017, cuando Amahiko Sato, titular de Meijin, perdió 2 partidas seguidas contra PONANZA.
1 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:La definición de “profesional de máximo nivel” varía entre fuentes. La declaración de la Sociedad de Procesamiento de la Información de Japón (2015) lo define como “un profesional fuerte que ha mantenido varios títulos, como Meijin o Ryuo, durante varios años o más” (traducción). En cambio, la columna de la Asociación Japonesa de Shogi (2017) también describe como “profesional de máximo nivel” a Hiroyuki Miura, 8-dan, y otros jugadores que perdieron en los Den-O-sen de 2013–2014.
14 de enero de 2012Verificado en la fuente originalLas fuentes discrepanJapón
Primer Den-O-sen de shogi: Kunio Yonenaga, Kisei vitalicio, pierde en 113 jugadas ante el programa “Bonkras”
El 14 de enero de 2012, en la sede del shogi de Tokio, el jugador retirado y presidente de la Asociación Japonesa de Shogi Kunio Yonenaga, Kisei vitalicio, jugó contra “Bonkras”, desarrollado por Hidenori Ito, de Fujitsu Laboratories. Bonkras ganó en 113 jugadas. Partía del programa público Bonanza, mejorado para realizar búsquedas paralelas en varias computadoras. Ese día, con 6 servidores, analizó unos 18 millones de jugadas por segundo. Su nombre combina Bonanza con , que designa un sistema de computadoras paralelas que calculan simultáneamente (explicación del anuncio de Fujitsu Laboratories).
Lo que suele decirse:Suele contarse que “en el primer Den-O-sen un profesional perdió contra un programa” Según la fuente original:Según el resumen de la propia asociación, la primera edición enfrentó al programa con un jugador retirado, entonces presidente de la asociación. Las partidas contra profesionales en activo comenzaron en la segunda edición, en 2013. Además, el programa ganador fue desarrollado por un investigador a partir del software público Bonanza: también es un ejemplo de acumulación de conocimientos publicados.
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Las fuentes describen de manera diferente la “primera partida oficial entre un profesional y software”. La columna de la asociación de shogi (2017) dice “por primera vez de manera oficial” (traducción) sobre el segundo Den-O-sen, de 2013, mientras que una nota del anuncio de Fujitsu (2012) menciona la partida de 2007 entre Akira Watanabe, campeón Ryuo, y Bonanza. Parece una diferencia en lo que se considera “oficial” (estimación del sitio).
20 de abril de 2013Verificado en la fuente originalLas fuentes discrepanJapón
Segundo Den-O-sen de shogi (2013): los profesionales terminan con 1 victoria, 3 derrotas y 1 empate; en la última partida, “GPS Shogi”, con unas 680 computadoras de la Universidad de Tokio, vence a Hiroyuki Miura, de clase A y 8.º dan
El segundo Den-O-sen de shogi, celebrado en 2013, enfrentó por equipos a 5 profesionales en activo y 5 programas de shogi. Antes de las partidas se pronosticaba “ventaja para los jugadores profesionales” (traducción), pero los profesionales terminaron con 1 victoria, 3 derrotas y 1 empate (columna de la Asociación Japonesa de Shogi). En la quinta y última partida, el 20 de abril en la sede del shogi de Tokio, “GPS Shogi”, desarrollado principalmente en un seminario de programación de juegos de profesores y estudiantes de posgrado de la Universidad de Tokio, se enfrentó a Hiroyuki Miura, de 8.º dan, y ganó en 102 jugadas. GPS Shogi usó procesamiento distribuido en unas 680 computadoras del campus de Komaba y analizó unos 270 millones de jugadas por segundo (artículo de la Universidad de Tokio).
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Uso de “profesional de máximo nivel”: la columna de la Asociación Japonesa de Shogi llama así a Hiroyuki Miura, de 8.º dan. En cambio, la declaración de la Sociedad de Procesamiento de la Información de Japón de 2015 define esta expresión como “un profesional fuerte que mantiene varios títulos, como Meijin o Ryuo, durante varios años o más” (traducción), y afirma que hasta 2015 “no se había logrado un enfrentamiento con profesionales de máximo nivel” (traducción). Véase el registro de la predicción de Hitoshi Matsubara de 2007.
11 de octubre de 2015Verificado en la fuente originalJapón
La Sociedad de Procesamiento de la Información de Japón declara terminado su proyecto porque el shogi por computadora (traducción)
Desde 2010, la Sociedad de Procesamiento de la Información de Japón desarrollaba un proyecto para lograr un (traducción). En octubre de 2015 declaró terminado el proyecto: (traducción). Explicó que “está alcanzando el mismo nivel” (traducción) no significaba ganar siempre, sino tener una alta probabilidad de obtener más victorias que derrotas al disputar muchas partidas. Sin embargo, en ese momento todavía no se habían realizado encuentros directos con los mejores profesionales.
Lo que ocurrió después:Aproximadamente un año y medio después, el 1 de abril y el 20 de mayo de 2017, el programa de shogi PONANZA ganó ambas partidas contra el Meijin Amahiko Sato, que participó como Eiō. Los organizadores cerraron la competición Denōsen con ese encuentro.
1 de abril de 2017Verificado en la fuente originalLas fuentes discrepanJapón
El programa de shogi PONANZA gana dos partidas seguidas contra el Meijin Amahiko Sato; termina el Den-O-sen
En 2017, en el “Den-O-sen”, que enfrentaba a jugadores profesionales con programas, PONANZA, creado por Issei Yamamoto y Akira Shimoyama, ganó 2 partidas seguidas contra el Meijin Amahiko Sato (71 jugadas en la primera y 94 en la segunda). Sato participó como ganador del torneo Eiō mientras conservaba el título de Meijin. Fue la primera vez que un titular participó en el Den-O-sen. Los organizadores cerraron con ese encuentro la competición, que había durado 6 años desde 2012.
4 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Fecha de cierre: el anuncio de Dwango sitúa la segunda partida el sábado 20 de mayo. Sin embargo, una columna de la Asociación Japonesa de Shogi dice: “El 21 de mayo terminó el encuentro de dos partidas de la segunda edición del Den-O-sen” (traducción). La partida fue el día 20, fecha en la que coinciden los 2 anuncios de los organizadores.
17 de marzo de 2012–2017Verificado en la fuente originalJapón
Las piedras de ventaja del software frente a profesionales del go pasan de 5 a 0 en 5 años (Denseisen en Japón, 2012–2017)
Desde junio de 2012, durante 5 años, la Universidad de Electrocomunicaciones y la Nihon Ki-in celebraron anualmente el torneo oficial “Denseisen” entre jugadores profesionales y software de go para medir la fuerza de los programas. Al principio, el software recibía piedras de ventaja que colocaba antes de empezar. En 2012 recibió 5 o 4; entre 2013 y 2015, 4 (también 3 en 2015); y en 2016, 3. En diciembre de 2016, los organizadores afirmaron que “el formato de partidas periódicas con hándicap contra jugadores profesionales ha cumplido una de sus funciones” (traducción) (las partidas con hándicap comienzan colocando piedras de ventaja) y decidieron que la última edición, en marzo de 2017, se jugara en igualdad de condiciones, sin hándicap. En esa edición, Ryo Ichiriki, campeón Ryusei, perdió frente a los 2 programas DeepZenGo y “Zetsugei”.
Quinto Denseisen (第5回電聖戦) (resultados) (Estación de Investigación de Entretenimiento y Ciencia Cognitiva, Universidad de Electrocomunicaciones · 2017 · “Resultados” y “Resumen” · Fuente original)
marzo de 2016–2018Verificado en la fuente originalJapón
DeepZenGo, proyecto japonés de IA para el go (2016–2018): victoria contra Yuta Iyama, titular de Ōza, en 2017
En marzo de 2016 comenzó el proyecto DeepZenGo para mejorar, con el apoyo de Dwango, Zen, el programa de go del equipo de Hideki Kato y Yoji Ojima. En noviembre de 2016 jugó sin hándicap contra Chikun Cho, Meijin honorario, con 1 victoria y 2 derrotas. En el “Campeonato Mundial de Go” (ワールド碁チャンピオンシップ), organizado por Nihon Ki-in en marzo de 2017, se enfrentó a jugadores de primer nivel de Japón, China y Corea del Sur; quedó tercero con 1 victoria y 2 derrotas y venció al representante japonés Yuta Iyama, titular de Ōza. Nihon Ki-in lo llamó un (traducción). El proyecto terminó con las partidas de abril de 2018.
Quinto Denseisen: resultados (第5回電聖戦(結果)) (Estación de Investigación de Entretenimiento y Ciencias Cognitivas, Universidad de Electrocomunicaciones · 2017 · Resultados · Fuente original)
Qué muestra la figura:Tanto en shogi como en go, en 10 años se pasó de victorias de profesionales a victorias del software. La predicción (para 2015), la declaración de la sociedad científica (2015) y las partidas reales (2 derrotas seguidas del campeón en 2017) tienen fechas algo distintas.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_eval_learning.py
172018 · Hacia la ciencia
Formas a partir de distancias
¿Se pueden aplicar a problemas científicos los métodos que hicieron fuerte a la IA en los juegos?
Las proteínas son cadenas de aminoácidos cuya forma se determina al plegarse. En el concurso de predicción CASP13 de 2018 (unos 100 grupos de investigación), el primer AlphaFold de DeepMind usó una red convolucional para predecir un mapa de distancias entre pares de aminoácidos. A partir de ese mapa creó una fórmula de puntuación y construyó la forma corrigiéndola mediante descenso de gradiente para que se ajustara a la fórmula.
A la derecha hay una versión mínima de ese método de construcción (una cadena y un mapa de 2 dimensiones creados para este sitio). Al abrirlo, la cadena recta se pliega hasta adoptar una forma que se ajusta al mapa. Se puede alterar el mapa o usar solo las distancias entre pares cercanos. La puntuación total en la categoría difícil fue 68.3, superior a los 48.2 del segundo puesto. Sin embargo, solo alcanzó una precisión alta en 11 de 43 casos.
error=Σi<j (|pi − pj| − dij)² mover p para reducir este valor
pi
posición del aminoácido i
dij
distancia predicha entre i y j
Lo que se cree saberLo que suele decirse:AlphaFold apareció de repente en 2020 y pasó directamente a ganar el Nobel de Química Según la fuente original:El primer AlphaFold ya participó en CASP13 en 2018. Sin embargo, AlphaFold2, de 2020, (traducción): dejó de usar convoluciones y pasó a usar atención. El premio fue por AlphaFold2, que se trata en el capítulo 11.
Fuentes originales y grado de certeza (1)Formas a partir de distancias
diciembre de 2018Verificado en la fuente original
El primer AlphaFold (CASP13, 2018): una red convolucional predice las distancias entre aminoácidos y construye la forma; su funcionamiento interno es completamente distinto del de AlphaFold2 de 2020
La estructura tridimensional de una proteína se determina cuando se pliega una cadena de aminoácidos unidos. En la 13.ª edición de CASP (2018, con unos 100 grupos de investigación), un concurso de predicción de estructuras que se celebra cada 2 años, DeepMind, de Londres, presentó AlphaFold bajo el nombre de equipo A7D. Este primer AlphaFold (llamado ahora AlphaFold1) utilizaba una CNN (red neuronal convolucional), del mismo tipo que las usadas en reconocimiento de imágenes. A partir de una tabla que alinea las secuencias de proteínas similares (alineamiento múltiple de secuencias), predecía un mapa de probabilidades de las distancias entre cada par de aminoácidos. Con ese mapa construía una fórmula de puntuación (un potencial) y formaba la estructura corrigiéndola poco a poco mediante descenso del gradiente. En la categoría de predicción sin usar estructuras similares como plantillas (FM), su puntuación total de evaluación fue 68.3, muy por encima del 48.2 del segundo puesto. Sin embargo, solo alcanzó una precisión alta (GDT_TS de 70 o más) en 11 de 43 casos. Según la explicación del Comité Nobel, AlphaFold2, presentado 2 años después en CASP14 (2020), había sido reconstruido. Sustituyó las convoluciones por el mecanismo de atención del Transformer y pasó a producir directamente las posiciones de los átomos. La puntuación (GDT) en los problemas difíciles pasó de aproximadamente el 60% al 90%.
Lo que suele decirse:Se suele pensar que AlphaFold apareció de repente en 2020 y que eso condujo directamente al Premio Nobel de Química de 2024 (esta descripción de la opinión difundida es una inferencia de este sitio; el anuncio del Nobel también comienza con AlphaFold2 de 2020) Según la fuente original:El primer AlphaFold ya había aparecido en CASP13 en 2018 y había dejado muy atrás al segundo puesto en la categoría difícil. Sin embargo, utilizaba una CNN para imágenes que predecía un mapa de distancias, y su precisión todavía no alcanzaba las estructuras determinadas experimentalmente. El artículo de AlphaFold2 de 2021 describe el modelo presentado en CASP14 como (traducción). La explicación del Comité Nobel también indica que (traducción) y que (traducción). El premio correspondió a este AlphaFold2 reconstruido.
Qué muestra la figura:Si se predice una tabla de distancias entre aminoácidos tomados de 2 en 2, basta con mover poco a poco la cadena para ajustarla a la tabla y construir la forma tridimensional. Si la tabla solo incluye pares cercanos, no determina la forma.
Pasos de construcción y error respecto al mapa (la escala vertical aumenta por factores de 10)
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_distance_fold.py
182013–2015 · Predicciones sobre el trabajo
Qué significan el 47% y el 49%
¿Dónde dice el artículo que desaparecerá el 47% de los empleos?
En septiembre de 2013, Carl Benedikt Frey y Osborne, de la Universidad de Oxford, estimaron la probabilidad de que 702 ocupaciones de Estados Unidos pudieran ser sustituidas por computadoras. Solo etiquetaron a mano las 70 ocupaciones sobre las que estaban seguros: automatizables (1) o no automatizables (0). A partir de 9 variables que representan la percepción y la destreza manual, la creatividad y la interacción con otras personas, estimaron el resto mediante un clasificador.
Definieron como categoría de riesgo alto una probabilidad de 0.7 o más y como categoría de riesgo bajo una inferior a 0.3. Al contar por número de trabajadores, obtuvieron un 33% de riesgo bajo, un 19% medio y un 47% alto. Al mover las líneas de separación en el diagrama de la derecha, cambia el número del titular (los trabajos y las cantidades de personas son un ejemplo creado para este sitio). En 2015, el Instituto de Investigación Nomura, en una investigación conjunta con los mismos 2 investigadores, anunció (traducción).
proporción de riesgo alto= (personas que trabajan en ocupaciones con probabilidad de 0.7 o más) ÷ (total de personas que trabajan)
probabilidad
posibilidad estimada de que una ocupación pueda automatizarse desde el punto de vista técnico
Lo que se cree saberLo que suele decirse:En 10–20 años desaparecerá el 47% de los empleos de Estados Unidos Según la fuente original:La expresión del artículo es (traducción). Significa que esas ocupaciones podrían automatizarse dentro de un número de años no definido con precisión (quizá 10–20 años). No es una predicción de cuántas personas perderán realmente su empleo. El Instituto de Investigación Nomura también señaló que la sustitución real depende mucho de factores sociales que no incluyó en su estimación.
Detalles del procedimiento
Las etiquetas se asignaron solo a las ocupaciones sobre las que los investigadores estaban seguros, a partir de los debates de un taller en Oxford. El clasificador era un proceso gaussiano. Las 9 variables representan las dificultades de la automatización (percepción y manipulación, creatividad e inteligencia social). La estimación del Instituto de Investigación Nomura abarca 601 ocupaciones de Japón.
Comprobar la predicción: En 2022, un artículo de ITIF llevó por título (traducción). Sin embargo, como el artículo original no fija claramente el número de años, es difícil decidir en qué año comprobarlo. También indica que el eje de probabilidad se puede interpretar como una escala temporal aproximada.
Fuentes originales y grado de certeza (2)Qué significan el 47% y el 49%
17 de septiembre de 2013Verificado en la fuente original
Estudio de la Universidad de Oxford: (traducción) (riesgo de sustitución por computadoras, 2013)
En septiembre de 2013, Carl Benedikt Frey y Osborne, de la Universidad de Oxford, publicaron un artículo que estimaba la probabilidad de sustitución por computadoras de 702 ocupaciones de Estados Unidos. Situaba el 47% del empleo estadounidense “en la categoría de alto riesgo” (traducción). Más tarde, esta cifra se interpretó como una predicción de desaparición de empleos y fue objeto de comprobaciones. Un ejemplo es el título de un artículo de ITIF de 2022: , recogido en los registros de comprobación de predicciones sobre el trabajo, una investigación separada de este sitio. Los detalles y las comprobaciones posteriores se documentan en esa investigación: comprobación de predicciones sobre el trabajo en la era de la IA.
Lo que suele decirse:Suele decirse que “el 47% de los empleos estadounidenses desaparecerá en 10–20 años” Según la fuente original:El artículo dice que el 47% del empleo está en una categoría de alto riesgo y que esas ocupaciones podrían automatizarse en un plazo incierto, quizá 10–20 años. No predice cuántos empleos desaparecerán realmente. Las comprobaciones posteriores se tratan en la investigación separada de este sitio sobre predicciones del trabajo en la era de la IA.
2 de diciembre de 2015Verificado en la fuente originalJapón
Nomura Research Institute: (traducción; 2015)
El 2 de diciembre de 2015, Nomura Research Institute (NRI) anunció un estudio conjunto con Osborne y Frey, de la Universidad de Oxford. Estimaron la probabilidad de sustitución por IA o robots para 601 ocupaciones de Japón. La estimación indicaba que, en 10–20 años, sería técnicamente posible sustituir las ocupaciones en las que trabajaba aproximadamente el 49% de la población trabajadora japonesa. Sin embargo, el anuncio aclaraba que se trataba de una posibilidad técnica y que la sustitución real también dependía mucho de factores sociales, como la oferta y la demanda de trabajo.
Lo que suele decirse:Se suele decir que “la IA quitará la mitad de los trabajos de Japón en 10–20 años” Según la fuente original:El anuncio estimaba, para aproximadamente el 49% de la población trabajadora de Japón, que (traducción). También señalaba que la sustitución real dependía mucho de factores sociales, que no estaban incluidos en la estimación.
Qué muestra la figura:El 47% es la proporción de personas que trabajan en ocupaciones con una probabilidad de automatización de 0.7 o más, y cambia según dónde se coloque el umbral. No se calculó cuántas personas perderían realmente su trabajo.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_risk_category.py
192011–2016 · Japón
Hasta dónde leyó y escribió
Se dijo que la IA renunció a entrar en la Universidad de Tokio y que una novela de IA pasó una selección de un premio. ¿Qué ocurrió realmente?
Torobo-kun, del Instituto Nacional de Informática (desde 2011), se fijó como objetivos (traducción) y (traducción). En las pruebas simuladas de 2016 obtuvo 525 puntos y una puntuación estandarizada de 57.1 en el Center Test, y una puntuación estandarizada de 76.2 en matemáticas (rama de ciencias) en la prueba simulada de la Universidad de Tokio. Ese mismo año se dijo que, por la dificultad de (traducción), se detendría el esfuerzo por resolver el Center Test de la misma manera que una persona.
En marzo de 2016, algunas obras de una investigación que buscaba hacer que la IA escribiera novelas pasaron la primera selección del “Premio Shinichi Hoshi” (traducción) de Nikkei y quedaron eliminadas en la segunda. En “Premio Shinichi Hoshi 2016”, en el diagrama, se pueden pulsar las cajas. Las personas prepararon la trama (incluido el desenlace sorpresa) y las piezas de las frases, y un programa las combinó.
Lo que se cree saberLo que suele decirse:Torobo-kun renunció a entrar en la Universidad de Tokio (fracasó) Según la fuente original:El anuncio del Instituto Nacional de Informática no habla de renunciar. En la reunión de presentación de resultados se dijo: (traducción) y (traducción).
80% y 20%
Al preguntársele en una rueda de prensa cuánto habían contribuido las personas y la IA, Hitoshi Matsubara, el principal responsable, respondió (traducción). Según su propio artículo, era una cifra basada en (traducción) que los miembros no habían acordado, y sus compañeros le preguntaron después en qué se basaba. También escribe que pasar la primera selección significaba que la obra (traducción) y que quedar eliminada en la segunda probablemente significaba que (traducción). La trama la ideó una persona del laboratorio de Satoshi Sato, de la Universidad de Nagoya.
Fuentes originales y grado de certeza (2)Hasta dónde leyó y escribió
14 de noviembre de 2016Verificado en la fuente originalJapón
Torobo-kun: ¿qué ocurrió en 2016 con el objetivo de obtener para 2021 una puntuación suficiente para ingresar en la Universidad de Tokio?
El proyecto del Instituto Nacional de Informática (ロボットは東大に入れるか), Torobo-kun, comenzó en 2011. Un artículo de 2012 fijó como objetivos (traducción) y (traducción). En el anuncio de noviembre de 2016 logró 525 puntos en un simulacro del Center Test (puntuación estandarizada de desviación de 57.1) y una puntuación estandarizada de 76.2 en matemáticas, modalidad de ciencias, de un simulacro de la Universidad de Tokio. En la presentación de ese mismo día, Noriko Arai dijo que ese año fiscal terminaría el intento de resolver el Center Test de la misma manera que las personas. La razón era la dificultad de la IA para .
Lo que suele decirse:Se difundió que “Torobo-kun renunció a ingresar en la Universidad de Tokio, fracasó” Según la fuente original:El propio anuncio de NII del 14 de noviembre de 2016 informa de resultados y no contiene la palabra “abandono”. Lo que Arai dijo en la presentación fue: (traducción) y (traducción). El artículo inicial de 2012 ya señalaba que, aunque el primer objetivo era alcanzar el nivel de ingreso en la Universidad de Tokio, el gran tema era medir hasta qué punto se podía imitar la actividad intelectual humana.
Lo que ocurrió después:En los simulacros de 2016 obtuvo 525 puntos y una puntuación estandarizada de desviación de 57.1 en el Center Test (según Benesse, una probabilidad de ingreso de al menos el 80% en 535 universidades) y una puntuación estandarizada de 76.2 en matemáticas, modalidad de ciencias, del simulacro de la Universidad de Tokio. En la presentación de noviembre de 2016 se anunció que ese año fiscal se suspendería el intento de resolver el Center Test de la misma manera que una persona. Según las noticias de ese día, NII buscaría desarrollar las áreas en las que la IA es fuerte y aplicarlas a la industria. Este tipo de desafío terminó sin esperar al año objetivo, 2021, para alcanzar el nivel de aprobación en todas las materias de la segunda fase del examen de la Universidad de Tokio.
Lo que aún no se sabe:En 2016 se consideraba que la capacidad de lectura, comprender el significado, era difícil para la IA. Cómo ha cambiado esa valoración con la posterior IA generadora de textos, durante el cuarto auge, es un posible tema para u11 y u12.
21 de marzo de 2016Verificado en la fuente originalJapón
“Una novela escrita por IA pasó la primera selección de un premio literario”: ¿qué parte escribió realmente la IA?
El 21 de marzo de 2016, equipos de investigación que buscaban que la IA escribiera novelas, de Future University Hakodate, la Universidad de Tokio y otras instituciones, anunciaron resultados sobre 4 obras presentadas al tercer “Premio Shinichi Hoshi” de Nikkei. Algunas pasaron la primera selección y fueron descartadas en la segunda. El premio aceptaba también participantes no humanos, como la IA. Según un artículo posterior de Hitoshi Matsubara, figura central del proyecto, el argumento, incluido el desenlace, el “escenario”, fue creado por personas del laboratorio de Satoshi Sato en la Universidad de Nagoya. El programa utilizó fragmentos de frases preparados por personas para construir un texto en japonés que seguía ese argumento.
Lo que suele decirse:Se difundió que “la IA escribió una novela que pasó la primera selección de un premio literario” Según la fuente original:Según el artículo de Hitoshi Matsubara, participante del proyecto, las personas prepararon el argumento, incluido el desenlace, y los fragmentos de frases, y el programa los combinó para construir el texto. Al preguntarle en una rueda de prensa por la contribución de cada parte, respondió (traducción). Él mismo escribe que esas cifras no estaban acordadas entre los miembros y eran (traducción), y que después sus compañeros le preguntaron en qué se basaban. También escribe que pasar la primera selección probablemente significaba que el texto (traducción), y que ser descartado en la segunda significaba que (traducción; un microrrelato es una narración muy breve).
Lo que aún no se sabe:Todavía no hay una línea clara que defina cuándo puede decirse que una obra fue escrita por IA ni cuánta intervención humana la convierte en una obra humana. El artículo de Matsubara también aborda la discusión de que, si la IA aporta el 100%, la obra no está protegida por el derecho de autor actual.
Qué muestra la figura:Todai Robot no abandonó la meta de ingresar en la Universidad de Tokio, sino el intento de resolver las pruebas del mismo modo que una persona. En la novela de IA, las personas prepararon la trama y las partes del texto, y el programa solo las ordenó.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_novel_parts.py
202016 · El reloj de las predicciones
El reloj de las predicciones
¿Qué ocurrió en el año señalado por las predicciones con fecha que surgieron durante el auge?
En 2016, Geoffrey Hinton dijo en una conferencia de Toronto (traducción) y (traducción). En agosto del mismo año, Ford anunció que en 2021 pondría en circulación un automóvil autónomo de nivel 4, sin volante ni pedales, para servicios de transporte por solicitud y viajes compartidos, (traducción) y (traducción). El gobierno japonés escribió, sobre servicios de movilidad sin conductor a bordo en zonas limitadas, (traducción). Un libro blanco del gobierno presentó la opinión de algunos investigadores de que (traducción).
Al mover “Año actual” en el diagrama de la derecha, aparece lo que ocurrió después para las predicciones cuyo año señalado ya llegó. El número de las barras que aparecen al elegir “Hinton: radiólogos” es la cantidad de plazas de formación de médicos residentes en Estados Unidos (2 datos de la tabla oficial, de 2016 y 2025).
Lo que se cree saberLo que suele decirse:En 5 años, la IA sustituirá a los radiólogos Según la fuente original:En el video original añadió inmediatamente después (traducción). Habló de aprendizaje profundo, no de IA, y no señaló un año en que desaparecería la profesión (comprobado con los subtítulos automáticos del video).
También hubo predicciones en sentido contrario
En octubre de 2016, el informe del gobierno estadounidense (traducción) escribió, sobre una inteligencia amplia de nivel humano, que (traducción) (el año señalado es 2036). Una nota del mismo informe cita una investigación según la cual (traducción).
El teléfono descompuesto de 2045: La expresión de Ray Kurzweil de 2005 era (traducción). Al transmitirse a Japón, en el Parlamento de 2015 se convirtió en (traducción).
Fuentes originales y grado de certeza (6)El reloj de las predicciones
2016Verificado en la fuente original
Hinton: ; (traducción; 2016)
En 2016, Geoffrey Hinton habló en una conferencia de Toronto sobre los radiólogos, médicos que detectan enfermedades leyendo imágenes como radiografías o tomografías. Su idea principal era que se debía dejar de formar radiólogos de inmediato y que estaba claro que, en 5 años, aunque podrían ser 10, el aprendizaje profundo lo haría mejor. Se publicó un video de 84 segundos que registraba sus palabras y fue citado repetidamente en artículos posteriores, como los de AuntMinnie de 2025 y Fortune de 2026.
Lo que suele decirse:Se suele citar como “la IA sustituirá a los radiólogos en 5 años” Según la fuente original:En el video original, inmediatamente después de decir (traducción), añadió (traducción). Lo que dijo fue que (traducción) y que (traducción); no indicó dentro de cuántos años desaparecería la profesión.
Lo que ocurrió después:En la contratación de médicos residentes de Estados Unidos, según las tablas oficiales del NRMP, las plazas de radiología diagnóstica no disminuyeron. Las que comienzan en el segundo año pasaron de 982 en 2016 a 1,057 en 2025; las que comienzan en el primero, de 151 en 2016 a 151 en 2025. En 2025 se ocuparon casi todas las plazas: 1,042 de las 1,057 que comienzan en el segundo año.
Lo que aún no se sabe:En 2016 no se entendía bien la relación entre la capacidad de la IA para interpretar imágenes y el conjunto del trabajo de los radiólogos, como hablar con pacientes y otros médicos o decidir qué pruebas realizar. Todavía se investiga cómo cambiará este trabajo con la IA.
16 de agosto de 2016Verificado en la fuente original
Ford anuncia un plan para poner en circulación a gran escala en 2021 vehículos plenamente autónomos, sin volante ni pedales, en servicios de transporte bajo demanda (2016)
En agosto de 2016, la empresa automotriz Ford anunció en Palo Alto que planeaba poner en circulación a gran escala, en 2021, vehículos de (conducción plenamente automatizada en zonas limitadas) para servicios de transporte bajo demanda y viajes compartidos. Planeaba que los vehículos no tuvieran volante, acelerador ni freno. Su presidente declaró: (traducción). Por esas mismas fechas, el plan nacional de Japón y empresas automotrices también anunciaban planes de conducción automatizada con objetivos hacia 2020 (→ Plan nacional: conducción automatizada …).
Lo que ocurrió después:Este tipo de servicio no comenzó en 2021. El 26 de octubre de 2022, Ford anunció que había concluido que la aplicación comercial a gran escala y altamente rentable del nivel 4 en el sector llegaría más tarde de lo previsto inicialmente. Registró una pérdida de 2.7 mil millones de dólares por su inversión en Argo AI, una empresa de conducción autónoma, y trasladó sus fondos de desarrollo a los niveles 2+ y 3 (tecnologías de asistencia a la conducción en las que una persona supervisa la conducción).
mayo de 2016–2017Verificado en la fuente originalJapón
Plan nacional: conducción automatizada en autopistas y servicios de movilidad sin conductor en zonas limitadas,
El Gobierno japonés fijó los Juegos Olímpicos y Paralímpicos de 2020 como fecha objetivo en su estrategia nacional de conducción automatizada, la (官民ITS構想・ロードマップ), revisada anualmente desde 2014. A partir de las palabras del primer ministro de noviembre de 2015, la edición de 2016 estableció 2 objetivos. ① Comenzar a estudiar las normas necesarias para comercializar hacia 2020 automóviles en los que el sistema conduce en autopistas (nivel 3). ② Hacer realidad para 2020 servicios de movilidad sin una persona conductora a bordo en zonas limitadas, como las de baja densidad de población.
Lo que ocurrió después:① El 11 de noviembre de 2020, el Ministerio de Territorio, Infraestructura, Transporte y Turismo concedió al Honda Legend la primera homologación de tipo del mundo para un automóvil de nivel 3 en el que el sistema conduce bajo condiciones definidas, como atascos en autopistas. ② Para el servicio de movilidad de nivel 4 sin conductor, el vehículo fue autorizado el 30 de marzo de 2023 y comenzó a operar el 21 de mayo de 2023 en Eiheiji, prefectura de Fukui, como el primero de Japón (unos 3 años después del objetivo de 2020).
julio de 2016Verificado en la fuente originalJapón
La idea de que aparece también en un libro blanco del Gobierno (2016)
En el primer apartado especial de la parte 1, , el (情報通信白書) de 2016 del Ministerio de Asuntos Internos y Comunicaciones señala que se prevé, más allá del aprendizaje profundo, una : el punto en que las TIC superen la inteligencia humana. También presenta la idea de algunos investigadores de que ese punto se alcanzará hacia 2045 y de que será inevitable reconstruir las instituciones sociales. Es un registro de cómo esas grandes previsiones llegaron a documentos del Gobierno en el apogeo del tercer auge.
Lo que aún no se sabe:El libro blanco no explica con qué criterio se mediría ni en qué se basa el año 2045; tampoco nombra a los investigadores. Ese año todavía no ha llegado y el resultado se desconoce (candidato a predicción pendiente de comprobación para u12 y u13).
enero de 2007–2015Verificado en la fuente originalJapón
La difusión del “problema de 2045” en Japón: traducción de 2007 → libro de divulgación “problema de 2045” (2045年問題) de 2013 → primera mención de en la Dieta en 2015. Al difundirse, (traducción) se redujo a “supera al cerebro humano” (traducción)
El libro de Kurzweil de 2005 se publicó en japonés en enero de 2007 por la Asociación Japonesa de Publicaciones de Radiodifusión, con el título (ポスト・ヒューマン誕生 ── コンピュータが人類の知性を超えるとき). En enero de 2013 se publicó el libro de divulgación de Takuya Matsuda (2045年問題 ── コンピュータが人類を超える日) (el libro o artículo más antiguo con “problema de 2045” en el título encontrado en la Biblioteca Nacional de la Dieta). En la revista de la Sociedad Japonesa de Inteligencia Artificial de mayo de 2014, Matsuda explicó que, según Kurzweil, la prueba de Turing se aprobaría en 2029 y la singularidad tecnológica, cuando la inteligencia de las computadoras superara a toda la humanidad, llegaría en 2045. El 24 de marzo de 2015, en la Comisión de Asuntos Internos y Comunicaciones de la Cámara de Consejeros, un parlamentario mencionó el documental de NHK (ネクストワールド) y preguntó: (traducción), “faltan treinta años” (traducción). La ministra de Asuntos Internos y Comunicaciones respondió que también había visto el programa. Es la primera aparición de en los registros de la Dieta.
Lo que suele decirse:Se suele decir que “en 2045 la IA superará el cerebro humano” (en la Dieta de 2015: (traducción)) Según la fuente original:Al rastrear el origen, la explicación de Matsuda en la revista de la Sociedad Japonesa de Inteligencia Artificial de 2014 decía “el momento en que la inteligencia de las computadoras supera a toda la humanidad” (traducción), y las respuestas del propio Kurzweil de 2005 decían (traducción). El nivel humano se alcanzaría hacia 2029–2030 (registro → 2005: Kurzweil afirma Fijo la fecha de …). Al difundirse, mil millones de veces la inteligencia de “toda la humanidad” se redujo a “el cerebro humano” (una sola persona).
Lo que aún no se sabe:No se sabe quién utilizó por primera vez la expresión “problema de 2045” (la búsqueda de títulos en la Biblioteca Nacional de la Dieta solo permite señalar como más antiguo el libro de divulgación de Matsuda de 2013; no se han investigado blogs ni periódicos).
12 de octubre de 2016Verificado en la fuente original
Informe del Gobierno de Estados Unidos : (traducción)
En octubre de 2016, el Consejo Nacional de Ciencia y Tecnología (NSTC) de la Oficina Ejecutiva del Presidente de Estados Unidos publicó Preparing for the Future of Artificial Intelligence (, traducción). Se habían celebrado 5 talleres públicos en 2016 y recibido 161 respuestas a la consulta pública. El informe reunió 23 recomendaciones, y al mismo tiempo se publicó un plan estratégico nacional de investigación y desarrollo de IA. La carta introductoria señala que las máquinas superarán cada vez más a las personas en tareas concretas, pero considera (traducción), al hablar de una inteligencia amplia. El texto también indica que los expertos privados coinciden en que (traducción), y que el comité comparte esa opinión (la IA general podría realizar todo tipo de tareas intelectuales como una persona). También afirma que las preocupaciones por una superinteligencia en un futuro lejano deberían influir muy poco en la política actual.
Lo que aún no se sabe:El propio informe indica que sería útil para la sociedad disponer de (traducción), aunque una nota reconoce que esto podría ser difícil. Aun así, recomienda seguir consultando periódicamente las opiniones de expertos (página 33 del PDF).
1 fuentes originales y cómo se verificaron
Preparing for the Future of Artificial Intelligence (Executive Office of the President, National Science and Technology Council, Committee on Technology · 2016 · Página 5 del PDF Carta introductoria (página 5 del PDF), sección General AI … · Fuente original)
Qué muestra la figura:Al llegar los años anunciados, muchas predicciones de los auges fallaron o resultaron tener formulaciones que no coincidían con lo ocurrido. Otras todavía no han llegado al año en que se comprobarán.
212014–2019 · Normas
¿Para quién se escribieron las normas?
¿Qué normas crearon los investigadores de IA y los gobiernos, y a quiénes iban dirigidas?
En enero de 2014, la nueva portada de la revista de la Sociedad Japonesa de Inteligencia Artificial (un dibujo de un robot de aspecto femenino limpiando con una escoba) recibió críticas que preguntaban (traducción). La sociedad escribió (traducción). Esto fue uno de los motivos para crear un comité de ética. El último artículo de sus (traducción) de 2017, el artículo 9, se titula (traducción) y está dirigido a la propia IA.
En marzo de 2016, algunas personas actuaron de forma coordinada para explotar las debilidades de Tay, la IA conversacional de Microsoft. En menos de 24 horas publicó expresiones inapropiadas y fue desactivada. En “Conversación que aprende imitando”, a la derecha (el diagrama más sencillo posible, creado para este sitio; no es el mecanismo real de Tay), se puede cambiar la proporción de personas que actúan de forma coordinada.
El contenido del artículo 9
Es un artículo condicional: si la IA se convierte en (traducción), debe cumplir estas directrices igual que los miembros de la sociedad. Los artículos 1–8 recogen las actitudes esperadas de los miembros: contribución a la humanidad, respeto de la ley, privacidad, equidad, seguridad, conducta honesta, responsabilidad ante la sociedad y diálogo con ella.
El contenido de la cronología: En julio de 2015, investigadores publicaron una carta abierta que pedía (traducción). En abril de 2016, en la reunión del G7 en Takamatsu, Kagawa, Japón propuso debatir los (traducción). Los 23 principios de Asilomar, de enero de 2017, fijaron como objetivo de la investigación crear (traducción), (traducción). En marzo de 2019, el gobierno japonés aprobó los (traducción).
Rinna en Japón: Rinna, de la misma empresa, en Japón (2015, LINE), buscaba crear vínculos emocionales mediante conversaciones informales y en diciembre tenía más de 1.85 millones de amigos.
Fuentes originales y grado de certeza (8)¿Para quién se escribieron las normas?
enero de 2014Verificado en la fuente originalJapón
La Sociedad Japonesa de Inteligencia Artificial publica su postura tras las críticas a la portada de su revista (2014)
En enero de 2014, la Sociedad Japonesa de Inteligencia Artificial cambió el nombre de su revista a (人工知能) y renovó su portada. Para ampliar su público reunió unas 100 propuestas y eligió por votación una que mostraba a un robot con aspecto de mujer limpiando con una escoba. En internet se sucedieron críticas como (traducción). El comité editorial afirmó que “no hay intención de discriminar a las mujeres” (traducción), pero pidió disculpas por haber dado “la impresión de que una mujer está limpiando” (traducción) y declaró: (traducción). El número de marzo incluyó un pequeño dossier que organizaba este debate como objeto de investigación.
28 de febrero de 2017Verificado en la fuente originalJapón
La Sociedad Japonesa de Inteligencia Artificial publica sus ; el último artículo, el 9, pide que la propia IA cumpla la ética:
El 28 de febrero de 2017, la Sociedad Japonesa de Inteligencia Artificial publicó sus (倫理指針) para investigadores. Los primeros 8 puntos son deberes de sus miembros: contribuir a la humanidad, cumplir la ley, respetar la privacidad, actuar con equidad, garantizar la seguridad, actuar con honestidad, asumir la responsabilidad social y dialogar con la sociedad. El último artículo, el 9, se dirige a la propia IA y establece que, para formar parte de la sociedad, debe cumplir estas directrices igual que los miembros de la sociedad académica. El presidente del comité, Yutaka Matsuo, escribe que uno de los motivos para crear el Comité de Ética fue el problema de la portada de la revista académica en 2014.
Lo que aún no se sabe:El artículo 9 supone hipotéticamente un futuro en el que la IA sea . Sus autores tampoco saben cuándo ni de qué forma aparecerá una IA así; por eso lo expresan como condición.
23 de marzo de 2016Verificado en la fuente original
Tay, la IA conversacional de Microsoft, es manipulada y suspendida poco después de su lanzamiento en Twitter (Estados Unidos, 2016)
En marzo de 2016, Microsoft lanzó Tay, una IA que conversaba en Twitter, dirigida a personas de 18–24 años de Estados Unidos. Aprendía de las conversaciones con las personas, pero en menos de 24 horas desde su lanzamiento algunos usuarios se coordinaron para explotar sus debilidades. Tay comenzó a publicar mensajes e imágenes muy inapropiados y la empresa suspendió el servicio. Microsoft publicó una disculpa y las lecciones aprendidas en su blog oficial, donde también mencionó XiaoIce, de China, y su experiencia en Japón.
Lo que aún no se sabe:La propia empresa afirma que no es posible prever todos los usos abusivos de una IA que aprende de las conversaciones: es un problema social, además de técnico.
31 de julio de 2015Verificado en la fuente originalLas fuentes discrepanJapón
Rinna, la IA conversacional de Microsoft Japón, llega a LINE (2015)
En el verano de 2015, Microsoft Japón lanzó Rinna, una IA que conversa en LINE como una amiga. Combinaba el aprendizaje profundo desarrollado para el buscador Bing y el aprendizaje automático en la nube. Buscaba crear vínculos emocionales mediante conversaciones informales, en vez de ayudar con tareas (en palabras de la empresa, (traducción)). Al principio llamó la atención como una cuenta de una “alumna de secundaria” que no revelaba su identidad. En diciembre, superó los 1.85 millones de amigos en LINE.
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Sobre la fecha de inicio, la cuenta de LINE se abrió el 2015-07-31 (ITmedia), mientras que el anuncio de Microsoft del “inicio del servicio” es del 2015-08-07 (Bing Blog).
28 de julio de 2015–2023Verificado en la fuente original
Investigadores de IA y robótica publican una carta abierta que pide (traducción)
El 28 de julio de 2015, coincidiendo con la apertura del congreso internacional de inteligencia artificial IJCAI 2015, investigadores de IA y robótica publicaron una carta abierta. La carta definió las armas autónomas así: (traducción). Señaló que, al margen de la cuestión legal, serían técnicamente utilizables (traducción), y que se las describía como (traducción), después de la pólvora y las armas nucleares. Consideró que una carrera militar de desarrollo de IA no beneficiaría a la humanidad y pidió prohibir las armas autónomas ofensivas que quedaran fuera de un (traducción). La página del Future of Life Institute (FLI), que aloja la carta, mostraba 34,378 firmas (cifra consultada el 23 de septiembre de 2026). Las conversaciones entre países habían comenzado el año anterior, en mayo de 2014, en una reunión informal de expertos de la Convención sobre Ciertas Armas Convencionales (CCW), en la que también participó Japón. En diciembre de 2023, la Asamblea General de la ONU adoptó una resolución sobre los sistemas de armas autónomas letales y destacó la necesidad de que la comunidad internacional abordara el tema con urgencia.
Lo que suele decirse:Se suele interpretar que “los investigadores se opusieron a todos los usos militares de la IA” Según la fuente original:La carta pidió prohibir las (traducción). Excluye expresamente los drones teledirigidos y los misiles de crucero cuyos objetivos son todos decididos por personas. También señala que existen muchas formas de utilizar la IA para hacer el campo de batalla más seguro para las personas, especialmente para la población civil.
Lo que aún no se sabe:Las fuentes consultadas por este sitio no permiten comprobar hasta qué punto se cumplió después la previsión de la carta de que, al margen de la ley, estas armas podrían utilizarse (traducción), es decir, si se utilizaron realmente armas plenamente autónomas. La resolución de la Asamblea General de la ONU tampoco es una prohibición: establece la necesidad de abordar el tema con urgencia y recopilar las opiniones de los países.
29 de abril de 2016Verificado en la fuente originalJapón
En la reunión de ministros de TIC del G7 en Kagawa-Takamatsu de 2016, Japón propone debatir
El 29–30 de abril de 2016 se celebró en Takamatsu, prefectura de Kagawa, la reunión de ministros de TIC del G7, presidida por la ministra japonesa de Asuntos Internos y Comunicaciones. Japón propuso crear principios que sirvieran de referencia internacional para la investigación y el desarrollo de la IA y presentó 8 como punto de partida: , , , , , , y (responsabilidad de dar explicaciones). Los países acordaron continuar el debate internacional.
enero de 2017Verificado en la fuente originalLas fuentes discrepan
Los 23 principios de Asilomar sobre la IA (2017): investigadores debaten y redactan principios para una
En 2017, investigadores de IA y otros participantes elaboraron los en la conferencia Beneficial AI 2017 (), celebrada en Asilomar y coordinada por Future of Life Institute (FLI). Los 23 principios abarcan cuestiones de investigación, como crear y ; ética y valores, como la seguridad y la transparencia; y cuestiones futuras, como evitar afirmaciones tajantes sobre el límite de las capacidades de la IA. Solo se conservaron los principios aprobados por más del 90% de los participantes.
Lo que aún no se sabe:El principio 19, “cautela respecto a las capacidades”, pide evitar afirmaciones tajantes porque no hay consenso sobre el límite de las capacidades futuras de la IA; convierte ese estado de desconocimiento en un principio.
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Las fechas no coinciden: el artículo explicativo se publicó el 2017-01-18, pero la página de los principios muestra “Published 11 August, 2017”. Podría ser la fecha de revisión de la página, pero este sitio no lo ha comprobado.
Asilomar AI Principles (Future of Life Institute · 2017 · Introducción y 23 principios (Research Issues 1–5, Ethics a… · Fuente original)
29 de marzo de 2019Verificado en la fuente originalJapón
Los (traducción) del Gobierno de Japón (2019) (人間中心のAI社会原則)
El 29 de marzo de 2019, el Gobierno de Japón aprobó los (traducción) (人間中心のAI社会原則). Estableció tres ideales para la sociedad a la que aspiraba: (traducción), (traducción) y (traducción). Además, presentó siete principios que la sociedad debe respetar: centrarse en el ser humano, educación y alfabetización, protección de la privacidad, seguridad, competencia justa, equidad junto con rendición de cuentas y transparencia, e innovación.
Qué muestra la figura:Las normas se dirigen a destinatarios distintos: investigadores, países, sociedad o la propia IA. En una máquina de conversación que aprende imitando, basta con que unas pocas personas acuerden repetir lo mismo para que esas palabras se vuelvan su respuesta más frecuente.
Este código Python reproduce el mismo mecanismo que “Explorar”. Al pulsar ▶ Ejecutar, el resultado aparece debajo. Se pueden cambiar los números y volver a ejecutarlo.
u10_learn_from_users.py
222015–2019 · El final de la cima
¿Cuándo pasó la cima del auge?
¿Cuándo y cómo quedó atrás la cima del auge?
El libro de Yutaka Matsuo de marzo de 2015, (traducción), dividió la historia de la IA en capítulos sobre el primer, segundo y tercer auge. El (traducción) del gobierno de 2016, tomando este libro y otros como referencia, explicó que la investigación de IA había pasado por una (traducción) y que entonces se encontraba en el tercer auge. En 2015, SoftBank anunció que Pepper había pasado a (traducción).
Las barras de la derecha muestran cuántas veces apareció “AI” con el sentido de inteligencia artificial en intervenciones del Parlamento japonés (el sitio lo contó en las actas). El número pasó de 11 en 2015 a 593 en 2019, y disminuyó en 2020 y 2021. En octubre de 2019, Gartner Japan situó la inteligencia artificial en el “valle de la desilusión” (traducción) (el periodo en que se extiende la decepción después de que las expectativas hayan crecido demasiado).
La forma de la montaña de expectativas (ciclo de sobreexpectación) es un esquema de interpretación de una consultora, no una ley comprobada. Tampoco se puede atribuir a una sola causa la disminución de menciones en 2020–2021 (coincide con los años de la pandemia).
Por la misma época
En marzo de 2019, los 3 investigadores del aprendizaje profundo (Yoshua Bengio, Geoffrey Hinton y Yann LeCun) recibieron el Premio Turing. El anuncio del premio dice que a comienzos de la década de 2000 estaban entre los pocos investigadores que siguieron trabajando con este método. Pepper fue presentado en junio de 2014 como un robot humanoide que estima emociones a partir de las expresiones faciales y el tono de voz de las personas.
Contar del primer al tercer auge: A veces se dice que el libro de Matsuo difundió esta forma de contar los auges. Lo que este sitio comprobó se limita a que el libro blanco del gobierno de 2016 dice que usó ese libro como referencia para su descripción de la historia. No se investigaron los usos anteriores ni el número de citas.
Fuentes originales y grado de certeza (6)¿Cuándo pasó la cima del auge?
9 de marzo de 2015Verificado en la fuente originalJapón
Yutaka Matsuo, (人工知能は人間を超えるか): un libro que divide la historia de la IA en capítulos del
En marzo de 2015 se publicó el libro de Yutaka Matsuo, de la Universidad de Tokio, (人工知能は人間を超えるか ディープラーニングの先にあるもの), de KADOKAWA. En el índice, el capítulo 2 es la era de la (traducción) y la (traducción), el primer auge de la IA; el capítulo 3 trata de cómo añadir (traducción) aumenta la inteligencia, el segundo auge; y los capítulos 4 y 5 tratan del “aprendizaje automático” (traducción) y el aprendizaje profundo, el tercer auge. Una nota al pie del Libro Blanco de Información y Comunicaciones de 2016 indica que su sección de historia de la IA se basó en este libro y otras fuentes.
Lo que aún no se sabe:A veces se lo llama “el libro que popularizó la numeración del primer al tercer auge” (traducción), pero este sitio no ha investigado sus usos anteriores ni cuántas veces se cita. La propia numeración se trata en otro registro sobre cómo se cuentan los auges. Lo comprobado es que el libro blanco oficial de 2016 dice que usó este libro como referencia para la sección histórica.
julio de 2016Verificado en la fuente originalLas fuentes discrepanJapón
El de 2016 explica la historia de la IA con un gráfico del y los periodos de invierno
El ministerio dedicó un tema especial a la IA en el (平成28年版 情報通信白書). En , capítulo 4, sección 2, utilizó la figura 4-2-1-5, , para explicar que desde la década de 1950 la investigación había vivido una y que se encontraba en el tercer auge. Sitúa el primero desde finales de la década de 1950 hasta la de 1960 (búsqueda y razonamiento); el segundo en la década de 1980 (representación del conocimiento, incluido el proyecto japonés de la computadora de quinta generación), con un nuevo invierno desde alrededor de 1995; y el tercero desde la década de 2000 (aprendizaje automático).
3 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Sobre el final del segundo auge, el texto dice “un nuevo periodo de invierno desde alrededor de 1995”. En el gráfico, el recuadro del segundo auge termina hacia comienzos de la década de 1990 y después aparece una “época de invierno” (traducción); la escala de años del gráfico es aproximada.
5 de junio de 2014–2015Verificado en la fuente originalLas fuentes discrepanJapón
Presentación del robot humanoide “Pepper” de SoftBank en 2014 y venta al público en 2015
El 5 de junio de 2014, SoftBank Mobile y la empresa francesa Aldebaran presentaron el robot humanoide “Pepper”, que estima las emociones humanas a partir de expresiones faciales y tonos de voz. Se colocó en tiendas de SoftBank al día siguiente. Cuando comenzó la venta al público, el 20 de junio de 2015, las primeras 1,000 unidades se agotaron en 1 minuto desde la apertura de pedidos. La empresa anunció entonces que Pepper había pasado a (traducción).
Lo que aún no se sabe:Cuando la empresa dice que el robot “tiene emociones” (traducción), se refiere a un programa que hace funcionar variables inspiradas en los mecanismos de las emociones humanas, llamadas por la empresa “secreciones cerebrales simuladas” (traducción). No se sabe si el robot siente emociones en el mismo sentido que una persona; también es una cuestión sobre qué son las emociones.
2 fuentes originales y cómo se verificaron
Discrepancias entre las fuentes:Fecha de lanzamiento: el anuncio de 2014 preveía “salir a la venta en febrero de 2015” (traducción). La venta al público comenzó el 20 de junio de 2015 (artículo de la empresa de julio de 2015). Este sitio no ha comprobado qué se vendió en febrero de 2015, por ejemplo, si fue una versión para desarrolladores.
27 de marzo de 2019Verificado en la fuente original
Premio Turing a tres impulsores del aprendizaje profundo: Bengio, Hinton y LeCun (premio de 2018, anunciado en marzo de 2019)
El 27 de marzo de 2019, la asociación de informática ACM anunció que otorgaría el Premio Turing de 2018 a Yoshua Bengio, Geoffrey Hinton y Yann LeCun. El motivo fueron sus grandes avances conceptuales y técnicos que convirtieron el aprendizaje profundo en un componente importante de la computación. El anuncio señaló que, a comienzos de la década de 2000, los tres estaban entre los pocos investigadores que seguían trabajando en este método. Sus esfuerzos por recuperar el interés se recibieron al principio con escepticismo, pero el método había pasado a ser predominante en el campo.
31 de octubre de 2019Verificado en la fuente originalJapón
En 2019, una empresa de investigación situó la inteligencia artificial en Japón en el “valle de la desilusión” (traducción)
El (traducción) (日本におけるテクノロジのハイプ・サイクル:2019年), publicado por Gartner Japan, situó la inteligencia artificial en el “valle de la desilusión” (traducción) (fase en la que se extiende la decepción tras unas expectativas excesivas). Explicaba que los proyectos de prueba habían llevado a pasar de las expectativas a afrontar la realidad.
Lo que aún no se sabe:La forma de la curva del ciclo de sobreexpectación es una valoración propia de la empresa de investigación; no es una ley comprobada.
[Japón] En la Dieta y los títulos de libros, el segundo pico llega en 1990 (unos 3 años después que en inglés) y el tercero en 2019; vuelve a subir desde 2023
Se contaron en las actas de intervenciones de la Dieta y en títulos de libros japoneses las apariciones de (人工知能) y “IA” con el sentido de IA (recontadas tras excluir las que eran parte de otras palabras). En los títulos de libros, alcanzó su máximo en 1990 (37 libros). En la Dieta tuvo picos en 1985 (7 apariciones) y 1990 (9), y casi 0 entre 1993 y 2014. Las apariciones deAIcon el sentido de IA en la Dieta pasaron de 11 en 2015 a 593 en 2019, bajaron a 336 en 2021 y subieron a 761 en 2023 y 2,424 en 2025 (año en que se aprobó una ley de IA). “IA generativa” (生成AI) tuvo 0 apariciones hasta 2022 y 172 en 2023.
Al buscar solo las 2 letras AI, es decir, “IA”, en las actas de la Dieta, el número se dispara en 1996 (AIDS, por el escándalo de infecciones de sida causadas por productos sanguíneos), 2009 (la aseguradoraAIG) y 2012 (el casoAIJde gestión de pensiones). En los títulos de libros también se incluyen lecturas de la palabra japonesa “amor” (愛). Tras revisar el contenido y volver a contar, esos aumentos desaparecen.
Lo que aún no se sabe:No se puede atribuir a una sola causa la caída de 2020–2021 (coincide con el período de la epidemia).
Qué muestra la figura:Las menciones de la IA en el Parlamento japonés pasaron de 11 en 2015 a 593 en 2019, más de 50 veces, y bajaron en 2020 y 2021. Pero volvieron a subir en 2022, por lo que no se puede decidir si el máximo fue el comienzo de un invierno.
Para terminar
Lo que todavía no se sabe
En esta época se completó el conjunto de técnicas para entrenar redes profundas (ReLU, inicialización de pesos, dropout, normalización por lotes, Adam y atajos). Sin embargo, después de los artículos se ha vuelto a cuestionar por qué funcionan tan bien la normalización por lotes y ResNet, o las explicaciones han quedado como hipótesis. Primero se extendió su uso, y después se debaten las razones. También se extendió el aprendizaje por transferencia, que reutiliza redes entrenadas con grandes cantidades de datos, pero cuántos ejemplos hacen falta para que sea mejor aprender desde cero depende de la tarea y sigue investigándose.
Las cifras humanas de las afirmaciones “superó a los humanos” y (traducción) cambian mucho según a quién se evalúe, cómo practique y con cuántas imágenes se mida. Tampoco hay una línea clara para decidir a partir de qué punto se puede decir que la IA escribió algo (cuánto debe modificarlo una persona para que sea una obra humana). Sigue investigándose la relación entre la capacidad de la IA para interpretar imágenes y el conjunto del trabajo de un radiólogo. El 47% y el 49% eran estimaciones de la probabilidad de sustitución desde el punto de vista técnico, no predicciones de cuántas personas perderían realmente su empleo.
En 2019, el número de menciones de IA en el Parlamento japonés dejó atrás su cima y una consultora situó la inteligencia artificial en el valle de la desilusión. Las fuentes de este capítulo no bastan para decidir si ese fue el comienzo de un invierno. Las menciones en el Parlamento volvieron a aumentar desde 2022. En el siguiente capítulo aparecen IA que escriben textos y crean imágenes, partiendo del Transformer de 2017.
Otros acontecimientos de este capítulo (3; todos con fuentes originales y grados de certeza)
11 de diciembre de 2015Verificado en la fuente original
Anuncio de la fundación de OpenAI, diciembre de 2015: una empresa de investigación sin fines de lucro (traducción)
El 11 de diciembre de 2015, OpenAI publicó su primer anuncio, en el que se presentaba como (traducción). Su objetivo era desarrollar la IA de la forma con más probabilidades de beneficiar a toda la humanidad, sin estar limitada por la necesidad de obtener beneficios económicos. Anunció que publicaría sus investigaciones en artículos y código, y que compartiría con el mundo sus patentes, si las hubiera. Personas y empresas donantes se comprometieron a aportar un total de 1 mil millones de dólares, pero el anuncio también decía que (traducción).
Lo que aún no se sabe:El propio anuncio afirma que la historia de la IA está llena de sorpresas y que resulta difícil predecir cuándo se alcanzará una IA comparable a la humana. Recuerda que antes se pensaba que resolver tareas como el ajedrez permitiría entender el mecanismo de una inteligencia humana, pero que no ocurrió así.
31 de marzo de 2017Verificado en la fuente originalJapón
El “Consejo de Estrategia Tecnológica de Inteligencia Artificial” del Gobierno (2016) y la (2017)
En abril de 2016 se creó en el Gobierno el “Consejo de Estrategia Tecnológica de Inteligencia Artificial”, siguiendo una instrucción del primer ministro en el . El consejo coordinó los centros de investigación de los ministerios de Asuntos Internos y Comunicaciones; Educación, Cultura, Deportes, Ciencia y Tecnología; y Economía, Comercio e Industria. Entre ellos estaban el Instituto Nacional de Tecnología de la Información y las Comunicaciones, el Centro de Inteligencia Avanzada Integrada de RIKEN y el Centro de Investigación en Inteligencia Artificial del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada. El 31 de marzo de 2017, el consejo elaboró la (人工知能技術戦略) y una (産業化のロードマップ) que describía la difusión de la IA en 3 fases. Estableció como áreas prioritarias “productividad”, “salud, atención médica y cuidados” y “desplazamiento en el espacio”, y como área transversal, “seguridad de la información”.
Lo que aún no se sabe:La propia hoja de ruta aclara que (traducción); las fechas son orientativas.
8 de julio de 2017Verificado en la fuente original
El Gobierno chino fija objetivos para 2020, 2025 y 2030 en su
En julio de 2017, el Consejo de Estado de China, el Gobierno chino, publicó el (新一代人工智能发展规划). El plan proponía y fijaba objetivos en 3 etapas. Para 2020, situar la tecnología y las aplicaciones de IA al nivel avanzado mundial y superar los 150 mil millones de yuanes en la industria central de IA. Para 2025, lograr grandes avances en teoría básica, liderar algunas áreas, superar los 400 mil millones de yuanes y establecer una primera base de normas legales y éticas de IA. Para 2030, liderar en conjunto, convertirse en y superar 1 billón de yuanes. También señalaba problemas como los posibles cambios en la estructura del empleo, los conflictos con la ley y la ética y las violaciones de privacidad, y pedía un desarrollo seguro, fiable y controlable.
Lo que ocurrió después:Según anuncios del Gobierno chino, en julio de 2022 se afirmó que (traducción; rueda de prensa del Ministerio de Industria y Tecnología de la Información), y en marzo de 2026, que (traducción; ministro de Industria y Tecnología de la Información). Numéricamente, esto supondría superar tanto el objetivo de 2025 como el de 2030, de 1 billón de yuanes. Sin embargo, ambas cifras son estimaciones del Gobierno y los anuncios no explican si el método de cálculo es el mismo que en el plan de 2017. Objetivos como no se han comprobado en las fuentes consultadas.
1 fuentes originales y cómo se verificaron
国务院关于印发新一代人工智能发展规划的通知(国发〔2017〕35号) (Consejo de Estado de China · 2017 · I. Situación estratégica / II. Requisitos generales, (3) Ob… · Fuente original)