Historia de la Redes Neuronales y el Deep Learning

  • Primera Neurona Elemental

    Primera Neurona Elemental
    McCullough y Pitts
    Descubren el cálculo lógico de las redes neuronales y perfilan el primer módulo formal de una neurona elemental
  • Inteligencia Artificial IA

    Inteligencia Artificial IA
    Nacimiento de la inteligencia artificial en el Congreso de Dartmouth organizado por McCarthy
  • Concepción del Perpceptron

    Concepción del Perpceptron
    Frank Rosenblatt concibe el Perceptron como un modelo matemático basado en el trabajo previo de Warren McCulloch y Walter Pitts
  • Implementación del Perceptron

    Implementación del Perceptron
    Frank Rosenblatt implementa su idea de Perceptron en hardware personalizado
  • Concepción de ADALINE

    Concepción de ADALINE
    Bernard Widrow y Tedd Hoff conciben a “ADALINE”, redes neuronales con neuronas artificiales diferentes al Perceptron
  • Backpropagation

    Backpropagation
    Nace el término de Backpropagation
  • Period: to

    Primer Invierno de la IA

    Marvin Minsky y Seymour Papert investigan y publicacion sobre las limitaciones de Perceptrons
  • Implementación de Backpropagation

    Implementación de Backpropagation
    Paul Werbos propone que el algortimo podría ser utilizado para redes neuronales
  • Reconocimiento de patrones visuales

    Reconocimiento de patrones visuales
    Kunihiko Fukushima desarrolló un modelo neuronal para el reconocimiento de patrones visuales
  • Algoritmo de aprendizaje para máquinas Boltzmann

    Algoritmo de aprendizaje para máquinas Boltzmann
    Hinton propone un algoritmo de aprendizaje para las máquinas Boltzmann que son redes que tienen unidades muy similares a Perceptrons, pero cada unidad en la red puede calcular una probabilidad de que la salida tenga un valor de 1 o 0.
  • Entrenamiento de Redes Neuronales Multicapa

    Entrenamiento de Redes Neuronales Multicapa
    David Rumelhart, Geoffrey Hinton y Ronald Williams entienden ampliamente cómo las redes neuronales multicapa podrían ser entrenadas para abordar problemas complejos de aprendizaje
  • Red Neuronal de Autoencoders

    Red Neuronal de Autoencoders
    Rumelhart, Hinton y Williams trabajan en una forma de aprendizaje no supervisado, que solo necesita un conjunto de datos de entrada para encontrar alguna estructura oculta dentro de esos datos.
  • Financiación del CIFAR

    Financiación del CIFAR
    El Instituto Canadiense de Investigación Avanzada (CIFAR) financia la investigación de Hinton, la cual termina a mediados de la década de los 90
  • Redes Neuronales Convolucionales

    Redes Neuronales Convolucionales
    Yann LeCun genera una aplicación muy significativa en el mundo real de la retropropagación: Una computadora comprende los dígitos escritos a mano.
  • Aprendizaje de refuerzo

    Aprendizaje de refuerzo
    Nace el aprendizaje de refuerzo cuya meta es entrenar para la tomar de buenas decisiones
  • Redes Neuronales en Robótica

    Redes Neuronales en Robótica
    Inicios de las redes neuronales en la robótica con "Alvinn", un vehículo terrestre autónomo en una red neuronal" del NavLab de CMU
  • Reconocimiento de fonemas

    Reconocimiento de fonemas
    Alexander Waibel logra el reconocimiento de fonemas utilizando redes neuronales de retardo de tiempo
  • TD-Gammon jugador de backgammon

    TD-Gammon jugador de backgammon
    Se logró uno de los resultados más significativos en la historia del aprendizaje de refuerzo: una red neuronal que aprendió a ser un jugador de backgammon de clase mundial capaz de superar a los humanos en tareas relativamente complicadas
  • Aprendizaje de refuerzo para robots que utilizan redes neuronales

    Aprendizaje de refuerzo para robots que utilizan redes neuronales
    Tesis Doctoral que demuestra que a los robots se les puede enseñar comportamientos específicos en cantidades razonables de tiempo
  • Algoritmo de Vigilia-Sueño para redes neuronales no supervisadas

    Algoritmo de Vigilia-Sueño para redes neuronales no supervisadas
    Hinton y Neal proponen un algoritmo cuya idea clave es tener conjuntos separados de pesos para inferir variables ocultas de variables visibles y viceversa, lo que permite que el entrenamiento se realice mucho más rápido
  • TD-Gammon tramposo

    TD-Gammon tramposo
    Sebastian Thrun investiga como TD-Gammon hizo trampa aprendiendo a evaluar posiciones y no haciendo ninguna 'búsqueda' sobre múltiples movimientos futuros
  • Redes Convolucionales para Imágenes, Voz y Series de Tiempo

    Redes Convolucionales para Imágenes, Voz y Series de Tiempo
    Yoshua Bengio y Yann LeCun coescriben la primera de muchas colaboraciones entre ellos
  • Support Vector Machines

    Support Vector Machines
    Nuevo método considerado una forma matemáticamente óptima de entrenar una red neuronal de dos capas
  • Period: to

    Segundo invierno de la IA

    El entusiasmo por las redes neuronales se disipó y la comunidad de aprendizaje automático en general una vez más las desautorizó. En el año 2000, re retoman nuevos proyectos, especialmente en el MIT y en Stanford, y en empresas privadas como Microsoft e IBM
  • Long Short Term Memory

    Long Short Term Memory
    Schmidhuber y Hochreiter introdujeron un concepto resuelve el problema de cómo entrenar redes neuronales recurrentes
  • Productos de capacitación de expertos minimizando la divergencia contrastiva

    Productos de capacitación de expertos minimizando la divergencia contrastiva
    Hinton ofrece un algoritmo que maximiza algo más que la probabilidad de que las unidades generen los datos de entrenamiento
  • Revive el interés por RNA

    Revive el interés por RNA
    Hinton, Simon Osindero y Yee-Whye Teh obtienen un algoritmo de aprendizaje rápido que permite entrenar redes neuronales con muchas capas si los pesos se inicializan de una manera inteligente en lugar de al azar
  • Método profundos vs Métodos poco profundos

    Método profundos vs Métodos poco profundos
    Yoshua Bengio presenta un fuerte argumento de que los métodos profundos de aprendizaje automático son más eficientes para problemas difíciles que los métodos poco profundos
  • Aprendizaje profundo no supervisado a gran escala

    Aprendizaje profundo no supervisado a gran escala
    Compara la potencia en procesamiento de GPU y CPU
  • Práctica en Microsoft Research

    Práctica en Microsoft Research
    Dahl y Mohamed demuestran el poder del aprendizaje profundo durante su práctica en Microsoft Research
  • Reconocimiento de voz de Google

    Reconocimiento de voz de Google
    Navdeep Jaitly trabajó en el reconocimiento de voz de Google, y mostró que su configuración existente podría mejorarse mucho al incorporar el aprendizaje profundo
  • El cerebro de Google (Google Brain)

    El cerebro de Google (Google Brain)
    Dean y Ng forman Google Brain, un esfuerzo por construir redes neuronales gigantes y explorar su potencial, dando como resultado un aprendizaje de red neuronal sin supervisión de 16,000 núcleos de CPU.
  • Una ola creciente de emoción

    Una ola creciente de emoción
    Publicación de "Redes neuronales profundas para modelado acústico en reconocimiento de voz”, trabajo compartido de cuatro grupos de investigación