Linea del Tiempo Redes Neuronales y Deep learning

By johan2112

  • Comienzo

  • Implementacion del Primer Perceptron

    Implementacion del Primer Perceptron

    Marvin Minsky implementa en hardware el primer Perceptron para demostrar su utilidad.

  • Nace el Concepto de IA

    Jhon McCarthy formula el concepto de IA como "El arte de crear computadores y software capaz de tener comportamiento inteligente"
  • Concepción del modelo Matematico simplificado de Perceptron

    Concepción del modelo Matematico simplificado de Perceptron

    Creación del Perceptron por Frank Rosenblatt

  • Concepcion de Redes Neuronales sin Perceptron

    Bernard Widrow y Tedd Hoff conciben crear red neuronal con ayuda de una neura adaptable "ADALINE" la cual empleaba memistrores (Resistencias con memoria)

  • Presentacion de la IA en TV

    The Tkinking Machine

  • Numerosas Investigaciones en IA

    Se crea el concepto de Backpropagation
  • Period: to

    Primer "Invierno" de investigacion de IA

    Falta de interés en la comunidad academica
  • Muestra de Escepticismo hacia la Inteligencia Artificial

    Muestra de Escepticismo hacia la Inteligencia Artificial

    Marvin Minsky fundador del MIT AI Lab, y Seymour Papert jefe de laboratorio mostraron su escepticismo en el libro llamado Perceptrons

  • Se implementa por primera vez Backpropagation

    Seppo Linnainmaa implemeta por primera vez la Backpropagation

  • Backpropagation para IA

    Paul Werbos propone emplear la Backpropagation para la inteligencia artificial de manera profunda en su tesis de PhD

  • Publicacion de la aplicacion de Backprop investigada por Werbos

  • Creación del algoritmo de aprendizaje para maquinas de Bollzmann

    Creación del algoritmo de aprendizaje para maquinas de Bollzmann

    Distribución de los pesos de las entradas es calculada a partir de la probabilidad de que la salida de la neurona ses 1 o 0, lo que convierte al sistema en un sistema estocástico.

  • Financiación del Instituto Canadiense CIFAR

    Instituto el cual fomenta la investigación de la IA y las redes neuronales

  • Redes Neuronales de Feedforward

    Descubrimiento de que estas redes son aplicaciones universales, que pueden ser aplicadas a cualquier aplicación.

  • Primeras Aplicaciones de Backpropagation

    Yann LeCun et al, aplica la Backprop para hacer un sistema que reconoce el código postal escrito a mano

  • Alviin, el vehículo terrestre, autónomo controlado por una red neuronal

    En Navlab de CMU creo el vehículo autónomo conducido por redes neuronales.

  • El Reconocimiento de Fonemas usando Retardo de Tiempo de Redes Neuronales TDNN

    Alexander Weibel y Hinton resuelven la falta de memoria en las redes neuronales, con el algoritmo de retardo de tiempo.

  • Los Autoencoders de Hinton.

    Se estudia la posibilidad de emplear autoencoders para resolver los problemas de codificación en Backpropagation

  • Publicación de "A Coneectionist Approach to Speech Recognition"

    Bengio resume en este paper la falla general de la enseñanza eficiente en las RNNs

  • Creacion del algoritmo de "Wake up or Sleep" para redes neuronales no suervisadas

    Hilton y Neal desarrollaron este algoritmo para poder hacer mas rápido el proceso de entrenamiento.

  • Demostración de la Tesis Doctoral

    Aprendizaje de Refuerzo para robots usando redes neuronales.

  • Investigación de Sebastian Thrun

    Se detecta el nuevo callejón sin salida para la IA, debido a la falta de análisis de posibilidades futuras y la inmadurez del hardware.

  • Publicación de "Convolutional Networks for Images, Speech, and Time­Series"

    Por Yoshua Bengio

  • Surge el nuevo metodo "Support Vector MChines "

    Forma matemáticamente de desarrollar redes neuronales de dos capas,

  • Se introduce el nuevo concepto de LSTM

    LSTM Resuelve el problema de como entrenar redes neuronales concurrentes.
  • Period: to

    Segundo "Invierno" de las Redes Neuronales

  • Se introduce el método: “Training Products of Experts by Minimizing Contrastive Divergence”

    Que describe de forma eficiente, maximizando las probabilidades de que las unidades generen los datos de entrnamiento

  • Hinston Inicia la Dirección de un Nuevo Programa de Computación Neural

  • Publicación del Articulo: "A fast learning algorithm for deep belief nets"

    Hinton, Simon Osindero y Yee-Whye Teh realizaron la publicación para reavivar los intereses sobre la IA en la comunidad

  • Se Publica: "Greedy layer­wise Training of Deep Networks"

    Donde se argumenta fuertemente la razón por la que algoritmos con métodos de Deep Learning funcionan mejor que los métodos superficiales.

  • Se Publica: “Large-scale Deep Unsupervised Learning using Graphics Processors”

    Estudio que demuestra la diferencia en potencia de procesamiento al emplear GPUs, en vez de CPUs

  • Nacimiento del Cerebro de Google

    Jeff Dean y Andrew Ng desarrollan la red neuronal mas grande antes vista, con 16000 núcleos de CPU entrenada sin supervisión y con videos de Youtube; aprendiendo a reconocer los objetos mas comunes en esos videos.

  • Publicación de: “Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups”

    Resultados de los cuatro grupos de investigación que estudiaban el aprendizaje prundo
  • Skype - Traductor en Tiempo Real

    Skype - Traductor en Tiempo Real