-
Propone que el mundo de la computación puede tener un gran desarrollo si se compara con el cerebro humano -
Se suele dividir en 3 etapas, del 40 al 70 en donde se pasó del asombro de estos nuevos modelos hasta el escepticismo
-
Establece el concepto de aprendizaje; Este principio (o Ley de Hebb), en ciencia cognitiva, se denomina la “Regla de Hebb” y provee el algoritmo básico de aprendizaje mediante redes neuronales artificiales. -
Neurólogo y psicólogo estadounidense. Para estudiar los fenómenos de aprendizaje y la discriminación sensorial llevó a cabo diversos experimentos con ratas, que le condujeron a afirmar que lo que interesa en la aparición de los trastornos funcionales es el tamaño de la lesión y no su localización. Demostró que la información no es almacenada de forma centralizada sino distribuida. -
Propusieron reunirse ese verano a un grupo de investigadores que quisieran trabajar sobre la conjetura de que cada aspecto del aprendizaje y cada característica de la inteligencia podían ser tan precisamente descritos que se podían crear máquinas que las simularan.
-
El adaline (de ADAptative LINear Element) es un tipo de red neuronal artificial desarrollada por el profesor Bernard Widrow y su alumno Ted Hoff en la Universidad de Stanford en 1960.
-
Red neuronal para simples realizaciones técnicas (memoria asociativa).
-
Probaron (matemáticamente) que el Perceptrons no era capaz de resolver problemas relativamente fáciles, tales como el aprendizaje de una función no-lineal.
-
Desarrolló la idea básica del algoritmo de aprendizaje de propagación hacia atrás (Retropropagación); cuyo significado quedó definitivamente aclarado en 1985.
-
La Teoría de Resonancia Adaptada es una arquitectura de red que se diferencia de todas las demás previamente inventadas. La misma simula otras habilidades del cerebro: memoria a largo y corto plazo.
-
Surgen mejoras en mecanismos y maneras de entrenar las redes (backpropagation) y se alcanza una meseta en la que no se puede alcanzar la “profundidad” de aprendizaje seguramente también por falta de poder de cómputo.
-
Provoco el renacimiento de las redes neuronales con su libro: “Computación neuronal de decisiones en problemas de optimización.”
-
Redescubrieron el algoritmo de aprendizaje de propagación hacia atrás (Retropropagación).
-
Las Convolutional Neural Networks son redes multilayered que toman su inspiración del cortex visual de los animales. Esta arquitectura es útil en varias aplicaciones, principalmente procesamiento de imágenes. La primera CNN fue creada por Yann LeCun y estaba enfocada en el reconocimiento de letras manuscritas.
-
Esta arquitectura permite conexiones “hacia atrás” entre las capas. Esto las hace buenas para procesar datos de tipo “time series” (datos históricos). En 1997 se crearon las LSTM que consisten en unas celdas de memoria que permiten a la red recordar valores por períodos cortos o largos.
-
Con la creación de una DBN que logro obtener un mejor resultado en el MNIST, se devolvió el entusiasmo en poder lograr el aprendizaje profundo en redes neuronales. Hoy en día las DBN no se utilizan demasiado, pero fueron un gran hito en la historia en el desarrollo del deep learning y permitieron seguir la exploración para mejorar las redes existentes
-
aprovechando el poder de las GPU y nuevas ideas se logra entrenar cientos de capas jerárquicas que conforman y potencian el Deep Learning y dan una capacidad casi ilimitada a estas redes
-
La idea detrás de GAN es la de tener dos modelos de redes neuronales compitiendo. Uno, llamado Generador, toma inicialmente “datos basura” como entrada y genera muestras. El otro modelo, llamado Discriminador, recibe a la vez muestras del Generador y del conjunto de entrenamiento (real) y deberá ser capaz de diferenciar entre las dos fuentes.