Redes neuronales

Linea del Tiempo TP IA

  • Implementacion del Primer Perceptron

    Implementacion del Primer Perceptron
    Marvin Minsky implementa en hardware el primer Perceptron para demostrar su utilidad.
  • Nace el Concepto de IA

    Jhon McCarthy formula el concepto de IA como "El arte de crear computadores y software capaz de tener comportamiento inteligente".
  • Presentacion de la IA en TV

  • Numerosas Investigaciones en IA

    Se realizaron avances importantes en lógica simbólica, resolución de problemas y redes neuronales primitivas, aunque estas últimas aún enfrentaban limitaciones técnicas y teóricas.
  • Period: to

    Primer "Invierno" de investigacion de IA

    • Falta de interés en la comunidad académica.
    • Incapacidad del perceptrón para resolver problemas no lineales (ejemplo clásico: el problema XOR)
    • La falta de algoritmos eficientes para entrenamiento.
  • Se implementa por primera vez Backpropagation

    Seppo Linnainmaa implementa por primera vez la Backpropagation pero no tuvo impacto inmediato por las limitaciones tecnológicas.
  • Backpropagation para IA

    Paul Werbos propone emplear la Backpropagation para la inteligencia artificial de manera profunda en su tesis de PhD
  • Publicacion de la aplicacion de Backpropagation

    Paul Werbos publicó su trabajo sobre backpropagation, lo que ayudó a difundir esta técnica en la comunidad científica.
  • Algoritmo de aprendizaje probabilistico

    Algoritmo de aprendizaje probabilistico
    Se desarrolló el algoritmo de aprendizaje para las máquinas de Boltzmann, introduciendo redes estocásticas donde las salidas se basan en probabilidades, no en determinismo.
  • Redescubrimiento y popularización de Backpropagation

    David Rumelhart, Geoffrey Hinton y Ronald Williams publicaron un artículo que popularizó el algoritmo de backpropagation para entrenar redes neuronales multicapa, impulsando el renacimiento del interés en redes neuronales.
  • Redes Neuronales de Feedforward

    Descubrimiento de que estas redes son aplicaciones universales, que pueden ser aplicadas a cualquier aplicación.
  • Primeras Aplicaciones de Backpropagation

    Yann LeCun et al, aplica la Backprop para hacer un sistema que reconoce el código postal escrito a mano.
  • Reconocimiento de voz

    Alexander Weibel y Hinton resuelven la falta de memoria en las redes neuronales, con el algoritmo de retardo de tiempo.
  • Los Autoencoders de Hinton

    Se estudia la posibilidad de emplear autoencoders para resolver los problemas de codificación en Backpropagation
  • Investigación de Sebastian Thrun

    Se detecta el nuevo callejón sin salida para la IA, debido a la falta de análisis de posibilidades futuras y la inmadurez del hardware.
  • "Wake up or Sleep"

    Hinton y Neal desarrollaron este algoritmo para acelerar el entrenamiento de redes neuronales no supervisadas.
  • Support Vector Machines

    Permite crear redes neuronales de dos capas con una sólida base matemática para clasificación.
  • Period: to

    Segundo "Invierno" de las Redes Neuronales

    • Limitaciones en capacidad computacional.
    • Falta de grandes conjuntos de datos para entrenamiento.
    • Competencia de otros métodos como máquinas de soporte vectorial (SVM).
  • "Contrastive Divergence”

    Que describe de forma eficiente, maximizando las probabilidades de que las unidades generen los datos de entrenamiento
  • "A fast learning algorithm for deep belief nets"

    Hinton, Simon Osindero y Yee-Whye Teh realizaron la publicación de este artículo con un algoritmo rápido para entrenar redes profundas, marcando el inicio del boom del aprendizaje profundo.
  • "Greedy layer­wise Training of Deep Networks"

    Artículo donde se argumenta fuertemente la razón por la que algoritmos con métodos de Deep Learning funcionan mejor que los métodos superficiales.
  • “Large-scale Deep Unsupervised Learning using Graphics Processors”

    Estudio que demuestra la diferencia en potencia de procesamiento al emplear GPUs, en vez de CPUs.
  • Nacimiento del Cerebro de Google

    Jeff Dean y Andrew Ng desarrollan la red neuronal mas grande antes vista, con 16000 núcleos de CPU entrenada sin supervisión y con videos de Youtube; aprendiendo a reconocer los objetos mas comunes en esos videos.
  • “Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups”

    Cuatro grupos de investigación publicaron un artículo que consolidó el uso de redes neuronales profundas para mejorar el reconocimiento automático de voz.
  • Skype - Traductor en Tiempo Real

    Skype - Traductor en Tiempo Real
    Skype incorporó traducción simultánea usando redes neuronales profundas, mostrando la aplicación práctica del aprendizaje profundo en la vida diaria.
  • AlphaGo vence a campeón mundial de Go

    La inteligencia artificial AlphaGo de DeepMind derrota al campeón mundial de Go, demostrando la capacidad de las redes neuronales para aprender estrategias complejas.
  • Generative Adversarial Networks (GANs)

    Se mejora la calidad de las imágenes generadas por redes neuronales mediante el uso de GANs, permitiendo la creación de imágenes realistas a partir de descripciones textuales.
  • BERT para procesamiento de lenguaje natural

    Google introduce BERT (Bidirectional Encoder Representations from Transformers) mejora significativamente la comprensión del lenguaje natural en tareas como traducción y respuesta a preguntas.
  • OpenAI lanza GPT-2

    GPT-2 es un modelo de lenguaje que genera texto coherente y realista, mostrando avances en la generación automática de contenido.
  • OpenAI lanza GPT-3

    GPT-3, con 175 mil millones de parámetros, establece nuevos estándares en generación de texto, traducción y comprensión del lenguaje natural.
  • OpenAI presenta DALL·E

    DALL·E genera imágenes originales a partir de descripciones textuales, demostrando la capacidad de las redes neuronales para crear contenido visual innovador.
  • OpenAI lanza ChatGPT

    ChatGPT, basado en GPT-4, ofrece interacciones conversacionales avanzadas, mejorando la experiencia de usuario en aplicaciones de IA.