Programação

  • Geral

    • Repositório dos notebooks Jupyter utilizados na disciplina.

    • Repositório dos artigos selecionáveis para apresentação na disciplina pelos alunos.

    • Esta disciplina é fortemente baseada em alguns livros:

      • Deep Learning Illustrated: A Visual, Interactive Guide to Artificial Intelligence. Jon Krohn, Grant Beyleveld, Aglaé Bassens (o pdf do livro pode ser encontrado na internet);
      • Mining of Massive Datasets. Jure Leskovec, Anand Rajaraman, Jeffrey David Ullman (nosso foco está no capítulo 13 - os pdfs dos capítulos do livro podem ser encontrados aqui);
      • Neural Networks and Deep Learning: A Textbook.  Charu C. Aggarwal (os slides deste livro podem ser encontrados aqui);
      • Deep Learning Techniques for Music Generation. Jean-Pierre Briot, Gaëtan Hadjeres, François-David Pachet (uma versão limitada do pdf do livro pode ser encontrada aqui).

    • Livro Deep Learning de Ian Goodfellow, Yoshua Bengio e Aaron Courville.

    • Canal no YouTube explicando de maneira resumida artigos atuais que usam técnicas de Aprendizagem Profunda: Two Minute Papers.

    • Página de um professor da UCSD contendo diversos datasets.

    • E-mail do monitor: 

      - Daniel Costa (aluno de doutorado): daniel.scosta@edu.unirio.br




    • Apresentação do Dataset Tarefa
      Aberto: domingo, 6 abr 2025, 00:00
      Vencimento: quinta, 24 abr 2025, 23:59
    • ATENÇÃO: Não haverá aula na terça-feira, dia 22/04, por conta dos feriados nos dias 21/04 e 23/04.

    • ATENÇÃO: Não haverá aula nos dias 13/05 e 15/05.

  • Introdução às Redes Neurais - Parte 1

  • Introdução às Redes Neurais - Parte 2

  • Perceptron e Funções de Ativação

    • Recomendado para complementar o que foi aprendido: Leitura das seções "12.1 The Machine-Learning Model" e "12.2 Perceptrons" do livro "Mining of Massive Datasets".

    • Recomendado: Assistir ao vídeo “Perceptron Training” do canal Udacity. Este conteúdo se refere à explicação do treinamento de um Perceptron usando a Regra do Perceptron (Perceptron Rule).



    • Recomendado: Assistir ao vídeo “Gradient descent, how neural networks learn” do canal 3Blue1Brown. Este conteúdo se refere à explicação do Gradiente Descendente e de como o conceito de Vetor de Gradiente é usado.



    • Recomendado: Assistir ao vídeo "Possible End of Humanity from AI? Geoffrey Hinton at MIT Technology Review's EmTech Digital", que consiste em uma entrevista recente do professor e pesquisador Geoffrey Hinton.


  • Primeiro Exemplo de Código no Keras

    • Recomendado: Leitura sobre o uso de GAN para gerar a voz do ator Val Kilmer no filme "Top Gun: Maverick".

    • Recomendado: Registro histórico de Yann LeCun e outros pesquisadores do centro de inovação da Bell Labs, em 1989, demonstrando o uso da LeNet 1, a primeira Convolutional Neural Network (CNN) desenvolvida, que reconhecia dígitos escritos à mão com boa velocidade e acurácia. O artigo em que a LeNet 1 foi proposta é este.




  • REDES NEURAIS ARTIFICIAIS

    • Recomendado para complementar o que foi aprendido: Leitura da seção "13.2 Dense Feedforward Networks" do livro "Mining of Massive Datasets".

    • Recomendado: Explorar o Neural Network Playground e variar os valores dos diversos conceitos que já aprendemos, que são: Learning Rate, Função de Ativação, Epochs, Batch Size, Taxa da Divisão Treino/Teste e Tipo do Problema.

      Exemplo: experimente rodar com um valor de Learning Rate alto e ver o que acontece. :)

    • Recomendado: Assistir ao vídeo “What is backpropagation really doing?” do canal 3Blue1Brown. Este conteúdo se refere à explicação do funcionamento do algoritmo Backpropagation.

    • Recomendado: Assistir aos vídeos “Why Neural Networks can learn (almost) anything” e "Watching Neural Networks Learn" do canal Emergent Garden. Este conteúdo complementa a explicação de por que redes neurais compostas somente de neurônios contendo funções de ativação lineares não conseguem resolver problemas difíceis, necessitando assim de neurônios com ativações não lineares.



    • Recomendado: Leitura da matéria "A Vida Dura de Quem Treina Inteligências Artificiais" sobre trabalhadores que realizam microtarefas on-line para a rotulação de dados no contexto de aprendizado supervisionado.

  • Treinando Redes Profundas

  • Melhorando Redes Profundas

    • Importante: Execute o simulador de métodos de inicialização dos pesos de uma rede neural, teste diversas configurações e reflita sobre o que acontece com o aprendizado da rede. Efetue também uma leitura do texto contido na página que fornece uma justificativa matemática para a inicialização usando a distribuição Xavier-Glorot Normal.

    • Importante: Leitura recomendada para a complementação do entendimento de métodos de otimização baseados em Gradiente Descendente, que ilustra o comportamento de tais métodos.

  • VISÃO DE MÁQUINA

    • Recomendado para complementar o que foi aprendido: Leitura da seção "13.4 Convolutional Neural Networks" do livro "Mining of Massive Datasets".

    • Recomendado: Assistir ao vídeo “A friendly introduction to Convolutional Neural Networks and Image Recognition” abaixo.



  • Redes Generativas Adversárias

  • Aprendizado por Reforço Profundo

    • Recomendado: Leitura do Capítulo 13 do livro Deep Learning Illustrated.

    • Recomendado: Leitura do seguinte link: "AlphaDev discovers faster sorting algorithms"

    • Recomendado: Leitura da matéria na Quanta Magazine sobre os limites do Gradiente Descendente.

    • Recomendado: Leitura da matéria na Quanta Magazine sobre descobertas recentes a respeito do impacto dos valores da taxa de aprendizado no Gradiente Descendente para duas classes particulares de funções.

    • Recomendado: Assistir aos dois vídeos intitulados “AI Learns to Escape (using Reinforcement Learning)” do canal AI Warehouse. Este conteúdo complementa a aula sobre Aprendizado por Reforço.




  • Tópico 11

    • Tópico 12

      • Tópico 13