Referência externa muito boa: https://chrisalbon.com/

• Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária
• Toda vez que saída for categorizada: Função softmax vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
• Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM

• Imagem e áudio tem informações densas, texto é esparso
• Pode se fazer CNN em NLP
• Problema do Word embedding: não lida com contexto (ex: manga fruta, manga da roupa)
  • Google lançou Transformer (+- embedding com contexto)

• Função de ativação
• Função objetivo
• Random forest
• max pooling / average pooling / global pooling - reduz a quantidade de informação
• back propagation
• learning rate
• data augmentation - ex: imgaug
• one hot encoding / get dummies / to categorical
• SVM
• PCA
• TSNE

• Matriz esparsa
• Convolução
• Variância / Desvio padrão
• MSE - Erro mínimo quadrático
• Regressão linear, logística

• Dropout - descarte aleatório de informação - eficiente para evitar overfiting
• softmax
• Modelos de rede criados
  • AlexNet
  • VGG
• overfiting
• Redes neurais
  • multi layer perceptor
  • rede neural convolucional
  • fully convolutional
  • recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
    • LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa

• Word embedding - reduz dimensões mantendo significado
• Corpus de texto
• Stop-words - palavras que se repetem muito, como pronomes e artigos
• Algoritmos
  • CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
  • Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
  • Word2Vec - implementação eficiente do CBOW e Skip-gram
• Bibliotecas
  • NLTK

• Fast.AI - biblioteca sobre PyTorch e cursos
• Keras - biblioteca feita sobre Tensorflow
• NLP
  • SciKit
  • GloVe - usa vetores
  • Fast Text - usa vetores - tem pronto em PT
  • Google Transformer - supra sumo, considera contexto. Análise
• RNN - LSTM
• Séries temporais - decomposição de séries - Prophet
• Knime - ferramenta opensource gráfica para ciência de dados