===== Dicas =====

Referência externa muito boa: https://chrisalbon.com/

===  ===
  * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]
  * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
  * Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM

=== NLP ===
  * Imagem e áudio tem informações densas, texto é esparso
  * Pode se fazer CNN em NLP
  * Problema do Word embedding: não lida com contexto (ex: manga fruta, manga da roupa)
    * Google lançou Transformer (+- embedding com contexto)
  

===== Glossário =====
  * Função de ativação
  * Função objetivo
  * Random forest
  * max pooling / average pooling / global pooling - [[https://alexisbcook.github.io/2017/global-average-pooling-layers-for-object-localization/|reduz a quantidade de informação]]
  * back propagation
  * learning rate
  * data augmentation - ex: [[https://github.com/aleju/imgaug|imgaug]]
  * one hot encoding / get dummies / to categorical
  * SVM
  * PCA
  * TSNE

=== Álgebra Linear ===
  * Matriz esparsa
  * Convolução
  * Variância / Desvio padrão
  * MSE - Erro mínimo quadrático
  * Regressão linear, logística

=== Redes Neurais ===
  * [[http://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf|Dropout]] - descarte aleatório de informação - eficiente para evitar overfiting
  * softmax
  * Modelos de rede criados
    * AlexNet
    * VGG
  * overfiting
  * Redes neurais
    * multi layer perceptor
    * rede neural convolucional
    * fully convolutional
    * recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
      * LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa

=== NLP ===
  * Word embedding - reduz dimensões mantendo significado
  * //Corpus// de texto
  * Stop-words - palavras que se repetem muito, como pronomes e artigos
  * Algoritmos
    * CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
    * Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
    * Word2Vec - implementação eficiente do CBOW e Skip-gram
  * Bibliotecas
    * [[http://www.nltk.org/|NLTK]]

===== Referências =====
  * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch e cursos
  * [[https://keras.io/|Keras]] - biblioteca feita sobre Tensorflow
  * NLP
    * [[https://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html|SciKit]]
    * [[https://nlp.stanford.edu/projects/glove/|GloVe]] - usa vetores
    * [[https://fasttext.cc/|Fast Text]] - usa vetores - tem pronto em PT
    * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Google Transformer]] - supra sumo, considera contexto. [[https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/|Análise]]
  * RNN - [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|LSTM]]
  * Séries temporais - decomposição de séries - [[https://facebook.github.io/prophet/docs/quick_start.html|Prophet]]
  * [[https://www.knime.com/knime-analytics-platform|Knime]] - ferramenta opensource gráfica para ciência de dados