Ferramentas do usuário

Ferramentas do site


ti_publica:dicas_ia

Diferenças

Aqui você vê as diferenças entre duas revisões dessa página.

Link para esta página de comparações

Ambos lados da revisão anteriorRevisão anterior
Próxima revisão
Revisão anterior
Última revisãoAmbos lados da revisão seguinte
ti_publica:dicas_ia [2019/11/22 11:20] – [Glossário] cartolati_publica:dicas_ia [2019/11/23 17:25] cartola
Linha 1: Linha 1:
-==== Dicas ====+===== Dicas ====
 + 
 +Referência externa muito boa: https://chrisalbon.com/
  
 ===  === ===  ===
   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]
   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
 +  * Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM
  
 === NLP === === NLP ===
   * Imagem e áudio tem informações densas, texto é esparso   * Imagem e áudio tem informações densas, texto é esparso
 +  * Pode se fazer CNN em NLP
 +  * Problema do Word embedding: não lida com contexto (ex: manga fruta, manga da roupa)
 +    * Google lançou Transformer (+- embedding com contexto)
 +  
  
-==== Glossário ====+===== Glossário =====
   * Função de ativação   * Função de ativação
   * Função objetivo   * Função objetivo
Linha 18: Linha 25:
   * one hot encoding / get dummies / to categorical   * one hot encoding / get dummies / to categorical
   * SVM   * SVM
 +  * PCA
 +  * TSNE
  
-=== Álgebra Linear+=== Álgebra Linear ===
   * Matriz esparsa   * Matriz esparsa
   * Convolução   * Convolução
Linha 37: Linha 46:
     * rede neural convolucional     * rede neural convolucional
     * fully convolutional     * fully convolutional
 +    * recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
 +      * LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa
  
 === NLP === === NLP ===
   * Word embedding - reduz dimensões mantendo significado   * Word embedding - reduz dimensões mantendo significado
   * //Corpus// de texto   * //Corpus// de texto
 +  * Stop-words - palavras que se repetem muito, como pronomes e artigos
   * Algoritmos   * Algoritmos
     * CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores     * CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
     * Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior     * Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
     * Word2Vec - implementação eficiente do CBOW e Skip-gram     * Word2Vec - implementação eficiente do CBOW e Skip-gram
 +  * Bibliotecas
 +    * [[http://www.nltk.org/|NLTK]]
  
-==== Referências ====+===== Referências =====
   * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch e cursos   * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch e cursos
   * [[https://keras.io/|Keras]] - biblioteca feita sobre Tensorflow   * [[https://keras.io/|Keras]] - biblioteca feita sobre Tensorflow
 +  * NLP 
 +    * [[https://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html|SciKit]] 
 +    * [[https://nlp.stanford.edu/projects/glove/|GloVe]] - usa vetores 
 +    * [[https://fasttext.cc/|Fast Text]] - usa vetores - tem pronto em PT 
 +    * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Google Transformer]] - supra sumo, considera contexto. [[https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/|Análise]] 
 +  * RNN - [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|LSTM]] 
 +  * Séries temporais - decomposição de séries - [[https://facebook.github.io/prophet/docs/quick_start.html|Prophet]]
ti_publica/dicas_ia.txt · Última modificação: 2019/12/22 06:58 por cartola