Ferramentas do usuário

Ferramentas do site


ti_publica:dicas_ia

Diferenças

Aqui você vê as diferenças entre duas revisões dessa página.

Link para esta página de comparações

Ambos lados da revisão anteriorRevisão anterior
Próxima revisão
Revisão anterior
ti_publica:dicas_ia [2019/11/22 10:41] cartolati_publica:dicas_ia [2019/12/22 06:58] (atual) – [Referências] cartola
Linha 1: Linha 1:
-=== Dicas ===+===== Dicas ===== 
 + 
 +Referência externa muito boa: https://chrisalbon.com/ 
 + 
 +===  ===
   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]
   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
 +  * Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM
  
-=== Referências === +=== NLP === 
-  * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch cursos +  * Imagem áudio tem informações densas, texto é esparso 
-  * [[https://keras.io/|Keras]] biblioteca feita sobre Tensorflow+  * Pode se fazer CNN em NLP 
 +  * Problema do Word embeddingnão lida com contexto (ex: manga fruta, manga da roupa) 
 +    * Google lançou Transformer (+embedding com contexto) 
 +  
  
-=== Glossário / conceitos ===+===== Glossário =====
   * Função de ativação   * Função de ativação
   * Função objetivo   * Função objetivo
-  * Variância / Desvio padrão +  * Random forest
-  * MSE - Erro mínimo quadrático +
-  * Regressão linear +
-  * Redes neurais +
-    * multi layer perceptor +
-    * rede neural convolucional +
-    * fully convolutional +
-  * Convolução+
   * max pooling / average pooling / global pooling - [[https://alexisbcook.github.io/2017/global-average-pooling-layers-for-object-localization/|reduz a quantidade de informação]]   * max pooling / average pooling / global pooling - [[https://alexisbcook.github.io/2017/global-average-pooling-layers-for-object-localization/|reduz a quantidade de informação]]
   * back propagation   * back propagation
-  * overfiting 
   * learning rate   * learning rate
   * data augmentation - ex: [[https://github.com/aleju/imgaug|imgaug]]   * data augmentation - ex: [[https://github.com/aleju/imgaug|imgaug]]
-  * [[http://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf|Dropout]] - descarte aleatório de informação - eficiente para evitar overfiting 
   * one hot encoding / get dummies / to categorical   * one hot encoding / get dummies / to categorical
-  * Redes+  * SVM 
 +  * PCA 
 +  * TSNE 
 + 
 +=== Álgebra Linear === 
 +  * Matriz esparsa 
 +  * Convolução 
 +  * Variância / Desvio padrão 
 +  * MSE - Erro mínimo quadrático 
 +  * Regressão linear, logística 
 + 
 +=== Redes Neurais === 
 +  * [[http://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf|Dropout]] - descarte aleatório de informação - eficiente para evitar overfiting 
 +  * softmax 
 +  * Modelos de rede criados
     * AlexNet     * AlexNet
     * VGG     * VGG
 +  * overfiting
 +  * Redes neurais
 +    * multi layer perceptor
 +    * rede neural convolucional
 +    * fully convolutional
 +    * recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
 +      * LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa
  
 +=== NLP ===
 +  * Word embedding - reduz dimensões mantendo significado
 +  * //Corpus// de texto
 +  * Stop-words - palavras que se repetem muito, como pronomes e artigos
 +  * Algoritmos
 +    * CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
 +    * Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
 +    * Word2Vec - implementação eficiente do CBOW e Skip-gram
 +  * Bibliotecas
 +    * [[http://www.nltk.org/|NLTK]]
  
 +===== Referências =====
 +  * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch e cursos
 +  * [[https://keras.io/|Keras]] - biblioteca feita sobre Tensorflow
 +  * NLP
 +    * [[https://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html|SciKit]]
 +    * [[https://nlp.stanford.edu/projects/glove/|GloVe]] - usa vetores
 +    * [[https://fasttext.cc/|Fast Text]] - usa vetores - tem pronto em PT
 +    * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Google Transformer]] - supra sumo, considera contexto. [[https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/|Análise]]
 +  * RNN - [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|LSTM]]
 +  * Séries temporais - decomposição de séries - [[https://facebook.github.io/prophet/docs/quick_start.html|Prophet]]
 +  * [[https://www.knime.com/knime-analytics-platform|Knime]] - ferramenta opensource gráfica para ciência de dados
ti_publica/dicas_ia.1574430086.txt.gz · Última modificação: 2019/11/22 10:41 por cartola