Ferramentas do usuário

Ferramentas do site


ti_publica:dicas_ia

Diferenças

Aqui você vê as diferenças entre duas revisões dessa página.

Link para esta página de comparações

Ambos lados da revisão anteriorRevisão anterior
Próxima revisão
Revisão anterior
Última revisãoAmbos lados da revisão seguinte
ti_publica:dicas_ia [2019/11/22 09:06] cartolati_publica:dicas_ia [2019/11/23 17:25] cartola
Linha 1: Linha 1:
-=== Dicas ===+===== Dicas ===== 
 + 
 +Referência externa muito boa: https://chrisalbon.com/ 
 + 
 +===  ===
   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]   * [[https://machinelearningmastery.com/cross-entropy-for-machine-learning/|Toda vez que a saída for binária a função objetivo é uma entropia cruzada binária]]
   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada   * Toda vez que saída for categorizada: Função **softmax** vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
 +  * Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM
  
-=== Referências === +=== NLP === 
-  * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch cursos +  * Imagem áudio tem informações densas, texto é esparso 
-  * [[https://keras.io/|Keras]] biblioteca feita sobre Tensorflow+  * Pode se fazer CNN em NLP 
 +  * Problema do Word embeddingnão lida com contexto (ex: manga fruta, manga da roupa) 
 +    * Google lançou Transformer (+embedding com contexto) 
 +  
  
-=== Glossário / conceitos ===+===== Glossário =====
   * Função de ativação   * Função de ativação
   * Função objetivo   * Função objetivo
 +  * Random forest
 +  * max pooling / average pooling / global pooling - [[https://alexisbcook.github.io/2017/global-average-pooling-layers-for-object-localization/|reduz a quantidade de informação]]
 +  * back propagation
 +  * learning rate
 +  * data augmentation - ex: [[https://github.com/aleju/imgaug|imgaug]]
 +  * one hot encoding / get dummies / to categorical
 +  * SVM
 +  * PCA
 +  * TSNE
 +
 +=== Álgebra Linear ===
 +  * Matriz esparsa
 +  * Convolução
   * Variância / Desvio padrão   * Variância / Desvio padrão
   * MSE - Erro mínimo quadrático   * MSE - Erro mínimo quadrático
-  * Regressão linear +  * Regressão linear, logística 
-  Redes neurais + 
-  * Convolução +=== Redes Neurais === 
-  * max pooling +  * [[http://jmlr.org/papers/volume15/srivastava14a.old/srivastava14a.pdf|Dropout]] - descarte aleatório de informação - eficiente para evitar overfiting 
-  * back propagation +  * softmax 
-  * over fitting +  * Modelos de rede criados
-  * Redes+
     * AlexNet     * AlexNet
     * VGG     * VGG
 +  * overfiting
 +  * Redes neurais
 +    * multi layer perceptor
 +    * rede neural convolucional
 +    * fully convolutional
 +    * recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
 +      * LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa
  
 +=== NLP ===
 +  * Word embedding - reduz dimensões mantendo significado
 +  * //Corpus// de texto
 +  * Stop-words - palavras que se repetem muito, como pronomes e artigos
 +  * Algoritmos
 +    * CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
 +    * Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
 +    * Word2Vec - implementação eficiente do CBOW e Skip-gram
 +  * Bibliotecas
 +    * [[http://www.nltk.org/|NLTK]]
  
 +===== Referências =====
 +  * [[https://www.fast.ai/|Fast.AI]] - biblioteca sobre PyTorch e cursos
 +  * [[https://keras.io/|Keras]] - biblioteca feita sobre Tensorflow
 +  * NLP
 +    * [[https://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html|SciKit]]
 +    * [[https://nlp.stanford.edu/projects/glove/|GloVe]] - usa vetores
 +    * [[https://fasttext.cc/|Fast Text]] - usa vetores - tem pronto em PT
 +    * [[https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html|Google Transformer]] - supra sumo, considera contexto. [[https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/|Análise]]
 +  * RNN - [[http://colah.github.io/posts/2015-08-Understanding-LSTMs/|LSTM]]
 +  * Séries temporais - decomposição de séries - [[https://facebook.github.io/prophet/docs/quick_start.html|Prophet]]
ti_publica/dicas_ia.txt · Última modificação: 2019/12/22 06:58 por cartola