ti_publica:dicas_ia
Tabela de conteúdos
Dicas
Referência externa muito boa: https://chrisalbon.com/
- Toda vez que saída for categorizada: Função softmax vai dar saída como probabilidade de um input pertencer a uma classe. Função objetivo é entropia cruzada categorizada
- Séries temporais com sazonalidade podem ser melhor tratadas com decomposição do que com LSTM
NLP
- Imagem e áudio tem informações densas, texto é esparso
- Pode se fazer CNN em NLP
- Problema do Word embedding: não lida com contexto (ex: manga fruta, manga da roupa)
- Google lançou Transformer (+- embedding com contexto)
Glossário
- Função de ativação
- Função objetivo
- Random forest
- max pooling / average pooling / global pooling - reduz a quantidade de informação
- back propagation
- learning rate
- data augmentation - ex: imgaug
- one hot encoding / get dummies / to categorical
- SVM
- PCA
- TSNE
Álgebra Linear
- Matriz esparsa
- Convolução
- Variância / Desvio padrão
- MSE - Erro mínimo quadrático
- Regressão linear, logística
Redes Neurais
- Dropout - descarte aleatório de informação - eficiente para evitar overfiting
- softmax
- Modelos de rede criados
- AlexNet
- VGG
- overfiting
- Redes neurais
- multi layer perceptor
- rede neural convolucional
- fully convolutional
- recorrentes - usado para NLP, séries temporais, sequências, dados seriados: tradução, respostas a perguntas, completar frases
- LSTM - RNN mais usada hoje em dia (Long Short-Term Memory) - Keras implementa
NLP
- Word embedding - reduz dimensões mantendo significado
- Corpus de texto
- Stop-words - palavras que se repetem muito, como pronomes e artigos
- Algoritmos
- CBOW - Continuous Bag-of-Words - prevê próxima palavra pelas N anteriores
- Skip-gram - contrário do CBOW - prevê N próximas palavras a partir da anterior
- Word2Vec - implementação eficiente do CBOW e Skip-gram
- Bibliotecas
Referências
- Fast.AI - biblioteca sobre PyTorch e cursos
- Keras - biblioteca feita sobre Tensorflow
- NLP
- GloVe - usa vetores
- Fast Text - usa vetores - tem pronto em PT
- Google Transformer - supra sumo, considera contexto. Análise
- RNN - LSTM
- Séries temporais - decomposição de séries - Prophet
- Knime - ferramenta opensource gráfica para ciência de dados
ti_publica/dicas_ia.txt · Última modificação: por cartola