Atividades de NLP realizadas para a disciplina cursada no 1s2024, na FEEC-Unicamp.
Cada atividade está contida dentro da pasta segundo a numeração, e consiste de uma tarefa de implementação e uma tarefa de leitura de um artigo.
| Número | Nome | Descrição-Implementação | Artigo lido |
|---|---|---|---|
| 01 | Exercícios Preliminares | Exercícios com conceitos básicos de ML e leitura de artigo sobre modelos fundacionais | "On the Opportunities and Risks of Foundation Models" (Bommasani et al., 2022) |
| 02 | Modelo Bengio | Implementação do modelo de predição de palavra descrito no artigo lido | "A Neural Probabilistic Language Model" (Bengio, 2003) |
| 03 | Auto Atenção | Implementação de mecanismo de auto-atenção | “Attention is All you Need” (Vaswani et al., 2017) |
| 04 | Máscara causal | Implementação completa de transformer decoder-only | “Language Models are Unsupervised Multitask Learners” (Radford at al., 2018) |
| 05 | BERT | Finetunig do modelo BERT para realizar sentiment analisys | "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (Devlin et al.) |
| 06 | LoRA | Implementação da técnica LoRA para as camadas lineares e de embedding do modelo 02 (Modelo Bengio) | "LoRA: Low-Rank Adaptation of Large Language Models" (Hu et al). |
| 07 | QLoRA | Finetuning utilizando QLoRA | "QLoRA: Efficient Finetuning of Quantized LLMs" (Dettmers et al.) |
| 08 | Prompt Engineering | Engenharia de prompts para melhoria de análise de sentimento no dataset IMDB | "A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications" (Sahoo et al.) |
| 09 | RAG | Reprodução da técnica de RAG "Visconde" | "Retrieval-Augmented Generation for Large Language Models: A Survey" (Gao et al.) |
| 10 | ReAct | Implementação do ReAct para RAG | "ReAct: Synergizing Reasoning and Acting in Language Models" (Yao et al.) |
| 11 | RAGAS | Implementação do RAGAs para avaliar o dataset IIRC | "RAGAs: Automated Evaluation of Retrieval Augmented Generation" (Es et al.) |