Bu kütüphane, L2 Regülasyon takımının TeknoFest 2023 yarışması Aşağılayıcı Söylemlerin Doğal Dil İşleme ile Tespiti alt kolu için geliştirdiği mimarinin kaynak kodlarını içermektedir.
Bu döküman sadece repository'nin kullanımına dair yönergeleri içermektedir. Aşağıdaki listeden ilgili bölümlere ait daha detaylı dökümanlara ulaşabilirsiniz.
- Çözüm Geliştirme Süreci Detayları
- Denenen Modeller/Yaklaşımlar ve Sonuçları
- Nihai Çözüm Mimarisi ve Kullanılan Teknolojiler
- NVIDIA GPU
- Docker
- NVIDIA Container Toolkit
Bir klasörün içerisinde terminalinizi açıp aşağıdaki komutu çalıştırın.
git clone https://github.com/L2-Regulasyon/Teknofest2023.git
Projenin ana klasörüne gidin ve aşağıdaki komutu çalıştırın.
docker build -f Dockerfile -t l2reg .
NOT: Buradan itibaren olan adımlarda $PWD değişkeninin düzgün çalışabilmesi adına lütfen klasör yollarınızda boşluk veya kaçış karakteri barındırmamaya özen gösterin.
Projenin ana klasörüne gidin ve aşağıdaki komutu çalıştırın.
docker run -v $PWD:/tmp/working \
-v ${HOME}/.cache:/container_cache \
-w=/tmp/working \
-e "XDG_CACHE_HOME=/container_cache" \
-p 7860:7860 --gpus all --rm -it l2reg \
python app.py
Jupyter sunucusunu aşağıdaki kod ile başlatarak analysis altındaki notebook dosyalarını yeniden çalıştırabilirsiniz.
docker run -v $PWD:/tmp/working \
-v ${HOME}/.cache:/container_cache \
-w=/tmp/working \
-e "XDG_CACHE_HOME=/container_cache" \
-p 8888:8888 --ipc=host \
--gpus all --rm -it l2reg \
jupyter notebook --no-browser --ip="0.0.0.0" \
--notebook-dir=/tmp/working --allow-root
Bütün model setini tekrar eğitmek için aşağıdaki kodu çalıştırabilirsiniz.
docker run -v $PWD:/tmp/working \
-v ${HOME}/.cache:/container_cache \
-w=/tmp/working \
-e "XDG_CACHE_HOME=/container_cache" \
--gpus all --rm -it l2reg \
bash create_model_zoo.sh
Eğitim parametrelerini değiştirerek daha özelleştirilmiş eğitimler koşmak istiyorsanız bu dökümanı inceleyebilirsiniz.