Bakalarska prace (Bachelor thesis) - Speaker separation in time domain.
- TasNet - v1 (Puvodni)
- TasNet - v2
- TasNet - v3 (Nova prace TasNet - 2019 (v3) - zlepseny popis modelu atd.)
- SI-SNR source code repo
- www.deeplearningbook.org
- http://www.jzus.zju.edu.cn/oldversion/opentxt.php?doi=10.1631/FITEE.1700814
- NN kurz https://www.coursera.org/learn/neural-networks-deep-learning
- sanyamkapoor.com
- pythontips
- arxiv paper
- pytorch
- arxiv paper
- conv nets in pytorch
- wav
- urban sound classification
- resnet
- neural networks separation model IEEE
- https://wiki.aalto.fi/display/ITSP/Spectrogram+and+the+STFT
- https://stackoverflow.com/questions/42883547/intuitive-understanding-of-1d-2d-and-3d-convolutions-in-convolutional-neural-n
- recent advances in cnn
- http://yann.lecun.com/exdb/publis/index.html#lecun-89
- http://yann.lecun.com/ex/research/index.html
tidy yout bibtex generator tabulek
- prvni schuze po lete
- mala zmena zadani - vliv hyperparametru na vysledky modelu a jak je zmensit tak, aby to co nejmene ovlivnilo vysledne fungovani site
- Google colab VS skolni cluster
- vyhody a nevyhody
- klikani, omezena doba trenovani, snazsi pristup, lze rozdelit zdrojak a data na git a drive, etc.
- ssh, automatizace, nutne opravneni k pristupu, pracuje nezavisle na pc, etc.
- vyhody a nevyhody
- domluva na pravidelnych schuzkach - Utery - cca 18 hod
- Dalsi kroky:
- vyzkouset google colab
- upravit zadani
- udelat tento zaznam
- pozvanka na git
- debata o nove verzi prace
- rady ohledne psani textu (citace, bib)
- dalsi konzultace ve Stredu 23. 10. v 17 hodin
- skipped
- rozjel jsem Google colab + Google Drive a GPU notebook
- Error Index out of bound: nalezena chyba u zpracovani nahravky cca cislo. 2900 neco a souvisejici collate_fn
- vysledky dosavadniho trenovani: zatim dost nanic
- loss funkce pro moznost sledovat vizualne progress trenovani
- zobrazeni rekonstruovanych nahravek v programu Audacity
- Dalsi kroky:
- [DONE] extrahovat jednotlive tridy do vlastnich souboru a parametrizovat instanciaci pro snazsi volani site v ruznych konfiguracich
- [DONE] Error: zpustit sit na vsech nahravkach !bez trenovani!, abych mohl jednoduse opravit tu chybu se zpracovanim nahravek kolem c.2900
- [DONE] Batch: size batch > 1 -definovat collate_fn funkci
- zero padding uplne na zacatku trenovani - jeste pred ResBlocky, protoze pokud budu mit vetsi batche, tak nahravky budou ruzne dlouhe, a to by zpusobovalo problemy s rozmery jako nyni, takze je potrebe je zarovnat na delku nejdelsi nahravky v batchi.
- [DONE] loss funkce: ukladat si hodnoty loss nekam do souboru s moznosti to kdykoli vykreslit a pro perzistentnost techto dat. Ulozit tam i aktualni konfiguraci site (mozna do nazvu).
- vypsat vsechny rozmery tensoru skrze sit v prubehu zpracovani a trenovani nahravek a zjistit, jestli tvary odpovidaji tem ve studii a jestli se vsude deje to, co se dit ma.
- viz. ../konzultace_poznamky.txt
- chyba s indexem byla opravena a sit se zacala konecne ucit spravne separovat mluvci jiz po 3. epose
- sit projela vsech 20k ucicich nahravek
- dalsi kroky:
- zprovoznit inferenci, pripadne moznost siti predat ID nahravky a nechat si vyhodit separovanou smes.
- zkontrolovat rozmery v prubehu site
- ukazka vykresleni loss funkce
- ukazka moznosti inference
- dalsi kroky:
- [DONE] Pridat zde do testovani SI_SNR a pro kazdou nahravku a vysledky zprumerovat a vyhodnotit
- [DONE] Rozdlit do souboru a parametrizovat tridy a presunout je do zvlastnich souboru .py
- [TODO] vykreslit i validacni loss
- [TODO] ukladat a upravit funkci aby vykreslila obe dve z trenovani i validacni a jinou barvou pres sebe
- [DONE] nechat zpracovavat celou validacni mnozinu
- nechat poradne natrenovat jednu sit s nejakou konfiguraci
- [DONE] rozjet si-snr na testovaci mnozine a zprumerovat.
- [TODO] make repo public a umoznit tak jednoduse ukladat/loadovat zdrojaky z/na git
- skipped
- [INFO] 21. 1. 2020 Obhajoba - 7min, prezentace co delam / udelal/ co funguje, nefunguje...
- Nalezen problem s nacitanim checkpointu, ze nesedi jaksi rozmery, i kdyz by sedet mely.
- je mozne ze to je kvuli nejake zmene v siti a checkpoint tuto zmenu nereflekoval
- dalsi kroky:
- [TODO] Zkusit udelat novy checkpoint s ruznymi X a R a nasledne ho zkusit nahrat.
- [TODO] kouknout na pytorch errory, co mi to hazi uz nejakou dobu, mela by to byt hovadina jen
- [DONE] napsat si svou loss funkci - SI-SNR jako learning objective.
- [DONE] mini-batche
- [DONE] segmentovat nahravky na 4s
- skipped
- pro trenovani zkusit nahravky rozdelit po 4 sekundach. kratsi dopaddovat nulama, delsi rozdelit a treba pro nahravku 1-6 vzit 1-4 a pak 3-6, aby se prolinaly konce/zacatky.
- pozn.: pvni dimenze je obvykle velikost batche / v reshapech atd. ta by mela zustat vzdy na prvnim miste
- pozn.: loss funkci bych mel spocitat pro s1 a s2 zvlast
- +pred loss pak zase vyhodit to padovani ??
- dalsi kroky:
- [DONE] je nutne udelat Cross-validaci viz papir a ruzne poscitat vysledky loss funkce a vybrat nejlepsi a tu pouzit pro backprop.
- [DONE] segmentace a padding a minibatche
- Prezentace
- Obsah: https://wis.fit.vutbr.cz/FIT/st/bci-com-l.php.cs?id=9
- Do kdy odevzdat zdrojaky: neni nutne
- Co vse odevzdat: neni nutne
- upgrade RAMky
- segmentace nahravek - v main.py ukazat
- zprovoznena segmentace a cross validace mezi loss hodnotami
- DOTAZ: jak je to se segmentaci u Validace a Test?
- u Validacni jo
- u Testovaci ne (cele nahravky - pripadne batch o velikosti 1)
- DOTAZ: ma byt nekde minus u siSNR obj funkce? -sisnr() - sisnr() a nechat min.
- DOTAZ: delka segmentu a delka prekryti: segmenty nechat a prekryti oddelat.
- Error - index out of range - v main v cyklu segmentovat cely dataset a najit chybu.
- dalsi kroky:
- [DONE] oddelat prekryti
- [DONE] batch size tak velkou co to jde ... az dokud to nespadne pametove
- [DONE]mozna neni nutne paddovani nulama, ale u posledniho nekompletniho segmentu vzit ty 4 sekundy od konce
- [DONE] cca do ctvrtka nastin prezentace
- [DONE] U testovaci sady zadne batche, ale cele nahravky (prip. batch o velikosti 1)
- konzultace k prezentaci
- Feedback viz dokument
[DONE] Zmenena segmentace tak, aby vzala pro posledni segment posledni 4 sekundy, misto paddovani nulama. Nulama se paduje uz jen u nahravek, ktere jsou kratsi nez 4 sekundy.
[DONE] zkontrolovat pri inferenci pocet kanalu a vzorkovani.
[DONE] Zprovozneno Testovani
[DONE] Zprovoznena inference
[DONE] Sit se trenuje
[DONE] je potreba spravit trenovani. Spravne se projede jen prvni epocha, a z nejakeho duvodu se to dal .. - kazda druha epocha se neprovede, ostatni jsou moc rychle.
- Pametova narocnost pri inferenci nahravky dlouhe 7minut (350MB)
[DONE] nemela by se loss pocitat jako average?
[DONE] scripty pro gdrive
[DONE] proc loss klesa do minusu
- veci kolem textu a experimentu
- veci kolem textu a experimentu
- konzultace textu
- oznaceni prevzatych funkci ve zdrojovem kodu
- komentare k textu
- pohrat si s Learning rate, pouzit tu co dava nejlepsi vysledky. Zvolit nejakou idealni pro vsechny velikosti site.
- Pozn: Vetsi model neznamena lepsi loss
- konzultace k textu:
- info o kapitole TasNet
- prvne rozvrhnout podle sebe, pak az kouknout na studii
- nejde to vymyslet cele znova
- pri parafrazi nejakeho bloku ocitovat i citace z toho bloku a procist si letmo co cituji
- uprava algoritmuuu
- najit si konvence a upravit podle toho
- udelat komentare treba kurzivou, zbytek jinak
- obrazek se segmentaci a minibatchema - mozna do nej zakomponovat alespon 2 nebo 3 nahravky zasebou, ale aby to nebylo zmatene
- dopsat sisnr a loss podkapitolu v implementaci, a pokud by se pak ukazalo, ze bude lepsi to hodit do TasNet kapitoly, tak to presunout.
- **moznost osobni konzultace**
- Done:
- upraven Uvod a ref na studii
- upraven text podle komentaru
- ozdrojovane nejake obrazky kterymi jsem se inspiroval
- Obj funkce, mseloss, cross entrophy
- Prokonzultovat SDR, STOI, PESQ vysledky testovani
- impl PESQ vypocet - min, nebo aktualni max?
- natrenovane modely info
- zkratky a anglicke nazvy metod... kdy bold, kdy italic
- tucnym setrit, jen kdyz neco hodne zvyraznit, ale moc nepouzivat.
- kurziva taky zridka. proste podle citu
- [todo] ukazat komentar prevzateho kodu - jestli to staci.
- [DONE] do nazvu podkapitol nedavat zkratku, jen ten angl nazev - relu ...
- [DONE] feedforward -> dopredna
- [DONE] v rovnicich vektory a matice jsou tucne.
- ! upravit italic a bold text
- [DONE] dopsat validacni dataset v trenovani
- [DONE] texttt pro zdrojove veci
- uprava algoritmuuu
- najit si konvence a upravit podle toho
- udelat komentare treba kurzivou, zbytek jinak
- [DONE] note: kde udelat grafy: numpy nebo scipy
- [DONE] exp - staci dve desetine mista 0.00
- [DONE] exp - pohlavi - vysledky staci jednoho modelu, vysledky stejne budou podobne.
- [DONE] exp - tasnet exp - pridat do tabulky nejaky muj model, takovej co ma stejne param moje vysledky
- DONE
- (vliv delky je naspsanej spravne, takze tak udelat i XR)
- [TODO] to co popisuji by bylo lepsi mit u sebe v tabulkach.
- v ramci jedne tebulky neco srovnavam
- vytucnit to, co je v tabulce nejlepsi
- nevadi, kdyz by byly duplicitni data
- takze tavulka a podto jeji popis
- teoreticky sloucit tabulky 6.2 a 6.1
- a do dalsi tabulky dat X8, X6, X4 a R4 a popsat jak to ovlivnuje vysledky.
- Finalni zhodnoceni textu
- Co vsechno odevzdat
- ..
-