Prediction not generated during testing

[samin9796]

I am using docker cpu-latest image from wav2letter. I got two test fails in docker - Seq2seq test and w2lModule test. When I ran the Test binary file to get transcripts of some audio files, there were only the references but no predictions were generated. And it showed 100% WER. Previously, I used the docker Cuda version on another computer with GPU and didn't face any trouble. How to get around this problem?

*** I am using Ubuntu 20.04

I0507 19:57:12.303287 13 Test.cpp:104] Number of classes (network): 178
I0507 19:57:12.376544 13 Test.cpp:111] Number of words: 38470
I0507 19:57:12.438061 13 W2lListFilesDataset.cpp:141] 5 files found.
I0507 19:57:12.438081 13 Utils.cpp:102] Filtered 0/5 samples
I0507 19:57:12.438097 13 W2lListFilesDataset.cpp:62] Total batches (i.e. iters): 5
I0507 19:57:12.438108 13 Test.cpp:131] [Dataset] Dataset loaded.
|T|: ন া ম | প ্ র ক া শ ে | অ ন ি চ ্ ছ ু ক | এ ক | শ ি ক ্ ষ ক | ব ল ল ে ন | স ব া ই | স ু ন া ম ে র | ভ া গ ী দ া র | হ ত ে | চ া য় | এ | থ ে ক ে ই | ত ৈ র ি | হ য় ে ছ ে | ব ি ভ ে দ | দ ্ ব ন ্ দ ্ ব
|P|:
[sample: test3, WER: 100%, LER: 100%, total WER: 100%, total LER: 100%, progress (thread 0): 20%]
|T|: এ ই | দ ্ ব ন ্ দ ্ ব ে | য ে | ফ ু ট ব ল া র র া | ক ্ ষ ত ি গ ্ র স ্ ত | হ চ ্ ছ ে | প ি ছ ি য় ে | প ড় ছ ে | ক ল স ি ন ্ দ ু র ে র | ফ ু ট ব ল | স ে ট ি র | প ্ র ম া ণ | গ ত | দ ু ই | ব ছ র ে | ব ঙ ্ গ ম া ত া | ফ জ ি ল া ত ু ন ্ ন ে ছ া | গ ো ল ্ ড | ক া প ে | ত া দ ে র | ফ ল া ফ ল | ভ া ল ো | ছ ি ল | ন া
|P|:
[sample: test4, WER: 100%, LER: 100%, total WER: 100%, total LER: 100%, progress (thread 0): 40%]
|T|: গ ত | ম ঙ ্ গ ল ব া র | ব ি ক ে ল ে | স ো ন া ল ি | র ো দ ্ দ ু র ে | এ ক ঝ া ঁ ক | ম ে য় ে র | এ ক া গ ্ র | অ ন ু শ ী ল ন | দ ে খ ে ই | ব ো ঝ া | য া য় | এ ট া ই | স ে ই | ম া ঠ | য ে খ া ন ে | ফ ু ট ব ল া র | হ ও য় া র | প ্ র থ ম | দ ী ক ্ ষ া | প ে য় ে ছ ে | ত হ ু র া | ম া র ি য় া | শ া ম স ু ন ্ ন া হ া র | ম া র ্ জ ি য় া র া
|P|:
[sample: test2, WER: 100%, LER: 100%, total WER: 100%, total LER: 100%, progress (thread 0): 60%]
|T|: ০ ১ ক থ ো প ক থ ন | ত ু ই | ন া ক ি | আ র ব | দ ে শ ে | য া চ ্ ছ ি স | ব া দ শ া | ক ি ছ ু | ব ল ে | ন া | ব ো ন | ত া র | হ া ত | ধ র ে | আ ব া র | ব ল ে | স ত ্ য ি | ব া দ শ া ক ে | ভ া ত | ব ে ড় ে | দ ি য় ে | ব ল ে | ত ল ে | ত ল ে | ক খ ন | ত ু ই | ঠ ি ক | ক র ল ি
|P|:
[sample: test1, WER: 100%, LER: 100%, total WER: 100%, total LER: 100%, progress (thread 0): 80%]
|T|: ত ি ন ি | ব ল ে ন | ম ফ ি জ | উ দ ্ দ ি ন ক ে | প ্ র ধ া ন | ক ো চ | ও | জ ু য় ে ল | ম ি য় া ক ে | স হ ক া র ী | ক ো চ | ক র া | হ য় ে ছ ি ল | ক ি ন ্ ত ু | এ র প র | ত ি ন ি | দ ী র ্ ঘ দ ি ন | দ ে শ ে র | ব া ই র ে | থ া ক া য় | স র ্ ব শ ে ষ | অ ব স ্ থ া | জ া ন ত ে | প া র ে ন ন ি
|P|:
[sample: test5, WER: 100%, LER: 100%, total WER: 100%, total LER: 100%, progress (thread 0): 100%]
I0507 19:57:13.578896 13 Test.cpp:317] ------
I0507 19:57:13.578903 13 Test.cpp:318] [Test test.lst (5 samples) in 1.1401s (actual decoding time 0.228s/sample) -- WER: 100, LER: 100]

[tlikhomanenko]

Could you post which version of fl and w2l are you using?

[samin9796]

@tlikhomanenko I downloaded the following image which was last pushed 9 months ago by wav2letter. Not sure which version of fl and w2l it is.

https://hub.docker.com/layers/wav2letter/wav2letter/cpu-latest/images/sha256-6f470c3c42f0688143af1f51bfecb70a49c285b16e69100fe702525a1e404353?context=explore

[tlikhomanenko]

We had problem with cpu backend before and it was not consistent with cuda (so cuda trained model didn't give the same output with cpu). This is fixed in current fl master with switching to onednn and improving the operations itself. So please if you can use latest master for cpu train/inference. cc @jacobkahn on more detail on this.