Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Add tests for read_excel / read_csv combinations [TCTC-2753] #150

Open
fspot opened this issue May 19, 2022 · 1 comment
Open

Add tests for read_excel / read_csv combinations [TCTC-2753] #150

fspot opened this issue May 19, 2022 · 1 comment
Labels
testing Testing

Comments

@fspot
Copy link
Member

fspot commented May 19, 2022

If we want to leverage pandas features but still be confident about options supported, here's a list of what appears to be used on our instances, in order to test those :

read_excel options used : 

{'skipfooter', 'names', 'converters', 'header', 'mangle_dupe_cols', 'parse_dates', 'convert_float', 'na_values', 'sheet_name', 'skiprows', 'dtype', 'nrows', 'encoding', 'type', 'date', 'decimal', 'keep_default_na', 'usecols', 'thousands'}

Combinations of options actually used : 

{'parse_dates': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'names': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'decimal': '<?>', 'type': 'excel'}
{'names': '<?>', 'type': 'excel'}
{'convert_float': '<?>', 'parse_dates': '<?>', 'type': 'excel'}
{'encoding': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'parse_dates': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'parse_dates': '<?>', 'type': 'excel'}
{'header': '<?>', 'names': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel', 'usecols': '<?>'}
{'sheet_name': '<?>', 'thousands': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'convert_float': '<?>', 'skipfooter': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'header': '<?>', 'sheet_name': '<?>', 'type': 'excel', 'usecols': '<?>'}
{'convert_float': '<?>', 'keep_default_na': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'thousands': '<?>', 'type': 'excel'}
{'sheet_name': '<?>', 'type': 'excel'}
{'keep_default_na': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'convert_float': '<?>', 'mangle_dupe_cols': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'convert_float': '<?>', 'type': 'excel'}
{'date': '<?>', 'type': 'excel'}
{'keep_default_na': '<?>', 'na_values': '<?>', 'type': 'excel'}
{'nrows': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'converters': '<?>', 'type': 'excel'}
{'sheet_name': '<?>', 'skipfooter': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'type': 'excel'}
{'skiprows': '<?>', 'type': 'excel'}
{'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'sheet_name': '<?>', 'type': 'excel', 'usecols': '<?>'}
{'na_values': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'mangle_dupe_cols': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'keep_default_na': '<?>', 'parse_dates': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'header': '<?>', 'sheet_name': '<?>', 'type': 'excel', 'usecols': '<?>'}
{'header': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'parse_dates': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'na_values': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'thousands': '<?>', 'type': 'excel'}
{'converters': '<?>', 'parse_dates': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'keep_default_na': '<?>', 'na_values': '<?>', 'sheet_name': '<?>', 'type': 'excel'}
{'dtype': '<?>', 'parse_dates': '<?>', 'sheet_name': '<?>', 'type': 'excel', 'usecols': '<?>'}
{'encoding': '<?>', 'type': 'excel'}
{'parse_dates': '<?>', 'type': 'excel'}
{'na_values': '<?>', 'type': 'excel'}
{'names': '<?>', 'sheet_name': '<?>', 'skiprows': '<?>', 'type': 'excel'}
{'header': '<?>', 'type': 'excel'}

read_csv options used : 

{'quoting', 'dayfirst', 'low_memory', 'names', 'sep', 'delimiter', 'skipinitialspace', 'parse_dates', 'na_values', 'sheet_name', 'skiprows', 'skip_blank_lines', 'delim_whitespace', 'dtype', 'float_precision', 'compression', 'nrows', 'keep_default_na', 'quotechar', 'skipfooter', 'cache_dates', 'doublequote', 'infer_datetime_format', 'error_bad_lines', 'na_filter', 'warn_bad_lines', 'index_col', 'chunksize', 'header', 'mangle_dupe_cols', 'keep_date_col', 'encoding', 'type', 'decimal', 'usecols', 'thousands'}
@fspot fspot added the testing Testing label May 19, 2022
@Sanix-Darker
Copy link
Member

Thanks for this @fspot 👍🏾

@Sanix-Darker Sanix-Darker changed the title Add tests for read_excel / read_csv combinations Add tests for read_excel / read_csv combinations [TCTC-2753] May 19, 2022
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
testing Testing
Projects
None yet
Development

No branches or pull requests

2 participants