Introduction aux fonctions.ipynb

{"cells":[{"metadata":{},"id":"bibliographic-monitor","cell_type":"markdown","source":"# Introduction aux fonctions"},{"metadata":{},"id":"alien-judge","cell_type":"markdown","source":"## Tokenization du vocabulaire"},{"metadata":{"trusted":true},"id":"northern-verse","cell_type":"code","source":"vocabulary = open(\"dictionnaire.txt\", \"r\", encoding=\"utf-8\").read()\nvocabulary","execution_count":1,"outputs":[{"output_type":"execute_result","execution_count":1,"data":{"text/plain":"'à afin autant automatique automatisées autres aux bien calcul ces comme complexes compression connaissance considérée danalyse dans de den densembles des dincertitude discipline disjointes domaines données elle emploie en est et extraire formes généralement généraux haute informations informatique intéressantes la lanalytique lapprentissage larges le les lextraction limitée linformation lingénierie masse mathématiques méthodes modèles modélisation moins ne notamment objectif ou particulièrement pas performance plus plusieurs possible potentiellement premier principalement probabilistes produire programmation prophétique que qui reconnaissance sadaptent science signal soit sont source sources statistique stockage techniques technologie termes théorie théories tirées traitement tri utiles visualisation wikipédia'"},"metadata":{}}]},{"metadata":{"trusted":true},"id":"sharp-bangkok","cell_type":"code","source":"tokenized_vocabulary = vocabulary.split(\" \")\nprint(tokenized_vocabulary[0:5])","execution_count":2,"outputs":[{"output_type":"stream","text":"['à', 'afin', 'autant', 'automatique', 'automatisées']\n","name":"stdout"}]},{"metadata":{},"id":"julian-involvement","cell_type":"markdown","source":"## Remplacement des caractères spéciaux"},{"metadata":{"trusted":true},"id":"oriental-weapon","cell_type":"code","source":"f = open(\"texte.txt\", \"r\", encoding=\"utf-8\")\ntext_string = f.read()\n\nprint(text_string)","execution_count":3,"outputs":[{"output_type":"stream","text":"En termes généraux, la scence des données est l'extraction de conaissance d'ensembles de données.   \n \nElle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques, la statistique principalement, la téorie de l'information et la technologie de l'information, notamment le traitement de signal, des modèles probabilistes, l'apprentissage automatique, l'apprentissage statistiqe, la programmation informatique, l'ingénierie de données, la reconnaissance de formes et l'apprentissage, la visualisation, l'analytique prophétique, la modélisation d'incertitude, le stokage de données, la compression de données et le calcul à haute performance. \n \nLes méthodes qui s'adaptent aux données de masse sont particulièrement intéressantes dans la science des données, bien que la dicipline ne soit généralement pas considérée come limitée à ces données.   \n \nLe premier objectif est de produire des méthodes automatisées, autant que possible de tri et d'analyse de données de masse et de sources plus ou moins complexes ou disjointes de données, afin d'en extraire des informations utiles ou potentiellement utiles. Source Wikipédia\n","name":"stdout"}]},{"metadata":{"trusted":true},"id":"cognitive-developer","cell_type":"code","source":"#replace()\n\ntext = \"Python,est,cool\"\ntext = text.replace(\",\", \" \")\n\nprint(text)","execution_count":4,"outputs":[{"output_type":"stream","text":"Python est cool\n","name":"stdout"}]},{"metadata":{},"id":"heavy-plant","cell_type":"markdown","source":"### Training"},{"metadata":{"trusted":true},"id":"pressing-foundation","cell_type":"code","source":"text_string = text_string.replace(\".\", \"\")\ntext_string = text_string.replace(\",\", \"\")\ntext_string = text_string.replace(\"'\", \"\")\ntext_string = text_string.replace(\"\\n\", \"\")\n\nprint(text_string)","execution_count":5,"outputs":[{"output_type":"stream","text":"En termes généraux la scence des données est lextraction de conaissance densembles de données    Elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  Les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    Le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus ou moins complexes ou disjointes de données afin den extraire des informations utiles ou potentiellement utiles Source Wikipédia\n","name":"stdout"}]},{"metadata":{},"id":"collective-copying","cell_type":"markdown","source":"## Fonctions"},{"metadata":{"trusted":true},"id":"interracial-projector","cell_type":"code","source":"def clean_text(string_value):\n    cleaned_value = string_value.replace(\",\", \" \")\n    return(cleaned_value)\n\nsentence = \"Python,est,incroyable\"\nsentence = clean_text(sentence)\nsentence","execution_count":6,"outputs":[{"output_type":"execute_result","execution_count":6,"data":{"text/plain":"'Python est incroyable'"},"metadata":{}}]},{"metadata":{},"id":"indie-suffering","cell_type":"markdown","source":"### Training"},{"metadata":{"trusted":true},"id":"revolutionary-preservation","cell_type":"code","source":"def clean_text(string_value):\n    cleaned_value = string_value.replace(\".\", \"\")\n    cleaned_value = cleaned_value.replace(\",\", \"\")\n    cleaned_value = cleaned_value.replace(\"'\", \"\")\n    cleaned_value = cleaned_value.replace(\"\\n\", \"\")\n    return(cleaned_value)\n\nf = open(\"texte.txt\", \"r\", encoding=\"utf-8\")\ntext_string = f.read()\n\ntext_string = clean_text(text_string)\n\nprint(text_string)","execution_count":7,"outputs":[{"output_type":"stream","text":"En termes généraux la scence des données est lextraction de conaissance densembles de données    Elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  Les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    Le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus ou moins complexes ou disjointes de données afin den extraire des informations utiles ou potentiellement utiles Source Wikipédia\n","name":"stdout"}]},{"metadata":{},"id":"blessed-accessory","cell_type":"markdown","source":"## Changer les majuscules en minuscules"},{"metadata":{"trusted":true},"id":"rubber-effectiveness","cell_type":"code","source":"# Lower()\n\nwords = \"Zinedine ZIDANE France\"\nlower_words = words.lower()\nprint(lower_words)","execution_count":8,"outputs":[{"output_type":"stream","text":"zinedine zidane france\n","name":"stdout"}]},{"metadata":{"trusted":true},"id":"impressed-replacement","cell_type":"code","source":"def clean_text(string_value):\n    cleaned_value = string_value.replace(\".\", \"\")\n    cleaned_value = cleaned_value.replace(\",\", \"\")\n    cleaned_value = cleaned_value.replace(\"'\", \"\")\n    cleaned_value = cleaned_value.replace(\"\\n\", \"\")\n    cleaned_value = cleaned_value.lower()\n    return(cleaned_value)\n\nf = open(\"texte.txt\", \"r\", encoding=\"utf-8\")\ntext_string = f.read()\n\ntext_string = clean_text(text_string)\n\nprint(text_string)","execution_count":9,"outputs":[{"output_type":"stream","text":"en termes généraux la scence des données est lextraction de conaissance densembles de données    elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus ou moins complexes ou disjointes de données afin den extraire des informations utiles ou potentiellement utiles source wikipédia\n","name":"stdout"}]},{"metadata":{},"id":"animal-removal","cell_type":"markdown","source":"## Arguments multiples"},{"metadata":{"trusted":true},"id":"urban-affair","cell_type":"code","source":"def clean_string(string, change_string):\n    replacement_string = \"\"\n    cleaned_string = string.replace(change_string, replacement_string)\n    return(cleaned_string)\n\ngoal = clean_string(\"GOAL!!!!!!\", \"!\")\nprint(goal)","execution_count":10,"outputs":[{"output_type":"stream","text":"GOAL\n","name":"stdout"}]},{"metadata":{"trusted":true},"id":"single-aerospace","cell_type":"code","source":"def modify_text(text_string, modify_string, replacement_string):\n    cleaned_string = text_string.replace(modify_string, replacement_string)\n    return(cleaned_string)\n\ngoal = modify_text(\"GOAL......\", \".\", \"!\")\nprint(goal)","execution_count":11,"outputs":[{"output_type":"stream","text":"GOAL!!!!!!\n","name":"stdout"}]},{"metadata":{},"id":"exotic-gospel","cell_type":"markdown","source":"### Training"},{"metadata":{"trusted":true},"id":"innocent-margin","cell_type":"code","source":"def clean_text(text_string, special_characters, replacement_string):   \n    cleaned_string = text_string\n    \n    for string in special_characters:\n        cleaned_string = cleaned_string.replace(string, replacement_string)\n    cleaned_string = cleaned_string.lower()\n    return(cleaned_string)\n\nclean_characters = [\".\", \",\", \"'\", \"\\n\"]\nreplacement = \"\"\ncleaned_text = clean_text(text_string, clean_characters, replacement)\n\nprint(cleaned_text)","execution_count":12,"outputs":[{"output_type":"stream","text":"en termes généraux la scence des données est lextraction de conaissance densembles de données    elle emploie des techniques et des théories tirées de plusieurs autres domaines plus larges des mathématiques la statistique principalement la téorie de linformation et la technologie de linformation notamment le traitement de signal des modèles probabilistes lapprentissage automatique lapprentissage statistiqe la programmation informatique lingénierie de données la reconnaissance de formes et lapprentissage la visualisation lanalytique prophétique la modélisation dincertitude le stokage de données la compression de données et le calcul à haute performance  les méthodes qui sadaptent aux données de masse sont particulièrement intéressantes dans la science des données bien que la dicipline ne soit généralement pas considérée come limitée à ces données    le premier objectif est de produire des méthodes automatisées autant que possible de tri et danalyse de données de masse et de sources plus ou moins complexes ou disjointes de données afin den extraire des informations utiles ou potentiellement utiles source wikipédia\n","name":"stdout"}]},{"metadata":{"trusted":false},"cell_type":"markdown","source":"## Tokenization du fichier texte"},{"metadata":{},"cell_type":"markdown","source":"### Training"},{"metadata":{"trusted":true},"cell_type":"code","source":"def tokenize(text_string, special_characters, replacement_string):\n    cleaned_text = clean_text(text_string, special_characters, replacement_string)\n    text_tokens = cleaned_text.split(\" \")\n    return(text_tokens)\n\nclean_characters = [\".\", \",\", \"'\", \"\\n\"]\nreplacement = \"\"\ntokenized_text = tokenize(text_string, clean_characters, replacement)\n\nprint(tokenized_text[0:10])","execution_count":14,"outputs":[{"output_type":"stream","text":"['en', 'termes', 'généraux', 'la', 'scence', 'des', 'données', 'est', 'lextraction', 'de']\n","name":"stdout"}]},{"metadata":{"trusted":false},"cell_type":"markdown","source":"## Trouver les mots mal orthographiés"},{"metadata":{"trusted":true},"cell_type":"code","source":"misspelled_words = []\n\nfor token in tokenized_text:\n    if token not in tokenized_vocabulary:\n        misspelled_words.append(token)\n        \nprint(misspelled_words)","execution_count":15,"outputs":[{"output_type":"stream","text":"['scence', 'conaissance', '', '', '', 'téorie', 'statistiqe', 'stokage', '', 'dicipline', 'come', '', '', '']\n","name":"stdout"}]},{"metadata":{"trusted":true},"cell_type":"code","source":"","execution_count":null,"outputs":[]}],"metadata":{"kernelspec":{"name":"python3","display_name":"Python 3","language":"python"},"language_info":{"name":"python","version":"3.7.10","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"}},"nbformat":4,"nbformat_minor":5}