TP – Traitement des données en tables

Lecture

Dans ce TP nous allons travailler avec un fichier csv.

Nous utiliserons le module csv de la bibliothèque standard. (standard = pas de pip install).

Commencez par un dossier TP_data ensuite, téléchargez le fichier suivant dans votre dossier TP_data :

Marvel vs DC

1 fichier·s 4.10 KB

Télécharger

Maintenant, dans le même dossier créez le fichier tp_data contenant le code suivant :

# On importe le moduele csv
import csv
# On charge le fichier csv
data = open("db.csv", newline='')
# On le lit et le transforme en liste.
table = list(csv.reader(data, delimiter=';'))
# On affiche cette liste
print(table)

La fonction reader du module csv prend en argument un fichier ouvert et renvoie une valeur spéciale représentant un fichier CSV. Avec l’aide la  fonction list on convertie cela en tableau Python.

On remarque alors que la variable table contient un tableau de tableau de chaîne de caractères. Le première tableau contient :
['Id', 'Titre', 'Company', 'Note', 'Score', 'Durée', 'Sortie', 'Budget', "Weekend d'ouverture USA", 'USA', 'Monde']

Ce premier tableau est important, il contient les descripteurs ou attribus.

Vous pouvez afficher un peu mieux vos données avec cette simple boucle :

for ligne in table:
    print(ligne)

Quel est le contenu des variables table[1][1] et table[1][6], de quel type sont ces variables ?

Ceci dit, cette structure de donnée n’est pas de plus pratiques… Une alternative est proposée par le module csv, la fonction DictReader.

import csv
# On charge le fichier csv
data = open("db.csv", newline='')
# On le lit et le transforme en liste.
table = list(csv.DictReader(data, delimiter=';'))

On obtient un tableau de dictionnaires ordonnés (Dans ces dictionnaires, les clés resteront dans l’ordre contrairement aux dictionnaires de base)

Pour accéder, par exemple à Iron man, on peut écrire : table[1]['Titre'] et l’année de sortie de ce film : table[1]['sortie']

Par contre, le type des données n’est pas celui qu’on souhaite, la date reste, par exemple, en string…  D’où l’exercice suivant :

Exercice :

Écrivez une fonction qui prend en entrée un dictionnaire comme ceux dans notre table et qui retourne un dictionnaire mais avec les bons types et qui vérifie que la note est bien comprise en 0 et 10. Ensuite appliquer cette fonction à toutes les lignes de la table.

map et dic.get

Quelques remarques :

Déjà, nous avons décidé de faire une copie de la table, nous aurions très bien pu faire une validation « en place », c’est à dire en modifiant la table originale.

Ici, on remarque que ligne[‘Score’] provoque une erreur si la clé score est absente du dictionnaire. Il existe une autre façon de faire : ligne.get('Score', 'pas de score') (https://www.tutorialspoint.com/python/dictionary_get.htm)

Et finalement, pour appliquer une fonction à chaque élément d’une liste il est pertinent d’avoir recours à map

:

table_valide = list(map(validation, table))

https://www.w3schools.com/python/ref_func_map.asp

Recherche

On souhaite interroger cette table et lui poser quelques questions, on appelle ces questions des requêtes.

Exercices :

Écrivez une fonction present(titre, table) qui permet de vérifier si un film est présent dans notre table, la recherche effectue à partir du titre.
Votre fonction doit réussir le tests suivants :

assert present("Iron Man", table) == True, 'pourtant il est présent'
assert present("Daredevil", table) == False, 'il ne se trouve pas dans la table'

Écrivez une requête qui permet de connaitre la note d’un film à partir de son titre.

Écrivez une requête qui retourne le titre des films sortie une année donnée.

Pour sortie_en(2018, table_valide) on attend :

['Black Panther', 'Avengers: Infinity War', 'Ant-Man and the Wasp', 'Aquaman']

Écrivez une requête qui retourne la note moyenne des films de la table.

Écrivez une requête qui retourne le film ayant fait le meilleur Weekend d’ouverture aux USA.

Écrivez une requête qui retourne la note moyenne d’une compagny donnée (Marvel ou DC). Comparer ces notes.

Analyse de données

Dans cette partie nous utiliserons le module mathplotlib. Une introduction est disponible ici : https://codesturm.eu/2020/04/05/matplotlib/

L’objectif est de tracer quelques courbes pour faire apparaître certaines tendances.

Ici, il s’agit plus d’une démonstration de ce qu’on peut faire avec un jeu de données et la bibliothèque matplotlib

Voici un exemple permettant de comparer les budgets de Marvel et de DC.

from matplotlib import pyplot
dc = 0
marvel = 0
for film in table_valide:
    if film['Company'] == 'Marvel': 
        marvel += film['Budget']
    if film['Company'] == 'DC':
        dc += film['Budget']

pyplot.figure(figsize = (10, 10))
x = [marvel, dc]
pyplot.pie(x, labels = ['Marvel', 'DC'],
           colors = ['red', 'green'],
           explode = [0, 0],
           autopct = lambda x: str(round(x, 2)) + '%',
           pctdistance = 0.5, labeldistance = 0.4,
           shadow = True)
pyplot.title('Budget total')
pyplot.legend()

Un autre exemple :

notes_marvel = []
notes_cd = []
for film in table_valide:
    if film['Company'] == 'Marvel': 
        notes_marvel.append(film['Note'])
    if film['Company'] == 'DC':
        notes_cd.append(film['Note'])
pyplot.title('Évolution des notes')

graphe1, = pyplot.plot(
    [i for i in range(len(notes_marvel))],
    notes_marvel,
    color = 'red',
    linewidth = 2,
    markerfacecolor = 'blue',
    markersize = 5
    )
graphe2, = pyplot.plot(
    [i for i in range(len(notes_cd))],
    notes_cd,
    color = 'blue',
    linewidth = 2,
    markerfacecolor = 'blue',
    markersize = 5
    )

# lable des axes
pyplot.xlabel('Films')
pyplot.ylabel('Notes')
#Affichage d'une légende
pyplot.legend([graphe1, graphe2], ['Marvel', 'DC'])
plt.grid()
plt.show()

A vous d’imaginer comment représenter et exploiter ces données…
Dans un prochain TP nous travaillerons sur un jeu de données plus conséquent et nous ferons appel à pandas.