00:01 <misc> donc tu as trouvé PIL ce qu'il te faut
00:06 <debnet> misc: **applaudissements**
07:25 <discord_afpy> <denislecodeur13> Salut salut
07:25 <discord_afpy> <denislecodeur13> Petit question je cherche à profiler l'utilisation de pandas et voir combien de coeur il utilise, vous me conseiller quoi le profiler de pycharm ?
08:25 <debnet> pandas, comme beaucoup de librairies en Python, n'est pas nativement construit autour du parallélisme nativement.
08:25 <debnet> -nativement.
08:26 <debnet> Mais il existe polars qui reprend une grande partie de l'API de pandas et qui supporte ce paradigme.
08:26 <debnet> Cependant ça ne veut pas dire que tu auras des performances améliorées, ça dépendra de l'organisation de tes données.
08:27 <discord_afpy> <denislecodeur13> Ha bon pandas ne parallélisme pas nativement
08:27 <discord_afpy> <denislecodeur13> En fait c juste le fait qu'il y ait du c c++ cython qui fait qu'il est plus rapide
08:28 <debnet> Oui exactement, ça s'appuie en grosse partie sur numpy.
08:28 <debnet> Qui n'est lui aussi pas parallélisable nativement.
08:51 <discord_afpy> <denislecodeur13> donc en fait il faudrait faire un chunk de mon csv et de le mettre sur autant de processus que de partie
09:00 <mdk> matin
09:23 <discord_afpy> <dancergraham> ou utiliser polars comme debnet propose. Il permet de faire une bonne partie des opérations pandas avec du lazy / parallel. J'ai l'impression qu'avec la version "nightly" de polars tu peux meme avoir du SIMD... https://docs.rs/polars/latest/polars/#simd
09:24 <discord_afpy> <dancergraham> peut etre meme sans nightly - https://pola.rs/posts/i-wrote-one-of-the-fastest-dataframe-libraries/
09:34 <discord_afpy> <denislecodeur13> ha oui
09:34 <discord_afpy> <denislecodeur13> quelle rapidité
09:34 <discord_afpy> <denislecodeur13> pour lire un csv avec pandas d'un millions de ligne 1.32s
09:34 <discord_afpy> <denislecodeur13> avec polar 0.09s
09:35 <discord_afpy> <denislecodeur13> mais je veux quand meme voir combien de processeur il utilise hahahha
09:35 <discord_afpy> <denislecodeur13> il faut la version payante de pycharm il me semble
10:42 <discord_afpy> <dancergraham> est-ce que Cprofile fait le taf? https://pythonspeed.com/articles/beyond-cprofile/
11:28 <discord_afpy> <grewn0uille> Hello ! Est-ce que côté irc il y aurait quelqu’un de paulla de vers 2015 qui trainerait ?
11:30 <dam64> Oui
11:30 <dam64> Enfin je suis arrivé après la pycon
11:48 <discord_afpy> <grewn0uille> Est-ce que jp qui bosse pour rolkem avec thd ça te parle ?
12:14 <discord_afpy> <eyecontrol> Je l'ai moi 🙂
13:27 <discord_afpy> <dancergraham> Es si t'as un GPU.. https://makina-corpus.com/django/calculez-sur-gpu-avec-python-partie-2
14:02 <discord_afpy> <denislecodeur13> C'est du amazon au fjnal
20:11 <Mindiell> dam64: tu as eu le message de grewnouille ?
20:31 <discord_afpy> <denislecodeur13> vous savez comment est czlculé le nombre de thread que peux lancer une appli
20:48 <discord_afpy> <chadys> c'est à toi de choisir en fonction de ta machine
21:16 <Mindiell> logiquement, c'est le nombre de coeurs non ? En tout cas c'est limité quoi pour les faire tourner "en même temps"
21:48 <discord_afpy> <dancergraham> Dans quel contexte? Threads ou processes ?
21:48 <discord_afpy> <dancergraham> Une appli qui passe beaucoup de temps a attendre des resources (db, disque, network, ...) peut lancer beaucoup de threads, meme sur un seul processeur.
21:48 <discord_afpy> <dancergraham> Une appli qui veut faire beaucoup de travail CPU en pure Python (avec GIL) sur des objets qui sont deja en memoire va plutot lancer un subprocess par coeur logique sur la machine
21:48 <discord_afpy> <dancergraham> Une appli qui veut faire beaucoup de travail CPU via une extension écrite en C / Rust qui lui gere le paralellisme va peut-etre lancer une seule fonction python pour faire appel au code multi-threaded / multi - proc derriere.
22:07 <discord_afpy> <grewn0uille> @Melcore spotted minute une dans la vidéo de Mastu
22:22 <discord_afpy> <melcore> Héhé
22:24 <discord_afpy> <grewn0uille> Ça dure combien de temps un tournage pour une vidéo qui fait 1h20 à la fin ?
22:25 <discord_afpy> <reinula> Je regarde jamais ce genre de vidéo mais du coup je regarde par curiosité. Melcore le pilote d'avion malvoyant !
22:26 <discord_afpy> <grewn0uille> Pareil, je regarde rarement les vidéos de Mastu. C’est bien tombé x)
22:27 <discord_afpy> <reinula> Je le connais de nom, mais je regarde pas son contenu.
22:28 <discord_afpy> <reinula> Si tu l'avais pas dénoncé, on ne l'aurait jamais su. :p
22:40 <discord_afpy> <reinula> Punaise, je viens d'avoir une révélation avec le secret de Melcore !
22:41 <discord_afpy> <grewn0uille> 😄
22:42 <discord_afpy> <reinula> La fame jusqu'au bout !