00:17 <ogrisel:#afpy> yo tarek, haypo, et les autres amateur de setup.py pour compiler du C: les flags par defaut sont : -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing
00:18 <ogrisel:#afpy> comment je fais pour remplacer ce -O2 de fillette par un -O3 pour les vrais hommes?
00:19 <tarek:#afpy> ogrisel, avec une variable d'environment
00:19 <ogrisel:#afpy> cool, elle est ou ?
00:19 <ogrisel:#afpy> laquelle je veut dire
00:20 <tarek:#afpy> regarde dans distutils.sysconfig
00:20 <ogrisel:#afpy> ca fait 30min que je google dans le vide
00:20 <tarek:#afpy> c'est là ou c construite
00:20 <tarek:#afpy> soit depuis le makefile
00:20 <tarek:#afpy> soit depuis pyconfig.h
00:20 <ogrisel:#afpy> CFLAGS ?
00:20 <tarek:#afpy> apres jette un oeil dans distutils.ccompiler
00:21 <ogrisel:#afpy> ok je fouille
00:21 <tarek:#afpy> je sais plus
00:21 <ogrisel:#afpy> merci pour la piste
00:21 <tarek:#afpy> grep ton Makefile
00:30 <ogrisel:#afpy> je grep tout distutils et ca matche que dans les trucs de cygwin...
00:32 <ogrisel:#afpy> ca matche dans /usr/lib/python2.6/config/Makefile
00:32 <ogrisel:#afpy> mais il est pas utilisé le Makefile de python qd on fait des extensions si ?
00:35 <ogrisel:#afpy> OPT="-O3" python setup.py build
00:35 <ogrisel:#afpy> ca marche
00:35 <ogrisel:#afpy> merci tarek
00:35 <tarek:#afpy> si il est utilisé
00:35 <tarek:#afpy> a oui OPT
00:36 <tarek:#afpy> tu peux le passer par code dans ton setup.py
00:36 <tarek:#afpy> syconfig va charger celui de ton makefile, mais l'override si tu le fournis
00:37 <ogrisel:#afpy> ok
00:37 <ogrisel:#afpy> a priori je veux pas le mettre en dur dans mon setup.py, juste en variable d'env c'est parfait
00:37 <ogrisel:#afpy> c'est pour faire des tests
07:51 <magopian:#afpy> c'est aujourd'hui le dernier jour pour soumettre une présentation pour pycon.fr?
08:28 <cyp:#afpy> plop
10:50 <Maddingue:#afpy> ogrisel: tu sais, -O3 n'apporte pas grand chose de vraiment intéressant par rapport à -O2, si ce n'est des "optimisations" qui sont parfois dangereuses
10:51 <ogrisel:#afpy> dans mon cas ca active l'autovectorization SIMD
10:51 <Maddingue:#afpy> Apple avait (je ne sais pas si c'est toujours le cas), l'habitude de tout compiler avec -Os
10:51 <ogrisel:#afpy> mais je suis d'accord je peux l'activer individuellement avec le flag qui va bien en plus de -O2
10:51 <Maddingue:#afpy> certes mais à ce moment, tu peux très bien utiliser -O2 et l'option qui va bien pour activer SIMD
10:51 <ogrisel:#afpy> :)
10:52 <Maddingue:#afpy> c'est plus propre
10:52 <ogrisel:#afpy> de toute maniere le code actuellement generé par cython n'est pas vectorisable par gcc pour une raison qui m'echappe
10:52 <ogrisel:#afpy> on va switcher a cblas pour la boucle en question ca sera plus simple
10:53 <Maddingue:#afpy> et -Os est assez intéressante : ça active la plupart des optimisations de -O2, sauf celles qui risquent d'augmenter la consommation mémoire, ce qui permet de préserver les caches CPU
10:53 <ogrisel:#afpy> interessant
10:53 <ogrisel:#afpy> faudra que je teste aussi alors
10:53 <Maddingue:#afpy> c'est pour ça que j eme permets de te la mentionner :)
10:54 <Maddingue:#afpy> évidemment, les gains sont toujours difficiles à mesurer, mais je sais que dans OSX/PowerPC, tout OSX était en -Os
10:54 <Maddingue:#afpy> je ne sais pas si c'est encore le cas sur OSX/Intel, mais je ne serais pas surpris que ça n'ai pas changé
10:56 <Maddingue:#afpy> (quoique c'est vrai qu'avec les CPU actuels, on peut toujours dire qu'on a "assez" de puissance et de cache et de mémoire, mais bon, on sait bien que ce n'est jamais vrai..)
10:57 <gawel:#afpy> ogrisel tu refais du python au taf ?
10:58 <ogrisel:#afpy> non c'etait hier ca
10:58 <ogrisel:#afpy> le 14 juillet on a le droit de faire du python
10:59 <gawel:#afpy> ah :)
15:29 <harobed:#afpy> tarek, dans http://hg.mozilla.org/services/sync-server/file/11b4e9bd8d7b/1.1/weave/server/storage/sql.py
15:29 <harobed:#afpy> tu as fait quoi ?
15:29 <harobed:#afpy> tu n'utilises pas l'orm de sqlalchemy ?
15:30 <harobed:#afpy> une classe qui gère les collections
15:31 <harobed:#afpy> c'est une abstraction pour éviter que l'utilisateur de ton api ai à utiliser l'api de sqlalchemy
15:40 <tarek:#afpy> harobed, hello
15:41 <tarek:#afpy> oui en fait
15:41 <tarek:#afpy> car on veut pouvoir stocker sur GAE, ou dans du nosql etc..
15:41 <harobed:#afpy> ok
15:41 <tarek:#afpy> et puis
15:41 <tarek:#afpy> l'orm ca ramerait
15:41 <harobed:#afpy> j'ai vu aussi que ianb est aussi chez moz !
15:41 <tarek:#afpy> faut que ca boost
15:41 <tarek:#afpy> ouai
15:42 <harobed:#afpy> il bosse sur quoi lui ?
19:11 <jon1012:#afpy> on a jusqu'a ce soir minuit pour soumettre les conf c'est ca ?
19:11 <jon1012:#afpy> (pour pycon)
19:11 <jpcw:#afpy> jon1012: oui grouilles toi :)
19:11 <jon1012:#afpy> j'ai 3 ou 4 conf à proposer
19:11 <jon1012:#afpy> en fait
19:12 <jon1012:#afpy> :-/
19:12 <jon1012:#afpy> y'en a déjà bcp ?
19:14 <jpcw:#afpy> une vingtaine
19:15 <jon1012:#afpy> oki
19:21 <haypo:#afpy> je vais aussi proposer une conf ce soir :)
19:21 <misc:#afpy> tu sais encore faire du python ?
19:24 <jon1012:#afpy> une presentation sur un framework que personne connait, ca peut passer pour pycon ? :)
19:24 <jon1012:#afpy> (pas un framework web)
19:25 <haypo:#afpy> misc: non, justement !
19:25 <haypo:#afpy> misc: j'ai demandé à pilou de faire la conf' avec moi
19:25 <misc:#afpy> haypo: "how to move carton with python" ?
19:26 <haypo:#afpy> misc: tu verras
19:28 <haypo:#afpy> misc: tu viens au pycon 2010 parler de ta micro nation ?
19:29 <misc:#afpy> haypo: nan, pas encore
19:30 <haypo:#afpy> tu fabriques des passeports ou pas ?
19:31 <misc:#afpy> on a pas choisi le nom
19:31 <misc:#afpy> mais j'ai trouvé un plan d'avenir en creuse
19:31 <misc:#afpy> http://info.sfr.fr/regions/centre/articles/elus-de-creuse-menacent-de-demissionner,142665/
19:40 <jon1012:#afpy> y'en a que ca interesserait ce genre d'outils ?
19:40 <jon1012:#afpy> http://img689.imageshack.us/img689/4070/tubedesign.png
19:41 <cyp:#afpy> jon1012: ça fait quoi ?
19:42 <jon1012:#afpy> traitement de données en flux...
19:42 <cyp:#afpy> oh oui ça peut m'interressé
19:42 <jon1012:#afpy> extraction, reception d'interfaces /batch, sortie de reports, etc etc
19:42 <jon1012:#afpy> avec splitting et merging de flux
19:42 <jon1012:#afpy> (et synchro de flux)
19:43 <cyp:#afpy> ok c'est sur ça m'interresse
19:43 <jon1012:#afpy> (tu peux a peu pres tout faire avec ce truc :))
19:43 <jon1012:#afpy> hehe
19:43 <jon1012:#afpy> cyp: en fait, tu as des producers, adapters, consumers... soit en plugins soit en code directement dans ton tube
19:44 <cyp:#afpy> parfait
19:44 <cyp:#afpy> jon1012: c'est un projet a toi ?
19:44 <jon1012:#afpy> yes avec d'autres personnes
19:45 <jon1012:#afpy> je vais le presenter à pycon normalement :)
19:46 <cyp:#afpy> je devrais coder ce genre de truc ds une de mes prochaines taches pro
19:46 <cyp:#afpy> jon1012: tu as une url vers votre truc ?
19:46 <jon1012:#afpy> ouais, mais c'est encore pas mal alpha :)
19:47 <jon1012:#afpy> enfin, pas trop documenté surtout
19:47 <jon1012:#afpy> mais stable
19:47 <cyp:#afpy> montre on sait jamais si ça correspond a notre besoin je peux essayer de dégager du tps pro pour aider
19:47 <jon1012:#afpy> cyp: la partie web ui : http://bitbucket.org/taieb/pyf.services
19:48 <jon1012:#afpy> cyp: la partie bas niveau http://bitbucket.org/faide/pyf
19:49 <jon1012:#afpy> cyp: la partie intermediaire (gestion des plugins et de la description xml des tubes) http://bitbucket.org/taieb/pyf.componentized
19:50 <cyp:#afpy> jon1012: tu t'en sers pourquoi ?
19:50 <cyp:#afpy> et quelle est la license ?
19:50 <jon1012:#afpy> mit :)
19:51 <jon1012:#afpy> je m'en sers pour a peu pres tout
19:52 <jon1012:#afpy> en fait, tout est spéaré, du coup la partie basse peut etre utilisée sans l'archi de plugin, et l'archi de plugin et description de tubes peut etre utilisée sans la partie web service
19:52 <cyp:#afpy> jon1012: il y a une doc quelque part ?
19:53 <jon1012:#afpy> pas encore
19:53 <jon1012:#afpy> :)
19:53 <jon1012:#afpy> enfin, un petit peu mais pas à jour
19:53 <jon1012:#afpy> a mission avant pycon c'est de faire de la doc
19:53 <cyp:#afpy> jon1012: ça m'interresse énormément
19:54 <cyp:#afpy> j'ai 800+ sources de données qui sont pas uniformes a transformer en xml
19:54 <cyp:#afpy> et j'ai 800+ programmes pour le faire
19:54 <jon1012:#afpy> ah oui en effet
19:55 <jon1012:#afpy> (on a un systeme de descripteur - fichier plat, xml, csv, etc. - pour prendre des sources de données et les transformer en objets python)
19:56 <jon1012:#afpy> (après t'as qu'a mettre des layer selon les sources de données bizarres pour ajouter des etapes de transfo dans le tube... ensuite ton traitement est standard pour toutes les sources)
19:57 <cyp:#afpy> c'est ce que je comptais faire
19:57 <cyp:#afpy> pardon
19:57 <cyp:#afpy> ça ressemble a ce je comptais faire ds la logique
20:02 <jon1012:#afpy> après, les consumers peuvent etre ce que tu veux... xml avec genshi (ou autre, si tu ecris un plugin pour), csv, fichier plat à longueur fixe, code custom dans le tube pour faire ta vie, envoi à solr, envoi par webservice, stockage dans une bdd avec sqlalchemy, etc etc
20:03 <jon1012:#afpy> (et surtout, tu peux splitter le flux à n'importe quel moment pour faire passer des objets dans une branche ou l'autre puis les rejoindre etc. derrière tout est geré en generateurs python)
20:03 <cyp:#afpy> et tu peux merger des flux qd des pré requis sont réunis ?
20:04 <jon1012:#afpy> ouais
20:04 <jon1012:#afpy> en fait t'as plusieurs sortes de merging
20:04 <jon1012:#afpy> un item d'un branche, un item de l'autre, etc
20:04 <jon1012:#afpy> ou en prenant un item de l'un + un item de l'autre
20:05 <cyp:#afpy> héhé je sens que je ne vais pas manqué ta conf
20:05 <jon1012:#afpy> et ce en tenant compte des objets (par ex, tu veux que des objets ayant l'attribute customer_id d'un coté soient associés avec ceux ayant la meme valeur en customer code de l'autre)
20:06 <jon1012:#afpy> par contre faut que les lux soient ordonnés par cette valeur, sinon pas de match possible sans tout prendre en memoire
20:06 <jon1012:#afpy> flux*
20:07 <jon1012:#afpy> (sinon tu passe par stockage disque, c'est possible mais faut que les objets soient des packets pyf ou qu'ils soient pickleisable)
20:08 <jon1012:#afpy> pareil, tu peux envoyer une branche de ton flux sur un autre tube sur la meme machine ou une autre, etc (par ex, une machine est dédiée aux reports pdf et les envoie par mail direct)
20:09 <cyp:#afpy> hum interressant
20:13 <jon1012:#afpy> j'espere pouvoir creer une communauté autour de ce framework
20:13 <jon1012:#afpy> vu qu'il commence à etre utilisable
20:13 <cyp:#afpy> faudrait un site :D
20:15 <jon1012:#afpy> yep, c'est prévu
21:17 <jon1012:#afpy> jpcw: hm, comment lje propose un atelier ? dans la liste des session y'a pas
21:29 <jon1012:#afpy> hop présentations soumises
21:30 <jon1012:#afpy> vu que y'en a une vingtaine, j'en ai proposé que deux...
21:56 <haypo:#afpy> raah mince, j'ai publié 4x la même con'
21:56 <haypo:#afpy> y'a un admin pycon.fr dans le coin (pan !) ?
21:56 <david`bgk:#afpy> c'est ça de prendre de l'âge :p
21:59 <haypo:#afpy> mé euh
21:59 <haypo:#afpy> j'ai soumis une conf' par erreur en voulant voir la durée d'une présentation
21:59 <haypo:#afpy> en fait, c'est même pas affiché
22:00 <haypo:#afpy> ensuite, j'ai eu des merdes avec NoScript
22:00 <haypo:#afpy> ensuite, je sais pas :)
22:01 <jpcw:#afpy> haypo: yep
22:02 <jpcw:#afpy> tu veux que je garde la dernière ?
22:02 <haypo:#afpy> jpcw: normalement, y'en a qu'une qui a du contenu
22:02 <jpcw:#afpy> par contre j'en vois que 3
22:02 <haypo:#afpy> en tout cas, la plus récente devrait être la bonne
22:03 <jpcw:#afpy> bah je vois 3 fois le m^me texte
22:03 <haypo:#afpy> jpcw: 1991, 2005, 2006, 2007
22:03 <jpcw:#afpy> donc la dernière allez hop
22:03 <haypo:#afpy> j'ai "soumis" le 2007
22:05 <haypo:#afpy> bon allez, encore 2h pour proposer des conf'
22:06 <jpcw:#afpy> haypo: seule la 1991 était vide, j'ai donc buté 1991, 2005, 2006
22:06 <jpcw:#afpy> 1h 54 pour être précis :)
22:07 <jpcw:#afpy> quand on a dit le 15 à minuit on savait bien que le cubic alait chauffer le 15 à partir de 20h :)
22:07 <haypo:#afpy> jpcw: tu crois que 6h empêchera les soumissions à 5h59 ?
22:08 <jpcw:#afpy> juste pour voir si haypo et consors rendent la copie à 5h et des brouettes
22:08 <haypo:#afpy> jpcw: je me lêve toutes les semaines à 5h
22:08 <haypo:#afpy> :)
22:10 <jpcw:#afpy> tiens 27 propositions
22:11 <jpcw:#afpy> ça chauffe grave !