07:29 <debnet> Je ne comprends rien aux shards ElasticSearch, quelqu'un a de l'expérience là dedans ?
07:58 <asyd> c'est quoi ton souci ?
08:00 <debnet> J'ai pas vraiment de soucis, je viens de déployer mon cluster ES pour ma prod, mais pour l'instant mes index ne sont que sur un seul shard, je me dis que c'est peut être sous optimal, mais la documentation officielle n'aide pas, la recherche pour se paramètre semble hyper empirique, donc je suis à la recherche de retours d'expérience sur le sujet.
08:02 <asyd> ça dépends aussi et surtout de ce que tu mets dedans. Le cas typique c'est pour les logs, un shard par jour, et comment tu peux facilement fermer et/ou supprimer les shards de plus de X jours
08:03 <debnet> Hum, j'ai deux index principaux, un énorme, et un plus petit. Le énorme contient des articles de presse de taille variable, le petit contient des informations sur des entreprises.
08:03 <debnet> https://usercontent.irccloud-cdn.com/file/IAGvGBXP/image.png
08:06 <asyd> et tu vas delete des trucs ?
08:08 <debnet> asyd: Non, jamais.
08:08 <debnet> Ca sera toujours que de l'ajout.
08:08 <debnet> On utilise une suppression logique.
08:09 <debnet> Par contre on resynchronise complètement notre index tous les soirs.
08:20 <asyd> après tu peux shard genre par date ou catégorie je sais pas ce qu'il y a, mais c'est pas non plus indispensable
08:28 <olasd> asyd: les shards elasticsearch c'est l'unité de division et de réplication à l'intérieur des index
08:28 <asyd> euh, oui
08:29 <olasd> debnet: du coup, les shards c'est ce qui va permettre notamment de paralléliser les recherches à l'intérieur de l'index, donc le paramétrage "nombre de shards dans l'index" est assez sensible en termes de perfs
08:30 <debnet> Ouais c'est un peu ce que j'avais compris, mais ça m'a l'air difficile à mesurer.
08:30 <debnet> Ca peut se changer après coup ou il faut regénérer l'index à chaque fois ?
08:31 <debnet> (J'ai vérifié, faut recréer)
08:31 <debnet> Du coup je ne sais pas trop quelle valeur prendre...
08:31 <asyd> oui enfin si tout tes docs font 20GB et n'ont pas vocation a devenir a 2TB t'a pas trop besoin de te prendre la tête non plus
08:31 <debnet> Mon index est attaqué par plusieurs dizaines de sites et milliers d'utilisateurs.
08:31 <debnet> Pour l'instant je n'ai pas eu de retour quant aux performances, mais ça pourrait arriver.
08:32 <asyd> ah ben shard et clusterise alors :P
08:32 <debnet> Moi je veux bien mais je n'arrive pas à me rendre compte de ce qui est bien ou pas quantativement parlant.
08:38 <asyd> une propertie qui permet d'avoir des shard équilibrés ?
08:39 <debnet> ?
09:07 <discord_afpy> <Andy K (boss dreamer ou pas)> Salut
11:01 <olasd> pour augmenter le nombre de shards il y a une opération split index qui, sous certaines conditions, permet de découper les shards sans les réindexer entièrement
12:11 <debnet> olasd: Est-ce que ça a du sens dans mon cas ? Mon plus gros soucis c'est que je n'arrive pas à mesurer l'utilité.
12:11 <olasd> y'a qu'en faisant des benchs sur tes workloads à toi (et ton matos à toi) que tu peux vraiment savoir, dans mon expérience...
12:34 <debnet> Je craignais ta réponse, mais c'est normal.
12:34 <debnet> Le problème c'est que regénérer mon index prend presque 3 heures.
12:34 <debnet> Donc ça va être long les tests.
14:59 <alain_afpy> Programme qui se vérifie lui-même pour voir s'il a été modifié - https://linuxfr.org/users/desktop-ready-0/journaux/programme-qui-se-verifie-lui-meme-pour-voir-s-il-a-ete-modifie