LHC: les grilles de calcul battent tous les records

Restez toujours informé : suivez-nous sur Google (☆)

Les préparatifs vont bon train en vue de la remise en service du Grand collisionneur de hadrons (LHC), l’accélérateur de particules le plus puissant du monde. La Grille de calcul mondiale (1) pour le LHC (WLCG) est l’un des systèmes les plus importants sur lesquels s’appuieront les expériences qui utiliseront cette formidable machine.

Après des mois de préparation et deux semaines de fonctionnement intensif 24 h sur 24, 7 jours sur 7, les expériences LHC ont atteint une nouvelle série d’objectifs visant à prouver qu’elles sont fin prêtes pour le début de la collecte de données, prévu plus tard dans l’année. De nombreux tests ont eu lieu ces dernières années sur le traitement des données à grande échelle, mais cette démonstration a pour la première fois pris en compte tous les éléments clés - de la collecte des données jusqu’à leur analyse.

Des records ont été atteints à de nombreux niveaux : débit de collecte de données, vitesse d’importation et d’exportation des données entre les différents centres, ainsi qu’un très grand nombre d’opérations d’analyse, de simulation et de retraitement (l’expérience ATLAS ayant à elle seule réalisé près d’un million d’analyses avec une capacité de trafic de 6 Go/s, soit l’équivalent d’un DVD rempli de données chaque seconde, et ce, sur de longues périodes). Ces résultats tombent à point nommé car ils coïncident avec la conversion des grilles en infrastructures en ligne durables, ce qui est fondamental pour les projets d’une durée de vie telle que celle du LHC.

Le LHC devant redémarrer dans quelques mois à peine (voir notre news), on peut s’attendre à une forte augmentation du nombre des utilisateurs de la Grille, de plusieurs centaines d’utilisateurs individuels aujourd’hui à plusieurs milliers lorsque la collecte et l’analyse des données commenceront. Pour cela, il faudra impérativement rationaliser les opérations et simplifier les interactions entre l’utilisateur final et la Grille.

STEP09 (Scale Testing for the Experiment Programme’09) a consisté, entre autres, en des tests à grande échelle des scénarios d’analyse des utilisateurs finaux, notamment des infrastructures de « soutien communautaire » où la communauté est formée et presque entièrement autonome, mais peut bénéficier de l’aide d’un noyau de spécialistes de la Grille et de ses applications.

Grâce à la collaboration de 33 pays, la WLCG concentre la puissance informatique de plus de 140 centres de calcul.

Sergio Bertolucci, directeur de la recherche et de l’informatique au CERN1 : « Les quatre expériences LHC (ATLAS, CMS, ALICE et LHCb) ont démontré leur capacité de gérer leur débit nominal simultanément. Pour la première fois, toutes les fonctionnalités informatiques des expériences ont été activées en même temps : la simulation, le traitement et l’analyse des données. La confiance est donc de mise quant à leur capacité d’analyser efficacement les premières données du LHC à la fin de cette année. »

Bob Jones, directeur du projet EGEE : « Une telle réussite représente également un gage précieux de l’état de développement de l’infrastructure EGEE et de sa capacité d’interagir avec de grandes infrastructures de grille dans d’autres régions du monde. Il est essentiel de garantir à nos utilisateurs, notamment aux communautés phares comme celle de la physique des hautes énergies, que ce niveau de service ne sera pas interrompu lors du passage d’EGEE à EGI. »

Ruth Pordes, directrice exécutive du consortium Open Science Grid : « On a une nouvelle fois la preuve que les infrastructures partagées peuvent être utilisées simultanément par de multiples communautés scientifiques ayant un besoin de capacité élevé. ATLAS et CMS ne démontrent pas seulement que la grille américaine OSG est utilisable, mais elles contribuent à faire évoluer les installations réparties au niveau national pour d’autres disciplines scientifiques. »

David Britton, responsable du projet GridPP : « Au Royaume-Uni, les tests de STEP09 se sont très bien déroulés sur la majorité des centres, ce qui a permis de se concentrer sur l’analyse de la qualité de fonctionnement et sur le perfectionnement de l’infrastructure. Le centre de niveau 1 du RAL a très bien fonctionné, n’ayant nécessité, sur deux semaines, qu’une seule intervention en dehors des heures de travail normales. De précieuses informations ont été obtenues quant à la performance des dérouleurs de bandes dans des conditions réalistes en termes de charge de travail. Pour tester le flux du réseau optique privé (OPN), le volume des données STEP09 envoyées en UDP a été augmenté et le système de partage équitable (« fairshare system ») a été réglé avec succès pour répartir équitablement la charge des expériences. »

Gonzalo Merino, directeur du centre de niveau 1 à Barcelone : « Les centres espagnols de la WLCG ont atteint les objectifs fixés par STEP09. Cet exercice a été très profitable, car un grand nombre des flux de données des expériences ont été testés simultanément à une échelle sans précédent, bien au-delà des valeurs nominales d’acquisition de données du LHC. Le centre de niveau 1 du PIC a fourni un service parfaitement stable et fiable qui a battu tous les records : jusqu’à 80 téraoctets de données échangées par jour avec les autres centres de la WLCG et plus de 2 gigaoctets de données traitées par seconde. Nous sommes à présent convaincus que les centres espagnols de la WLCG sont prêts pour la collecte de données. »

David Foster, responsable de l’activité du réseau optique privé (OPN) du LHC : « Le réseau optique privé du LHC qui a transporté les données entre les différents centres a démontré ses capacités en termes de performance et de résilience lors des tests STEP09. Les nouvelles capacités de débit (entre 40 et 100 Go/s), devraient nous permettre de répondre aux besoins des expériences LHC en matière de distribution des données ».

Note:

(1) Une grille de calcul relie des ordinateurs répartis sur une grande zone géographique. De même que le World Wide Web donne accès à l’information, les grilles de calcul donnent accès aux ressources informatiques. Ces ressources comprennent la capacité de stockage, la puissance de traitement, les capteurs et les outils de visualisation, etc. Les grilles peuvent combiner les ressources de milliers d’ordinateurs différents pour créer une puissance de calcul gigantesque, aisément accessible depuis un ordinateur personnel et pouvant être utilisée pour de multiples applications scientifiques, commerciales et autres.

PA
passant

Michel
Après des mois de préparation et deux semaines de fonctionnement intensif 24 h sur 24, 7 jours sur 7, les expériences LHC ont atteint une nouvelle série d’objectifs visant à prouver qu’elles sont fin prêtes pour le début de la collecte de données, prévu plus tard dans l’année.

Comme quoi la panne précédente à apporté sa positivité.

BR
broly

Michel
Les préparatifs vont bon train en vue de la remise en service du Grand collisionneur de hadrons (LHC), l’accélérateur de particules le plus puissant du monde.

ça me fait toujours peur le gras, je sais pas pourquoi mais c'est l'impression que ça me donne... :na:

avatar
Maulus

Quoi t'as la phobie du gras ? du gras de cochon ou de boeuf ? :na:

Incroyable la puissance de la Grille... je savais pas qu'ils avaient carrément un réseau de fibres optiques dédiées. Avec un débit pareil, il ferait lagger le web c'est sur :D
M'enfin une telle technologie, sa laisse rêveur, je pense qu'on va avoir des retombées sur les technologies du web.

OS
Oswald_le_fort

J'utilise ça depuis 2 ans maintenant, et je fais partie des utilisateurs les plus actifs. Je peux vous dire que les débits, même très bons, ne sont pas ce qu'il y a de plus utile pour les utilisateurs. Nous, on veut des CPU puissants. On veut avoir le résultat de nos analyses le plus rapidement possible. Le débit est essentiellement important à la sortie des expériences puisque les débits sont important (2kHz, à 35ko par événements, c'est 1,5Go qu'il faut sortir par secondes). Les analyses, elles, ne nécessitent que le CPU (ou presque).

avatar
Maulus

Oui c'est vrai m'enfin quand tu utilises des CPU sur toute la planète il faut bien que les informations passent rapidement aussi.
Si j'ai bien comprit, c'est une grille de calcule, on partage les calculs sur plusieurs super calculateurs.
Mais fondamentalement tu as raison, c'est le CPU qui compte vraiment, c'est ladessus qu'on gagne ou qu'on perd du temps :)

avatar
QJ

Oswald_le_fort
J'utilise ça depuis 2 ans maintenant, et je fais partie des utilisateurs les plus actifs. Je peux vous dire que les débits, même très bons, ne sont pas ce qu'il y a de plus utile pour les utilisateurs. Nous, on veut des CPU puissants. On veut avoir le résultat de nos analyses le plus rapidement possible. Le débit est essentiellement important à la sortie des expériences puisque les débits sont important (2kHz, à 35ko par événements, c'est 1,5Go qu'il faut sortir par secondes). Les analyses, elles, ne nécessitent que le CPU (ou presque).

Exact, je comprends bien le point de vue de l'utilisateur, et l'impatience -presque enfantine- d'obtenir les résultats des calculs. :saute2:

Il ne faut pas oublier non plus que le LHC dans son ensemble d'expériences sera une formidable machine... A débiter des données. Donc en régime, il faudra bien de la bande passante pour répartir toutes ces données.

Je suis un peu déçu aussi de l'article qui ne parle par de la "petite" grille LHC@Home, qui a permis le calibrage des aimants.

C'est vrai quoi... J'y ai mis du temps CPU quand même !</mode Calimero>

avatar
Aldebaran

Il marche encore LHC@Home ? Je l'ai utilisé pendant des années et puis un jour, pu rien, impossible d'actualiser les données :(

avatar
QJ

Aldebaran
Il marche encore LHC@Home ? Je l'ai utilisé pendant des années et puis un jour, pu rien, impossible d'actualiser les données :(

02/07/2009 09:57:08|lhcathome|Sending scheduler request: To fetch work. Requesting 30240 seconds of work, reporting 0 completed tasks 02/07/2009 09:57:13|lhcathome|Scheduler request completed: got 0 new tasks

Le serveur tourne toujours et quand le CERN a besoin de calibrer des aimants, les taches de calculs arrivent.
Cela me permet aussi de voir si ils sont en train de travailler ou pas ! :lol:

avatar
houri smail

"Les préparatifs vont bon train en vue de la remise en service du Grand collisionneur de hadrons (LHC), l’accélérateur de particules le plus puissant du monde."

En cas d'un deuxième échec, quelle en sera le sort et l'issue de ce méga projet? :fada:

VI
Victor

Ben un troisième essai... Because, il y a trop d'intérêts en jeux

avatar
Aldebaran

Le serveur tourne toujours et quand le CERN a besoin de calibrer des aimants, les taches de calculs arrivent.
Cela me permet aussi de voir si ils sont en train de travailler ou pas !

Ha ben je comprend mieux pourquoi ça ne marchait plus ^^

avatar
Maulus

Aldebaran


Le serveur tourne toujours et quand le CERN a besoin de calibrer des aimants, les taches de calculs arrivent.
Cela me permet aussi de voir si ils sont en train de travailler ou pas !


Ha ben je comprend mieux pourquoi ça ne marchait plus ^^

haha exellent, finalement tu sais exactement quand ils lancent des calculs :D

avatar
Ze Venerable

2kHz, à 35ko par événements

un événement c'est une collision ? il y en a 2000/s ??

avatar
Maulus

oui sa m'étonnerait pas, c'est deux nuages de protons qui circulent en sens inverse alors sa peut faire ce genre de chiffre à mon avis :D

OS
Oswald_le_fort

Ze Venerable


2kHz, à 35ko par événements


un événement c'est une collision ? il y en a 2000/s ??

Un événement, c'est une collision, oui, mais après déclenchement. En fait, des collisions, c'est une toute les 25ns, soit 40 million par seconde. Nous sélectionnons les événements interessant pour n'en garder que 2000 par secondes. ATLAS et CMS c'est moins parce que leurs événements sont plus gros que les nôtres, genre 100ko, et leur taux de sortie est identique (1,5Go /s).

avatar
Ze Venerable

et ya quoi comme résultats de mesure enregistrés dans ces 35ko, les trajectoires des de ce qu'a produit la collision ?

CA
Caocoa

Juste un message dans cette discussion intéressante : comment, élève en école d'ingénieur (donc sans liens directs avec le monde de la science) participer aux grilles et fournir de la capacité mémoire?

RE
Reumain.

(Attends, école d'ingénieur et pas de liens directs avec la science ? C'est quoi cette histoire ?)

avatar
QJ

Caocoa
Juste un message dans cette discussion intéressante : comment, élève en école d'ingénieur (donc sans liens directs avec le monde de la science) participer aux grilles et fournir de la capacité mémoire?

Tu verras qu'être ingénieur, le lien avec la science, tu le garderas que tu sois d'accord ou non. :D

Pour ce qui est de participer à une grille de calcul, il faut que cette grille soit ouverte au public.
Le mieux c'est d'aller sur le site: "Le portail de L'Alliance Francophone des projets BOINC".

...Le plus dur c'est de choisir le bon projet. :grat2:

Toutefois, attention avant de se lancer tête baissée ! Il y a des contraintes qu'il faut savoir assumer.
La plupart des projets envoient sur votre ordinateurs des taches de calculs qui doivent être renvoyée endéans les temps.
Il faut donc pouvoir assumer ce temps de calcul.
Enfin, si vous êtes prêt à laisser le PC allumé pendant un certain temps, voire constamment, il ne faut pas oublier que le CPU va être utilisé, et que donc la facture énergétique ne sera pas anodine... :haaa:

Je recommanderais donc la mise en place de client de grille sur des machines qui tournent très régulièrement, comme des PC de bureau, web serveur, etc.

Autre recommandation, le choix des projets est parfois délicat. Beaucoup de projets sont lancés par des universités américaines. Et le mode de financement du projet concerné est parfois obscur. Il n'est pas rare qu'une université américaine travaille sur des projets de recherche fondamentale, exclusivement financé par le privé. Avec à la clef, des résultats... Non publié au public, et réservé exclusivement à l'usage du sponsor. Un comble pour une unif.
:gueule:
Evitez donc les projets venant d'universités américaines qui ont l'exclusivité des résultats, et privilégiez celle qui travaillent en partenariat.

Voila, bon "crunch" à tous, et avec du logiciel open-source encore bien !

OS
Oswald_le_fort

Ze Venerable
et ya quoi comme résultats de mesure enregistrés dans ces 35ko, les trajectoires des de ce qu'a produit la collision ?

Même pas les trajectoires, justes les points de passage des particules. Les trajectoires sont reconstruites en partie directement, mais il n'est pas possible point de vue temps de reconstruire complètement toutes les traces. Les algos en charge de ça sont assez complexes et lourds. Donc ce qui sort du détecteur, ce sont essentiellement les points d'impact. Mais pas uniquement. Et puis il faut voir que ces machins là sont compressés enormément pour réduire la taille. Les algos de compressions sont vachement efficace.

avatar
buck

Les trajectoires sont reconstruites apres coup a la demande ?

avatar
Maulus

Oswald_le_fort


Ze Venerable


2kHz, à 35ko par événements


un événement c'est une collision ? il y en a 2000/s ??


Un événement, c'est une collision, oui, mais après déclenchement. En fait, des collisions, c'est une toute les 25ns, soit 40 million par seconde. Nous sélectionnons les événements interessant pour n'en garder que 2000 par secondes. ATLAS et CMS c'est moins parce que leurs événements sont plus gros que les nôtres, genre 100ko, et leur taux de sortie est identique (1,5Go /s).

Sa veut dire que le détecteur en lui même peut débiter encore plus d'info que ça ?
Le goulet d'étranglement a 1,5go/s se trouve ou ?
Comment s'appelle le système informatique qui trie les infos justement pour passer de 40 millions à 2000 ? je me souviens plus ahh siii le trigger !! c'est là le goulet ??
Mon idée c'est de dire qu'en améliorant l'informatique au cul du détecteur, on pourrait ptretre augmenter nos changes de détection ! m'enfin sa veux dire aussi que toute la chaine de stcokage et d'analyse derrière doit suivre :larme:

NA
Nanovent

Petit test !

Ps : je ne donne pas les Rep .

http://www.cheneliere.info/cfiles/Physi ... e/17-3.pdf

OS
Oswald_le_fort

buck
Les trajectoires sont reconstruites apres coup a la demande ?

Non, elles sont toutes reconstruites après coups une fois. C'est l'étape de reconstruction. Les infos ne sont pas perdu, il est toujours possible de re recontruire si on trouve un bug par exemple.

OS
Oswald_le_fort

Maulus


Oswald_le_fort
Un événement, c'est une collision, oui, mais après déclenchement. En fait, des collisions, c'est une toute les 25ns, soit 40 million par seconde. Nous sélectionnons les événements interessant pour n'en garder que 2000 par secondes. ATLAS et CMS c'est moins parce que leurs événements sont plus gros que les nôtres, genre 100ko, et leur taux de sortie est identique (1,5Go /s).


Sa veut dire que le détecteur en lui même peut débiter encore plus d'info que ça ?
Le goulet d'étranglement a 1,5go/s se trouve ou ?
Comment s'appelle le système informatique qui trie les infos justement pour passer de 40 millions à 2000 ? je me souviens plus ahh siii le trigger !! c'est là le goulet ??
Mon idée c'est de dire qu'en améliorant l'informatique au cul du détecteur, on pourrait ptretre augmenter nos changes de détection ! m'enfin sa veux dire aussi que toute la chaine de stcokage et d'analyse derrière doit suivre :larme:

en fait il se trouve à la sortie, entre le détecteur et les disques. Techniquement, on n'arrive pas à passer plus. En plus, on ne sait pas écrire plus rapidement non plus, donc de toutes manières, ça ne servirai à rien d'envoyer des données qui ne seraient pas écrite (donc perdues).
Le trigger sert à limiter les données. Il est configurable pour régler le débit d'une manière optimale. Si on peut envoyer plus de données, on le fera, bien sûr.

avatar
Maulus

la vitesse d'écriture ?? bah elle est proprotionnelle aux nombres de disques en parallèle ! :D
tu m'aurais dit le débit limite des cablouze, là, ouais :D