Discussion orientation française DPM¶

L'avenir de DPM étant incertain (mise en avant de EOS, manpower de CERN IT), il est nécessaire d'avoir une discussion pour préparer le terrain. L'idéal serait de définir une orientation française, d'ici l'automne, qui servirait pour les discussions à venir au sein de WLCG sur ce sujet.
Cette discussion est l'occasion de réfléchir aux points suivants :

• développement
  - possibilité de se tourner vers l'IN2P3 ?
  - position des sites non français ?
  - capacité de développement des fonctionnalités qu'il faudra implémenter pour pérenniser DPM : communauté DPM, collaboration avec EGI ?
• migration/remplacement
  - alternatives possibles : dCache, EOS, CEPH, autres ?
  - évaluation des alternatives : fonctionnalités, support, matériel...
  - scénario de migration
  - problématique des achats : achats actuels compatibles avec la techno choisie

Cette page wiki a pour but de rassembler les différentes contributions sur ces questions.
N'hésitez pas à le compléter.

Canevas pour un retour sur les alternatives possibles à DPM¶

Comme discuté lors de la réunion du 29 mai (https://indico.in2p3.fr/event/21546/), les différentes technologies alternatives à DPM ont été testées au moins en partie par les sites français. Un retour agrégé, par les sites ayant une expérience, pour chacune des options est demandé. Ce retour devra prendre en compte si possible les points suivants :

• fonctionnalités nécessaires aux expériences
  - présentes ou pas
  - exploitables par les expériences ?
• techno exploitable par les expériences ?
• niveau d'interopérabilité avec le Data Management System des expériences (ex. : déclaration et recovery automatique des fichiers perdus, gestion des fichiers temporairement indisponibles) ?
• en termes techniques
  - JBOD, RAID , RAID non hardware
  - erasure coding
  - redondance locale ou distribuée
  - caching pour accès distant intégré ou à ajouter (ex.: xcache)
  - possibilité de/compatibilité avec stockage fédéré ou distribué
  - niveau de redondance possible (i.e. protection contre perte) : disque, serveur, salle machine
  - ...
• vision infrastructure
  - quel mode de migration est envisageable (progressif ou big bang) ?
  - type de serveurs ? différents ou pas de DPM ? pourquoi ?
  - passage à l'échelle : taille individuelle des disques et volumétrie totale du site
  - gros serveurs ou plein de serveurs ?
• coûts (financier, humain, matériel)
  - de migration
  - opérationnels (ex. impact de la perte d'un disque, d'un serveur (temps de reconstruction, temps d'inaccessibilité des données...), monitoring...)
  - vis-à-vis des VO : niveau d'intégration de la techno
  - estimation MATINFO
• communauté de développement
  - maturité
  - support proposé

Retours d'expérience :¶

- CEPH et dCache présenté le 30/06/2020 par Jérôme et Guillame pour CEPH et Adrien pour dCache. Le compte-rendu de la réunion est disponible sur l'agenda.
- EOS wiki
- EOS présenté par Jean-Michel et Denis le 19/06/2020

Démo :¶

- Vidéo de la session Démo EOS présentée par Jean-Michel le 30/09/2020. Attachés à l'agenda, se trouvent le document servant de fil conducteur à la session ainsi qu'une archive contenant les manifests, templates et fichiers utilisés pour la démo.