Модель компьютинга эксперимента АТЛАС

по материалам совещаний "Физика и компьютинг в эксперименте АТЛАС"

Основные особенности

  • Модель обработки данных АТЛАСа (и других экспериментов на БАК) характеризуется высокой степенью децентрализации компьютерных ресурсов и совместным их использованием. Такая модель обусловлена как техническими, так и политическими причинами
  • Объединение ресурсов в единую вычислительную среду осуществляется на основе Grid'а
  • АТЛАС использует в настоящее время 3 Grid'а: LCG, NorduGrid, Grid3, каждый из которых включает как инфраструктуру (сети, вычислительные кластеры), так и соответствующее матобеспечение - middleware
  • Функционально вычислительные кластеры классифицируются в соответствии с иерархической трёхуровневой системой: Tier-0, Tier-1 и Tier-2 (Tier-3)

Условия набора данных

  • Энергия взаимодействий 14 ТэВ
  • Светимость
    • 0.5*1033 см-1сек-1 в 2007 г.
    • 2.0*1033 см-1сек-1 в 2008 и 2009 гг.
    • 1034 см-1сек-1 в 2010 г. и далее
  • Частота взаимодействий - 109 Гц при проектной светимости
  • Скорость записи данных - 200 событий в секунду независимо от светимости
  • Число записанных событий - 109 в 2007 г.
  • 2*109 в 2008 г. и далее

Типы данных и их характеристики

RAWСырые данные, как они записаны первоначально
SIMДанные моделирования, аналогичные RAW
ESDРезультат полной реконструкции сырых данных
AODФормат, содержащий характеристики восстановленных физических объектов и используемый для физического анализа
TAGКраткие суммарные характеристики событий, используемые для их отбора
DPDУпрощённые форматы, создаваемые исследовательскими группами для специфических выборок событий, используемых в анализах данных групп

Основные параметры

Параметр Единица измерения Величина на одно событие
RAW объём данных           МБ           1.6
ESD объём данных           МБ           0.5
AOD объём данных           КБ           100
TAG объём данных           КБ           1
SIM RAW объём данных           МБ           2.0
SIM ESD объём данныхM           МБ           0.5
Реконструкция (CPU)           kSI2k*sec           15
Моделирование (CPU)           kSI2k*sec           100
Анализ (CPU)           kSI2k*sec           0.5
1 kSI2k = Pentium IV 2.5 GHz
Параметры приведены для данных, полученных при светимостях 2008, 2009 гг. При проектной светимости объём данных (RAW, ESD) возрастает на 50%, а процессорное время на реконструкцию (анализ) – на 75% из-за наложения дополнительных фоновых событий.

Рост объёмов данных в 2007-2010

 2007200820092010
RAW  1.6  4.8  8.0  12.8
ESD  0.5  1.5  2.5  4.0
AOD  0.1  0.3  0.5  0.7
SIM  0.32  0.96  1.6  2.64
SIM ESD  0.1  0.3  0.5   0.8

Основные задачи Tier-0

  • Хранение одной копии RAW данных на лентах
  • Копирование в режиме реального времени всех сырых данных в Tier-1's
  • Хранение на дисках калибровочных данных
  • Быстрое первоначальное определение параметров калибровок/выравнивания и первоначальная реконструкция событий (создание ESD)
  • Распределение ESD во внешние Tier-1's

Архитектура Tier-0

Основные задачи Tier-1

  • АТЛАС планирует использовать 10 Tier-1's
  • Хранение 1/10 RAW данных на лентах
  • Обеспечение повторной реконструкции своей доли данных и доступа к реконструированным ESD, AOD, TAG
  • Хранение 20% последних версий ESD и AOD на дисках и 10% предыдущей версии на лентах
  • Обеспечение организованного доступа групп физического анализа к ESD
  • Осуществление поддержки 3-4 прикреплённых Tier-2's
  • Хранение SIM данных, произведенных в прикреплённых Tier-2's
  • Повторная реконструкция осуществляется примерно 2 раза в год

Основные задачи Tier-2

  • АТЛАС планирует использовать 30 Tier-2's (по 20 пользователей)
  • Возможно использование распределённого Tier-2
  • Хранение 1/4 AOD и всех TAG данных на дисках
  • Хранение на дисках небольшой выборки ESD
  • Обеспечение возможности (CPU, дисковое пространство) физического анализа и MC симуляции данных для отдельных пользователей (20/Tier-2)
  • Обеспечение централизованной MC симуляции данных
  • Распределённый анализ физических данных также осуществляется с использованием Grid middleware
  • Возможна обработка калибровочных данных

Data Flow