Семейство Intel Itanium: вчера,сегодня,завтра...
Процессоры семейства IA-64.
Оглавление:
1. От авторов
2. Архитектура EPIC
2.1 История создания архитектуры EPIC и процессоров Intel Itanium
2.2 Основные принципы работы архитектуры EPIC
3. Процессор Intel Itanium
3.1 Ядро Merced
4. Процессор Intel Itanium²
4.1 Ядро McKinley
4.2 Ядро Madison
4.3 Ядро Deerfield
4.4 Ядро Montecito
5. Наборы микросхем системной логики
5.1 Intel 460GX
5.2 Intel E8870
6. Развитие процессоров Intel Itanium в будущем.
7. Заключение
1. От авторов
C развитием прогресса человечество постоянно стремилось покорять всё новые и новые вершины, искать более простые решения для реализации объемных задач, двигать вперёд производство и решать глобальные проблемы во благо человечества. C каждым годом людские потребности растут и это естественно.
Как мы знаем, компьютерные технологии не ограничиваются в своём развитии только лишь на домашнем секторе. На корпоративном рынке тоже происходят значимые события. Однако , далеко не каждый из нас в курсе "тамошних" дел , большинство воспринимает суперкомпьютеры, крупные центры баз данных как нечто далёкое...
Мы попробуем, хоть и немного, но всё же пролить свет на разработки компании Intel как раз в этой, "далёкой" для простых смертных, сфере.
Итак, как вы наверное догадались, речь пойдёт о процессорах семейства Itanium от компании Intel...
2. Архитектура EPIC
2.1 История создания архитектуры EPIC и процессоров Intel Itanium.
Базовые принципы архитектуры EPIC были разработаны в университете Иллинойса, проект имел название Impact. В начале 1990-х годов были заложены теоретические основы самОй архитектуры, затем был основан проект, известный под названием Trimaran. Его целью было создание инструментальных средств для процессора на базе EPIC.
Немного позже был создан стратегический альянс двух компаний - Intel и Hewlett-Packard, с целью разработки архитектуры процессора будущего. О чем было официально объявлено в июне 1994 года. Intel и Hewlett-Packard подписывают соглашение о совместной разработке новой 64-разрядной архитектуры, ориентированной на применение в серверах и рабочих станциях.
В ноябре 1997 года, Intel и Hewlett-Packard представляют результат совместной работы - революционно новую микропроцессорную архитектуру, официально получившую название EPIC - архитектура явно-параллельного вычисления инструкций (Explicitly Parallel Instruction Computing), которая и была положена в основу будущего семейства процессоров Itanium.
В июне 1999 г. компании Intel и Hewlett-Packard представляют архитектуру и набор команд процессора семейства IA-64, первым из которых был процессор носивший рабочее название Merced.
В августе 1999 года, впервые была продемонстрирована работа операционных систем Linux и 64-разрядной Windows на системе, построенной на процессоре с архитектурой IA-64 - Merced. В октябре того же года Intel дает процессору Merced коммерческое наименование Itanium. Появились такие термины как "Семейство процессоров Itanium" (Itanium processor Family) и "Архитектура Itanium" (Itanium Architecture).
В июле 2000 г. Intel и Microsoft объявляют о завершении работ над предварительной версией 64-разрядной операционной системы Windows для процессоров Itanium.
2.2 Основные принципы работы архитектуры EPIC
Использование архитектуры EPIC - главное отличие Itanium от RISC-процессоров. Она позволяет разбивать различные приложения и процессы вычислений на выполняемые параллельно фрагменты, обеспечивая в результате существенный скачок производительности. В архитектуре EPIC сочетаются многие технологические решения, которые в результате сочетания дают значительное повышение скорости обработки и решение некоторых проблем трансляции программ. Рассмотрим эти решения:
- Поддержка явно выделенного компилятором параллелизма.
- Большой регистровый файл.
- Подобно архитектуре PowerPC, в EPIC присутствуют предикатные регистры. Использование предикатных регистров – важнейшая особенность, кардинально отличающая IA-64 от всех других процессоров.
- Спекулятивная загрузка данных, позволяющая избежать простоев конвейера при загрузке данных из оперативной памяти
- Поддержка предикатно выполняемых команд, которая позволяет избежать лишних инструкций ветвления, если количество команд в ветвях условного оператора невелико и уменьшить нагрузку на устройство предсказания ветвлений.
- Аппаратная поддержка программной конвейеризации с помощью механизма переименования регистров.
- Используется стек регистров (и регистровые окна).
- Для предсказания инструкций используется поддержка компилятора.
- Введена также поддержка инструкций циклического выполнения команд без потерь времени на инструкции циклического выполнения.
В ЕРIC, в отличие от RISC, задача распараллеливания инструкций возложена на компилятор. Это позволяет упростить структуру процессора, и как следствие, добиться более высокой его производительности при меньшей степени сложности. Кроме того, компилятор оптимизирует выполнение программы целиком, а не отдельного ее фрагмента, который доступен процессору в случае аппаратного распараллеливания.
Наиболее интересной в архитектуре EPIC является поддержка спекулятивного выполнения команд и загрузка данных. Рассмотрим их подробнее.
Большинство команд загрузки данных из памяти выполняется длительное время. Выполнение команды за 1-2 такта возможно только в том случае, если значение содержится в кэш-памяти второго уровня. Время несколько увеличивается, если значение находится в кэш-памяти второго уровня. В случае чтения же данных из микросхем динамической памяти даже при попадании на активную страницу происходит значительная задержка при загрузке, а при смене страницы задержка имеет огромную величину, причём конвейер быстро блокируется, так команд, которые можно выполнить без нарушения зависимости по данным, обычно оказывается крайне мало. При спекулятивном выполнении используется вынесение команд загрузки далеко вперёд инструкций, использующих эти данные, в основном вверх за инструкции условного перехода. При достижении потоком команд места, где необходимо использовать загружаемые данные, вставляется инструкция, проверяющая, не произошло ли исключения в процессе загрузки (например, какая-то инструкция произвела запись по этому адресу), если исключение произошло, то вызывается специально написанный восстановительный код, который попросту перезагружает значение в регистр. Также при спекулятивных операциях по данным оптимизируется часто встречающийся участок во многих программах.

3. Процессор Intel Itanium
3.1 Ядро Merced
Итак, перейдем к подробному описанию технических характеристик процессора Itanium.
Первый 64-разрядный процессор Itanium базировался на ядре под кодовым именем Merced и использовал специальный тип корпуса, который представлял собой картридж PAC418 размером 10х6 см, в котором располагалось процессорное ядро. Кэш-память первого и второго уровней была интегрирована на кристалле процессора, а статическая кэш-память третьего уровня новой конструкции емкостью 2 либо 4 Мбайт была размещена на одной плате с ядром процессора и работала с ним на одинаковой тактовой частоте. Также внутри процессорного картриджа располагались дополнительные элементы питания. Картридж Itanium предназначен для установки в разъем Slot M типа VLIF(Very Low Insertion Force) - комбинированный 418-контактный процессорный разъем, сочетающий достоинства как Socket, так и Slot. Сигнальная матрично-штырьковая часть разведена с силовой частью, по которой подается питание, с тем, чтобы исключить помехи. Все это мы можем увидеть на следующем фото:

На обратной стороне процессорного картриджа расположена массивная теплорассеивающая пластина, позволяющая равномерно распределять по всей поверхности процессора выделяемое им тепло. К тому же сильно нагревающиеся блоки процессора тоже размещены равномерно.

Ну и наконец сбоку процессора располагалось поле, на которое наносилась маркировка:

Процессор Intel Itanium имел достаточно большие размеры, что привело к искажениям в передаче сигнала тактовой частоты (в Itanium проблема решена созданием в чипе нескольких узлов распределения сигнала).
Процессор Merced работал на тактовых частотах 733-800МГц с частотой системной шины 133Мгц (эффективная тактовая частота системной шины составляла 266МГц, так как передавалось два блока данных за один такт) и обладал трехуровневой иерархией сверхоперативной памяти.
На реализацию процессора с соблюдением проектных норм 0,18 мкм технологического процесса потребовалось около 320 млн. транзисторов, из которых только 25 млн. пришлось на реализацию самого ядра, а остальные - на кэш-память. Самый большой модуль процессора - это блок вычислений с плавающей точкой, он занимает около 10% площади кристалла. Производительность Itanium составляет до 6,4 млрд. операций с плавающей точкой в секунду. Благодаря архитектуре EPIC и 15 исполнительным устройствам процессор может выполнять до 20 операций одновременно. При этом он может непосредственно адресовать до 16 Тбайт памяти при пропускной способности до 2,1 Гбайт/с. В процессоре реализована поддержка всех существующих на то время расширений Intel (технологий MMX, SIMD и симметричной мультипроцессорной обработки), за исключением SSE2.
Архитектура Itanium включает также такие уникальные средства повышения надежности, как усовершенствованная система обнаружения, исправления и локализации ошибок, как система расширенного самоконтроля и машинной проверки EMCA, обеспечивающая обнаружение, коррекцию и ведение подробного журнала ошибок , а также поддержку обработки кода ECC - контроля четности на кэш-памяти всех уровней и системной шине.
В архитектуре процессора Itanium насчитывается по 128 64-разрядных целочисленных регистров общего назначения и 80-разрядных регистров вещественной арифметики, а также 64 одноpазpядных предикатных pегистpа. Все они доступны для программирования; кроме того, имеется множество недоступных внутренних служебных регистров, используемых самим процессором. 64 одноразрядных регистра используются для организации логики предсказания ветвления и спекулятивного выполнения команд.
Еще одно преимущество в том, что процессор Intel Itanium мог напрямую работать с 16 Тб оперативной памяти (64-битная виртуальная адресация, 50 бит физической адресации), против 4 Гб у 32-разрядных процессоров.

4. Процессор Intel Itanium²
Как известно, развитием архитектуры Intel Itanium стала линейка процессоров Intel Itanium². Процессоры Intel Itanium² совместимы на уровне двоичного кода с существующим ПО для Intel Itanium, что обеспечивает преемственность разработок системного и прикладного ПО.
4.1 Ядро McKinley
В феврале 2001г. на Intel Developer Forum в Сан-Хосе, шт. Калифорния компания Intel впервые продемонстрировала преемника Merced - процессор McKinley. McKinley построен
на улучшенной архитектуре Itanium. В частности, была улучена скорость передачи данных и пропускная способность, новый процессор был совместим с программными продуктами для Itanium. Официальным коммерческим названием процессора McKinley стало имя Itanium²
Итак, подробнее. Процессор McKinley работал с системной шиной с тактовой частотой 400МГц, что почти в два раза больше чем у Merced. Это обеспечило увеличение пропускной способности в 3 раза - до 6,4Гб/с. Площадь кристалла процессора составила 421 мм² и размещено на этом кристалле 211 миллионов транзисторов(для сравнения: тогдашний процессор Pentium 4 имел всего 55 млн. транзисторов). Процессор McKinley изготавливался по 0,18-микронному технологическому процессу и имел кэш-память третьего уровня с низким значением латентности, но меньшего объема - всего 3Мб в отличии от Merced, который обладал 4Мб кэш-памяти третьего уровня.
Более подробно о кэш-памяти:
- Новая кэш-память первого уровня имела латентность всего 1 цикл и объем в 32Кб, что обеспечило прирост в производительности на 15-25% над "традиционной" кэш-памятью с латентностью в 2-3 цикла, так же был улучшен порядок работы компилятора благодаря избавлению от задержки при загрузке процессора
- Кэш-память второго уровня объемом 256 Кб обладал пропускной способностью в 64 Гб/c, что в 4 раза больше чем у существовавших на то время RISC процессоров. Шесть вычисляемых целочисленных объектов с полным прохождением обеспечили лучшую параллельность.
- Процессор McKinley также получил хорошо спроектированную кэш-память третьего уровня объемом 3Мб, которая обладала эффективностью работы 85% против 70% кэш-памяти обычного строения, а так же на 20% меньшие размеры, чем в традиционном дизайне.
Процессор Itanium² McKinley работал на более высокой по сравнению с Itanium тактовой частоте - от 900МГц до 1.0ГГц и выпускался в новом конструктивном исполнении PAC611. Остановимся на нем подробнее и взглянем на фото процессора Itanium² :


Как видим, ядро процессора теперь размещалось в OLGA-упаковке, разведенной на процессорной плате. Число контактов картриджа увеличилось до 611. Размеры составили 48 x 5.77 x 90 мм.
Теперь вернемся к особенностям архитектуры IA-64 и посмотрим, что "умел" Itanium².
Инструкции, обрабатываемые шестью параллельными конвейерами глубиной 8 команд, непосредственно выполняются в 23 функциональных блоках.
Функциональные модули Intel Itanium² : шесть целочисленных модулей, два модуля для вычислений с плавающей точкой, два модуля для вычислений с плавающей точкой двойной точности, шесть модулей для обработки мультимедийных команд, четыре модуля, управляющих загрузкой и выгрузкой данных и три модуля предсказания ветвлений.
Количество соответствующих модулей было оптимально подобрано с учетом потребности в вычислительных ресурсах приложений, характерных для корпоративных СУБД, сложных инженерных расчетов и др. При этом команды практически не "задерживаются" в ожидании, пока освободится нужный исполняющий модуль. Ширина системной шины, по которой осуществляется взаимодействие нескольких процессоров друг с другом и доступ к памяти, увеличена до 128 бит, что также кардинально сказывается на скорости работы.
Регистры Intel Itanium²: 128 регистров общего назначения; 128 регистров с плавающей точкой; 64 регистра предикатов; 8 регистров перехода.
Число регистров, в которых размещаются данные для непосредственной обработки их процессором, свыше трехсот. Большое их количество позволяет избежать дефицита регистров при параллельной обработке многих команд. Кроме того, в процессоре Intel Itanium² реализованы такие механизмы повышения эффективности работы, как стек и переименование регистров.
Регистры CPUID, содержащие информацию о процессоре, являются 64-разрядными. В CPUID-регистрах 0 и 1 лежит информация о производителе, в регистре 2 находится серийный номер процессора, а в регистре 3 задается тип процессора (семейство, модель, версия архитектуры и т.п.) и число CPUID-регистров. Разряды регистра 4 указывают на поддержку конкретных особенностей IA-64, т.е. тех, которые реализованы в данном процессоре.
4.2 Ядро Madison
Следующая модель процессора Itanium² с объемом кэш-памяти третьего уровня 6 Мбайт была построена на ядре Madison, выпускалась по 0,13 мкм технологическому процессу и была аппаратно и программно совместима с первой версией Itanium² на 0,18 мкм ядре McKinley. Это обеспечило защиту инвестиций OEM-производителей и пользователей. Кроме того, процессор Madison совместим на уровне двоичного кода с программами для архитектуры Intel Itanium (Merced, 0,18 мкм), обеспечивает повышение производительности на 30-50% по сравнению с предшественником и оптимизирован для выполнения требовательных корпоративных и научно-технических приложений.
Максимальный объем кэш-памяти третьего уровня процессора Intel Itanium² достиг 9Мб (модификация Madison9M). Доступ к кэш-памяти третьего уровня стал в несколько раз быстрее, чем к оперативной памяти - 48 Гб/с). Число транзисторов в ядре Madison с кэш-памятью третьего уровня составило 500 млн, тактовая частота от 1300 до 1600 МГц.
Как мы уже говорили выше, процессоры на ядре Madison были аппаратно совместимы с McKinley, тоесть использовали тот же процессорный разъем PAC611. Давайте уделим ему немного внимания.
Конструктивное исполнение PAC611 (модификация разъема Slot M для процессоров Itanium²) использует 700-контактное гнездо типа VLIF Socket для соединения сигнальных контактов процессора с материнской платой, и краевой разъем типа Slot для подачи процессору питания из блока VRM-0008, который разработан специально для процессоров Itanium² и поставляется вместе с ними или с материнской платой. Для позиционирования блока VRM и процессора в сигнальном и питающем гнездах используется специальный направляющий механизм. В заключение мы можем взглянуть на сигнальные разъемы для двух процессоров Itanium²:

4.3 Ядро Deerfield
В 2003 году вышел преемник процессора Madison. Новое ядро Itanium носило название Deerfield. Процессор выпускался по 0,13 мкм технологическому процессу, поддерживал SIMD расширения SSE и SSE2. Объем кэш-память первого и второго уровня не изменился по сравнению с Madison - 32 и 256 Кб соответственно. А вот кэш-память третьего уровня имела объем от 1,5 до 3 Мб. Процессор Deerfield имел также LV-модификацию (Low Voltage), которая отличалась пониженным напряжением питания ядра т тепловыделением всего в 65Вт против 100Вт у Madison и Deerfield. Оба процессора Deerfield и Deerfield-LV работали на тактовых частотах 1400–1600 МГц и предназначались для двухпроцессорных систем с низким энергопотреблением. Конструктивное исполнение процессоров осталось прежним.
4.4 Ядро Montecito
На момент написания статьи готовился к выпуску следующий процессор линейки Itanium² - Montecito. Пока что о нем известно немного, но мы решили включить в статью известные нам данные, так сказать, "для полноты картины".
По информации TechWorld, ядро Montecito имеет весьма внушительную площадь - 580 мм². Для сравнения, кристалл процессора Pentium 4 на ядре Prescott имеет площадь 112 мм². Большие размеры Montecito объясняются наличием двух ядер и 24 Мб встроенной кэш-памяти. Процессор изготавливается по нормам 0.09 мкм технологического процесса и содержит примерно 1,7 миллиарда транзисторов. В процессоре Montecito реализованы фирменная технология виртуализации сервера Silvervale и система Pellston, обеспечивающая работоспособность в условиях отказа кэш-памяти. Предусмотрена также поддержка технологии Intel Virtualization Technology.
Мы можем взглянуть на увеличенный снимок ядра Montecito:

На снимке легко можно рассмотреть два процессорных ядра, ну и разумеется нельзя не заметить кэш-память - она занимает больше половины кристалла. К слову, большой размер кристалла значительно увеличит стоимость чипа.
В настоящее время процессоры Itanium² Montecito проходят всестороннее тестирование, их массовое производство должно начаться в первом квартале 2006 года. Рассчитаны процессоры на использование в высокопроизводительных серверах.
5. Наборы микросхем системной логики
5.1 Intel 460GX
Для двух- и четырехпроцессорных систем на базе Itanium компания Intel выпустила специальный набор микросхем Intel 460GX, которые могут включаться каскадно, увеличивая число одновременно используемых процессоров. Поскольку конфигурация таких систем изначально предусматривает объемы оперативной памяти в несколько гигабайт, то в системах Itanium применялись недорогие микросхемы памяти типа SDRAM. При этом для увеличения производительности, используются такие методы, как буферирование, чередование и деление памяти на несколько банков. Набор микросхем реально поддерживает работу с 64 Гбайт памяти при максимальной пропускной способности 4,2 Гбайт/с, хотя 64-разрядная адресация памяти теоретически позволяет обращаться к гораздо большему количеству адресов.
Контроллер-концентратор памяти был представлен микросхемами i82461GX или i82462GX, поддерживал память PC100 SDRAM объемом до 64 Гбайт и разъем AGP версии 2.0 ( режимы 2X/4X ) Контроллер ввода-вывода IFB поддерживал PCI 2.2, ATA 33, два порта USB, встроенные средства AC'97 и т. п. Предусмотрено также расширение подсистемы ввода-вывода за счет моста PCI eXpander (PXB), либо высокоскоростного моста PCI eXpander (WXB).
5.2 Intel E8870
Для поддержки новых процессоров Itanium² был разработан специальный набор системной логики, получивший наименование Intel E8870 (i870).
Набор микросхем Intel E8870 состоит из следующих основных компонентов: Intel E8870IO (SIOH), Intel E8870 (SNC), Intel E8870DH (DMH), Intel i82870P2 PCI/PCI-X (P64H2). Использование Intel E8870SP - E8870SP Scalability Port Switch (SPS), позволяет расширить возможности чипсета Intel E8870 и создавать системы с восьмью процессорами Itanium². Ниже мы приводим блок-схему чипсета Intel E8870:

Основные характеристики Intel E8870 таковы: 400 МГц 128-разрядная системная шина с пропускной способностью до 6,4 Гбайт/с, очень большой объем оперативной памяти: концентратор DMH предоставляет в сумме 32 разъема для установки памяти на каждый процессорный узел, и в итоге максимальный объем составляет 128 Гбайт (при использовании четырех DDR Memory Hubs).
Поддерживаются два масштабируемых порта с высокой пропускной способностью. Четыре соединения интерфейса Hub Interface 2.0 имеют пропускную способность 1 Гбайт/с на каждое соединение, что позволяет применять до четырех 64-разрядных контроллеров PCI/PCI-X (P64H2) с интерфейсом HI 2.0. Имеется механизм предзагрузки данных и встроенная кэш-память системы ввода-вывода. Высокопроизводительный мост PCI/PCI-X обеспечивает поддержку всех устройств ввода-вывода PCI/PCI-X I/O, начиная от устаревших PCI и заканчивая высокопроизводительными PCI-X на частоте 133 МГц (каждый контроллер P64H2 содержит два независимых 64-разрядных канала PCI-X с максимальной частотой 133 МГц).
Кроме того, комбинация таких характеристик, как модули hot-plug для процессора и памяти, обнаружение и коррекция ошибок, восстановление сбоев устройств памяти (MDFR), резервные пути ввода-вывода и ведение журнала записи ошибок, делает платформу более надежной, уменьшает время простоев при ремонте и обеспечивает целостность передачи данных по всем соединениям и шинам.
6. Развитие процессоров Intel Itanium в будущем.
Если сравнить с процессорами IA-32, то тактовая частота процессоров Itanium довольно мала, однако не стоит забывать, что сама идея параллелизма архитектуры EPIC несовместима с длинным конвейером — ошибка в предсказании перехода слишком дорого обходится в плане последующего простоя. Отсюда и длина конвейера в процессоре Intel Itanium² всего в 8 стадий. Как следствие — невозможность достичь частот, свойственных современным процессорам архитектуры IA-32. Однако, как уже стало ясно, развитие архитектуры IA-64 идет не за счет пустого наращивания тактовой частоты, а благодаря внедрению новых технологических решений и оптимизации процессорной микроархитектуры. Ну и конечно, ориентация процессоров Itanium на симметричные многопроцессорные конфигурации и масштабируемость вплоть до 512 процессоров при построении кластерных систем говорит сама за себя .
Мы также решили помимо описания будущего процессора Montecito включить в статью и последующие разработки компании Intel, о которых нам известно на момент написания статьи и которые войдут в семейство Itanium. На наш взгляд, было бы интересно обратиться к предварительной информации о будущих процессорах Intel, рассчитанных на корпоративный рынок.
Двухъядерный процессор Montvale, основанный на модели Montecito, будет изготавливаться по 90-нм производственной технологии, начало выпуска планируется в 2007 году. Процессор Montvale будет поддерживаться набором микросхем системной логики Intel E8870.
Tukwila - многоядерный процессор, выпуск которого намечен в 2008 году. Процессор Tukwila будет содержать четыре или более ядер и иметь общую платформенную архитектуру с будущей платформой на базе процессоров семейства Intel Xeon. Для этих процессоров будет выпущен новый набор микросхем системной логики, сейчас известный под кодовым именем Richford.
Dimona - процессор для серверов с двухпроцессорной конфигурацией, построенный на базе процессора Tukwila, но с меньшим энергопотреблением и тепловыделением, будет изготавливаться по нормам 65-нм технологического процесса.
Ну и наконец Poulson - будущий процессор из семейства Intel Itanium, следующий за процессором Tukwila. Кроме предположительного кодового имени ядра о нем пока ничего не известно.
7. Заключение
Анализируя развитие архитектуры процессоров Intel Itanium, мы можем сказать, что компания Intel уже вписала их в историю мирового процессоростроения как отличный прорыв на рынке корпоративных решений. Intel Itanium , как и всё созданное руками человека, имеет свои достоинства и недостатки. Мы надеемся, что в дальнейшем Intel продолжит движение вперёд на корпоративном рынке и новые, ранее невиданные, горизонты откроются нам благодаря продуктивной работе инженеров компании.
Авторы: DarkRaven, white, Demi_g#D*,
*Cofradia Intel*
Пожелания и отзывы оставляйте тут
Источники:
http://developer.intel.ru
http://www.supermicro.com
http://rasika1.narod.ru
http://ru.infocom.uz
http://itua.info
http://www.morepc.ru
http://zeus.sai.msu.ru
http://www.ukrfaq.narod.ru
http://www.wl.unn.ru/~ragozin
http://emanual.ru
Благодарим Fire Vadim за помощь в поиске фотоматериала.
Лента материалов
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!
Комментарии, содержащие оскорбления, нецензурные выражения (в т.ч. замаскированный мат), экстремистские высказывания, рекламу и спам, удаляются независимо от содержимого, а к их авторам могут применяться меры вплоть до запрета написания комментариев и, в случае написания комментария через социальные сети, жалобы в администрацию данной сети.
Сейчас обсуждают