В процессе тестирования некоторых смартфонов в 2015 году мною оформлялись небольшие заметки, а также фиксировались любопытные наблюдения. По множеству причин не все модели смогли попасть в эту статью, но все же материал обещает быть любопытным.
Далее мы оценим эффективность систем энергосбережения разных производителей, поговорим про троттлинг и стабильность работы, сравним стабильность работы Android-устройств с устройствами Apple, рассмотрим интересные замечания о типах SoC, а под конец – и производительность на масштабном графике.
А в следующий раз сгруппируем результаты всех устройств, побывавших у меня в тесте RMAA, подведем итоги тестирования экранов и взглянем на прогресс в качестве снимков. Сейчас же начнем с тестирования режимов энергопотребления.
Сразу поясню, что в их число вошли только те смартфоны, которые у меня были на тестах (очевидно), так что не надо задавать вопросы «почему нет модели N?». Устройства выбирались очень просто – если у производителя есть собственная система энергосбережения, отличная от стандартной (например, Stamina у Sony), то такое мобильное решение интересно протестировать и сравнить со штатной системой, встроенной в Android 5.x/6.х.
Одним из участников станет Samsung Galaxy Note 5 (SGN5), оставивший столь неоднозначное впечатление и получивший собственную двухрежимную систему энергосбережения. Кроме того, у меня на тестах был и Samsung Galaxy S6 Edge plus, данные с которого снимались аналогичным образом.
У энергосберегающей системы Samsung нет фирменного названия, режимы называются просто: «Power saving mode» и «Ultra power saving mode». Последний из них нам не очень интересен, поскольку он фактически превращает смартфон в Nokia 3310, а вот первый режим как раз вызывает интерес.
Sony Xperia C5 Ultra в версии dual sim будет представлять фирменный режим энергосбережения Stamina. Аналогично Samsung Galaxy Note 5 аппарат оснащен двухрежимной системой энергосбережения:
Первый – «гуманный» – называется Stamina, а второй – Ultra Stamina. Принцип работы во многом схож с таковым у Samsung, однако в первом режиме смартфон предотвращает долготекущие фоновые процессы, поэтому протестировать устройство в нем было проблематично.
К чести производителя, надо сказать, что режим Stamina настраивается, что и позволило смартфону пройти все автоматизированные тесты.
За фирменную утилиту Meizu будет играть Meizu M1 Note. Сам смартфон оказался весьма интересным, посмотрим, на что способна его встроенная система энергосбережения.
В отличие от конкурентов, Meizu предлагает не «функцию энергосбережения», а «режимы питания». Пользователю доступны три вида: «Энергосберегающий», «Сбалансированный» и «Производительный».
Сразу скажу, что существенной разницы между последними двумя не выявилось, так что будем сравнивать «Производительный режим» с «Энергосберегающим». Тем более что никаких ограничений на действия приложений последний не накладывает.
Cubot X15 будет у нас в роли «контрольного» смартфона. Он снабжен совершенно стандартной системой энергосбережения, встроенной в Android 5.1. От этого устройства нам интересно следующее: есть ли разница в работе системы на чипах разных производителей (MediaTek против Qualcomm) и есть ли разница в плане ПО (Cubot vs LG Nexus 5).
Отстаивать честь крайне функциональной системы энергосбережения MIUI будет Xiaomi Redmi Note 2, который за счет своей производительности и доступной цены является очень привлекательным смартфоном.
Мало того, что система содержит функцию создания профилей энергосбережения, которые умеют контролировать такие вещи как самоочистку памяти, вибрацию и доступ к сетевым функциям,…
… так еще их можно включать по расписанию. Например, в ночное время суток можно отключить передачу данных по мобильным сетям. Очень удобно, но есть один печальный нюанс. Режимы работы SoC выглядят так:
Никаких тонких настроек тут нет, поэтому насчет серьезной экономичности при тяжелых нагрузках я бы иллюзий не питал. А вот в режиме малых частичных нагрузок аппарат вполне может показать неплохие результаты экономичности.
Поскольку не все смартфоны удалось протестировать во всех бенчмарках (иногда тестовый экземпляр просят вернуть раньше обычного), то некоторые модели могут отсутствовать на графиках.
GeekBench 3Создается впечатление, что системы LG и Xiaomi вообще не влияют на результат, тогда как эффективность стандартной системы энергосбережения Android 6.0.1 поражает – работает лишь одно ядро из четырех на минимально возможной частоте.
CPU Prime BenchmarkВ целом, результаты похожи.
GFX Benchmark Manhattan offscreenА вот тут ситуация совсем другая. По всей видимости, только алгоритмы Samsung «приглушают» производительность GPU, тогда как другие смартфоны сохраняют производительность (с поправкой на Nexus 5, результаты которого не могли не упасть за счет ослабления производительности CPU).
Для начала посмотрим на абсолютные значения:
AnTuTu TesterА теперь на относительные в процентах относительно номинального режима:
AnTuTu TesterПо версии AnTuTu Tester самой эффективной является энергосберегательная система Samsung. Впрочем, не удивительно, ведь она наиболее эффективно «душит» все, что можно, в отличие от менее эффективного алгоритма Sony Stamina, который в основном полагается на ограничение работы фоновых процессов.
UPD: уже после написания статьи, появилась информация, что система Stamina таки научилась жестко контролировать частоту SoC, но про какие именно SoC идет речь – не совсем понятно.
Увы, но в моем распоряжении при написании данной статьи не было смартфонов ASUS, HTC и других производителей, системы энергосбережения которых было бы интересно протестировать. Надеюсь, в 2016 году мне удастся значительно дополнить этот материал новыми данными.
На данный момент считается, что наиболее «честные» в плане выдаваемой производительности SoC Apple, Intel и Nvidia. Остальные компании, так или иначе, гонятся исключительно за максимальной пиковой производительностью, дабы похвастать результатами в бенчмарках. Если вспомнить скандалы вокруг Qualcomm (далее – QSD) Snapdragon 810, вполне можно утверждать, что ситуация серьезная и только набирает обороты.
Но прежде чем приступать к тестированию, надо понять, чем тестировать смартфоны и нужно ли разделять тесты на раздельную загрузку CPU и GPU. Кроме того, стоит «проверить на прочность» тестовый пакет AnTuTu Stability Test, к которому у меня уже давно возникла масса вопросов.
Итак, начнем с самого простого – протестируем этот небезызвестный бенчмарк, а точнее, один из его тестов. Сделать это очень легко – нужно взять очевидно «горячую» SoC и спровоцировать ее перегрев, тем самым вызвав просадку результатов на графике.
В качестве подопытного у нас выступит чип Samsung Exynos 7420 – один из наиболее «горячих» чипов современности. Напомню, что в нашем обзоре он растерял около 40% под нагревом при том, что AnTuTu Stability Test не выявил серьезных проблем.
Методика тестирования будет крайне проста: я возьму смартфон Samsung Galaxy S6 Edge plus, дам ему остыть на сквозняке до ~10 градусов по Цельсию, дабы создать максимально комфортные условия для SoC и запущу тест.
Когда же процесс дойдет до 30%, я оберну аппарат толстым шерстяным пледом, чтобы спровоцировать перегрев и падение производительности. Таким образом, примерно на середине графика мы должны увидеть крутой подъем температуры и такое же крутое падение производительности. Погнали.
Красной линией отмечен момент упаковки смартфона в одеяло. Прекрасно видно, что температура действительно начала расти, но она достигла всего 26 градусов! Разумеется, производительность практически не пострадала от этого.
Если опираться только на AnTuTu, то этот смартфон выглядит весьма стабильным. Хотя мы-то знаем, что это не совсем так. Но прежде чем делать выводы, у меня есть и противоположный результат с другого устройства:
Это результат LG Nexus 5, который тестировался по точно такой же методике. Парадокс заключается в том, что, несмотря на показательные результаты, достигнуты они только за счет большого скачка температуры. Если SoC в смартфоне изначально находится в «теплом» состоянии, то он начнет троттлить с самого начала, и мы снова увидим плоскую прямую производительности при растущей температуре.
Обратите внимание на производительность: старый Snapdragon 800 набирает почти 130 баллов в пике, тогда как суперсовременный и мощный Exynos всего 178. Это немного странно, учитывая, насколько он должен быть производительнее. Давайте посмотрим на производительность разных процессоров в этом тесте.
Конечно, график не претендует на высочайшую точность, так как одна и та же SoC может обеспечить весьма большой разброс результатов в зависимости от смартфона, в который установлена.
Но все же, если посмотреть на график внимательно, можно заметить интересные детали, например, восьмиядерный MediaTek MT6592М набирает в пике меньше баллов, чем МТ6589Т. Это может говорить лишь о том, что тест нагружает явно не все ядра. Давайте в этом убедимся, вот лог загрузки четырехъядерного процессора при выполнении этого теста:
Впрочем, как и стоило ожидать. В итоге получается, что AnTuTu Stability Test тестирует стабильность работы при нагрузке в один-два потока. Восьмиядерные CPU в таких тестах, как правило, будут получать лучшие результаты чем двух- и четырехъядерные, поскольку общая загрузка в процентном соотношении будет меньше (TDP никто не отменял), да и восемь «горячих» ядер Cortex-A72 никто ставить не будет.
Тут надо уточнить, что некоторым смартфонам хватает и столь малой нагрузки, чтобы «посыпаться». К примеру, основанным на том же Snapdragon 800 ранних версий.
Вообще, я думал об отказе от данного теста, но в итоге пришел к выводу, что он нужен. Он позволяет отсеять совсем уж «клинические» случаи, тогда как повторный запуск AnTuTu позволяет выявить троттлинг более точно. Если в AnTuTu Stability Test результаты варьируются на величину +\-30%, то знайте – перед вами очень печальный вариант.
UPD: В версии AnTuTu 6.0 разработчики сами отказались от этого теста. К чему бы это?
Внимательный читатель помнит интересные данные по троттлингу, полученные в обзоре Apple в тесте Basemark Metal:
В тот раз мы убедились, что даже Apple A9 теряет производительность по мере нагрева. Но как же обстоят дела у Android-гаджетов, про стабильность которых ходят не самые лестные слухи?
Для того чтобы ответить на этот вопрос, нам нужно подобрать тест, который максимально нагрузит GPU, так как Basemark Metal нет под Android, а в среде iOS это один из самых «горячих» тестов. Для этого снова возьмем Samsung Galaxy S6 Edge plus и прогоним на нем все тестовые сцены пакета GFXbench. Нам нужна сцена, которая за семь проходов способна серьезно нагреть устройство.
И поскольку с iPhone 6s мы будем сравнивать относительные числа, то и абсолютные данные сразу приведем к относительным:
Прекрасно видно, что чип просто не успевает прогреться за семь проходов. Конечно, можно вместо семи сделать четырнадцать и записывать каждый второй результат, чтобы дать чипу больше времени прогреться, но за время между прогонами он будет все равно остывать.
По сравнению с Basemark Metal сцены слишком короткие. Посмотрим, что могут предложить нам AnTuTu 3D Rating и BaseMark X.
AnTuTu нам не подходит, он снова обеспечивает слишком короткие по времени прогоны, а вот BaseMark X с максимальными настройками кажется даже избыточным, особенно это скажется на маломощных гаджетах. Но тут лучше «пережарить», чем «недожарить». Так что опираться будем на семь прогонов подряд в BaseMark X при высоких настройках качества.
Но начнем с троттлинга процессорной части. То есть, запустим Linpack, как это было в случае с iPhone 6s, а заодно добавим в схему iPad Pro.
Linpack, 15 прогонов, Psize=2000Абсолютные данные сложно сравнивать, так как разброс по производительности слишком велик. Обработаем данные, выделяя процентное соотношение между лучшим прогоном и худшим.
LinpackВесьма интересная ситуация получается, не правда ли?
Теперь проверим уровень троттлинга при нагрузке на GPU. Поскольку это тестирование проводилось в Basemark X, то результаты каждого прогона позволяют нам построить полноценный график.
C графика абсолютных значений можно различить лишь тот факт, что Samsung Galaxy S6 Edge plus поддается троттлингу. Другие участники выглядят просто образцами стабильности. Но так ли это на самом деле? Приведем график к относительным значениям, где за 100% возьмем первый прогон.
С относительной точки зрения прекрасно видно, что iPhone 6s начинает терять производительность раньше, чем тот же Samsung Galaxy S6 Edge plus, хотя впоследствии производительность последнего «проседает» больше. Интересно, что Motorola Moto X на QSD801 показала весьма неплохие результаты, а все чипы среднего класса демонстрируют отличные показатели автономности.
Вот вам и «супер-стабильный» Apple A9. Хотя на фоне LG Nexus 5 любое из этих устройств будет выглядеть совершенством в плане стабильности
Все мы привыкли, что сегодня в смартфоны устанавливают многоядерные однокристальные системы. Но что же скрывается под этими многообещающими определениями? Нужно ли это пользователям и что самое интересное – как именно оно работает?
С процессорами для настольных ПК все было традиционно просто: вот у нас модель с четырьмя ядрами, и она дает прирост производительности по сравнению с одноядерной моделью чуть менее, чем это теоретически возможно. У нас не было ни big, ни LITTLE, а модульная система путала только в моделях AMD. Впрочем, еще остались на свете люди, которые не видят разницы между физическими ядрами и Hyper-Threading, но эта тема уже не раз была разжевана и неактуальна для наших читателей.
На рынке присутствует множество вариантов, созданных по этой схеме. Ранее это была самая распространённая вариация SoC, которая не нуждается в особом представлении. Все честно, прозрачно и предсказуемо. К таким SoC относится, например, вся серия Intel Atom Z, Qualcomm Snapdragon 200, 400, 410, 600, 800, 801, 805, а также ранние версии. Или другой пример – простенький MediaTek MT6735:
Теоретически при однопоточной нагрузке данная SoC должна работать как-то так (прошу прощения, иллюстратор из меня не очень):
Это, конечно, если не учитывать нагрузку, которая дает операционная система. В данном случае она частично заняла процессорное время другого ядра или других ядер. Но мы ее условно не будем учитывать.
А вот так в теории должна будет выглядеть нагрузка в четыре потока на ту же SoC:
Опять же, если не брать во внимание такие «тонкие» факторы как кэш ядер, специфику задачи и затраты на ОС. И раз уж мы затронули тему масштабирования, посмотрим, как это выглядит на деле в синтетических тестах.
MT6735M@GeekBench 3Прекрасно видно, насколько «страдает» реальная производительность и какой она должна быть при идеальной масштабируемости (mean).
Но это всего лишь GeekBench, лучше мы обратимся к столь любимому нами Linpack.
MT6735M@LinpackВторое значение на графике – теоретически максимальное возможное число при идеальной масштабируемости. Как и в GeekBench 3, мы попросту недосчитываемся одного ядра. Именно это и есть те самые «сопутствующие расходы» на архитектуру, кривость ПО, нагрузку операционной системой и прочее.
В рамках «старого-доброго» подхода рассмотрим другой вариант:
Qualcomm Snapdragon 800 является «честной» SoC, хоть и получила дурную славу за свою любовь к троттлингу. Что неудивительно – достаточно посмотреть на частоту.
Это тестирование будет интересно в том плане, что «накладных расходов» на нужды ОС относительно общей производительности чипа будет намного меньше. Мы даже поставим задачу потруднее, увеличив тем самым нагрев и спровоцировав троттлинг.
Snapdragon 800@LinpackИтак, за счет большей общей производительности «накладные расходы» меньше мешают нашему подопытному стремиться к теоретическому максимуму. В итоге картина получается примерно такой:
Расходы ресурсов на ОС и ограничения TDP делают свое дело. Разумеется, есть и другие факторы и архитектурные особенности, которые могут повлиять на худшую масштабируемость.
Кстати, можно вычислить, сколько производительности примерно теряется из-за троттлинга. Для демонстрации этого охладим нашего подопечного (благо на дворе декабрь) и повторим тест:
Cooled Snapdragon 800@LinpackПервое, что бросается в глаза – существенное повышение производительности. Почти в два раза. Но на то это и 800-ый, чтобы троттлить.
Обработаем полученные данные, дабы разобраться, что к чему. Приведем абсолютные числа к относительным, где за 100% возьмем производительность на один поток.
Весьма интересная ситуация. Насколько позволяет точность измерений, можно предположить, что в случае со Snapdragon 800 при нагрузке в четыре потока масштабируемость возрастает, пусть и незначительно, а вот МТ6753М слишком слаб, чтобы продемонстрировать такие же показатели масштабируемости.
Но мы немного отвлеклись. Вернемся к нашей тематике.
Это хорошо знакомая нам и, пожалуй, самая эффективная схема компоновки. Вот пример:
Я специально выбрал для примера Snapdragon 808, ведь он очень интересен за счет своей нестандартной шестиядерной компоновки. Если мы, например, возьмем Exynos 7420,…
… то его работа не вызывает вопросов: в случае с требовательными приложениями используется один четырехъядерный модуль, в случае с работой системы в фоне используется другой четырехъядерный модуль с ядрами Cortex-A53. А вот в случае со Snapdragon 808 возникают вопросы. Например, если подать на него нагрузку в четыре потока, будет ли он использовать четыре ядра Cortex-A53 или два ядра Cortex-A57?
Для этого нам достаточно нагрузить его при помощи того же Linpack и посмотреть масштабируемость между нагрузкой в два и три потока. Так как очевидно, что два ядра Cortex-A57 на большей частоте быстрее даже трех ядер Cortex-A53 на меньшей частоте, то все встанет на свои места.
Дабы не провоцировать сброс нагрузки на ядра А53 вследствие перегрева, проверим его в охлажденном состоянии. А также посмотрим, может ли он работать с шестью потоками одновременно, ведь этот процессор позиционируется как шестиядерный, а не «2+4». Благо у меня под рукой как раз есть LG G4.
Cooled Snapdragon 808@LinpackПолучается очень интересная картина.
При простое чип ведет себя следующим образом:
Производительности одного ядра Cortex-A53 вполне хватит для того, чтобы обеспечить работу ОС и приложений в фоне. В целях энергосбережения могут использоваться два-четыре ядра на пониженной частоте, вместо одного на максимальной, как это условно показано на рисунке. Тут все понятно.
Так поведет себя CPU при высокой нагрузке в один поток. Опять же – все предельно ясно и неинтересно. Тут мы абстрагируемся от нужд ОС, приложений, TDP и других «накладных расходов», дабы не создавать «шум» на схеме.
С двумя потоками тоже ничего интересного – нагрузка переляжет на второе ядро Cortex-A57. А далее начинается интересное.
Если мы подаем от трех до пяти потоков, то используется модуль с ядрами Cortex-A53. Во всяком случае, такой вывод можно сделать из данных, которые явно показывают на снижение производительности при переходе с двух потоков на три. А если бы три потока отрабатывались на двух ядрах Cortex-A57, то результаты были бы аналогичны.
Возникает вопрос: почему не повышается производительность при переходе с трех потоков на четыре? Ведь было бы логично, что тогда использовались бы четыре ядра вместо трех, как указано на схеме? Сложно ответить на этот вопрос, не углубляясь в дебри планировщика, но я осмелюсь предположить, что ситуация аналогична MediaTek MT6735M, где мы не увидели дальнейшей масштабируемости.
Но как только речь заходит о шести потоках,…
… SoC снова переносит нагрузку на «толстые» ядра. Зачем? Предположу, что это сделано для бенчмарков, которые точно знают, сколькими ядрами располагает CPU и именно они дадут эти самые шесть потоков, а при использовании двух ядер Cortex-A53 результаты будут выше, как мы видели на графике результатов.
Но в чем тут подвох? А вот в чем:
Какой бенчмарк расскажет об этом? Да, производительность Snapdragon 808 на одно ядро выше, нежели у своего коллеги, на минуточку, из 2013(!) года, но он абсолютно не способен эффективно обрабатывать более двух потоков. Хотя если вы скажете об этом неискушенному человеку, то можно будет услышать тезисы вроде «шесть ядер против четырех» и «808 больше чем 800». Ах, если бы вся серия на ядрах Krait 400/450 не страдала от троттлинга…
Посему в случае со Snapdragon 808 можно сказать, что это скорее двухъядерная SoC, нежели шестиядерная. Увы, но производители никогда об этом не напишут и даже не расщедрятся на формулировку «2+4», а будет что-то типа «Шестиядерный процессор Qualcomm Snapdragon 1.8 ГГц», то есть вроде как шесть ядер работают на частоте 1.8 ГГц и, естественно, все они одинаковые. Ага.
На этом моменте читатель может подумать, что я ругаю Snapdragon 808, но это относится и ко многим другим «системам-на-чипе», например, Snapdragon 810, 650, 652, MediaTek Helio X20, а также Exynos 7420, 5433.
Стоит отметить, что мы более-менее подробно рассмотрели лишь одну SoC, так что делать окончательные выводы рано, но в рамках одной статьи этого достаточно. Для тех, кто хочет познакомиться с этим типом однокристальных систем, советую почитать вот этот материал, а также эту статью, если вы знаете английский.
Не так давно Qualcomm анонсировала однокристальную систему Snapdragon 615. Производители сразу же воспользовались случаем и начали писать про «восьмиядерный процессор Snapdragon»:
Некоторые бренды думают на шаг дальше и (зная, что пользователи отличают 800 и 600 серии) заменяют название на индекс модели, которые никто наизусть не помнит:
Для обывателя в общем-то не было разницы между Snapdragon 810 и 615, они ведь оба восьмиядерные и оба Qualcomm. Но чести ради, надо сказать, что не все компании ведут себя таким образом. Вот, например, фрагмент скриншота с сайта Sony:
Красавчики.
Но мы отвлеклись. В чем тут загвоздка?
А загвоздка тут в том, что это все тот же big.LITTLE, только «быстрые» ядра заменены на разогнанные. То есть получается «overclocked_little.LITTLE» И тут пользователь может задать логичный вопрос: но в отличие от того же Qualcomm Snapdragon 808, в данном случае все восемь ядер Cortex-A53 могут уравнять частоту работы и выполнять вычисления в восемь потоков? Разберемся.
Как-то не очень впечатляет по сравнению с самым обычным Snapdragon 800. Хотя надо признать, что после нагрузки в четыре потока масштабируемость незначительно продолжает расти. Можно предположить, что это связано с хитрой работой контроллера частоты и особенностями самой программы, но утверждать наверняка об этом нельзя. В итоге – масштабируемость этого чипа вполне сопоставима с… четырехъядерным.
Кстати, примерно такая же ситуация и в GeekBench 3:
Если воспринимать SoC как четырехъядерную, то масштабируемость отменная.
И последний момент – Core Pilot.
К сожалению, у меня не было под рукой устройства с данным чипом, так что проверить эту технологию нет возможности. Впрочем, скоро нас ждет весьма интересный чип MediaTek Helio X20, который и «расставит все точки над ё».
Внимательный читатель уже заметил, что для иллюстрации разных SoC мною использовались простенькие схемы с кругами разных размеров. При этом по размеру отличались не только ядра процессора, но и GPU.
Представляю вашему вниманию небольшую схему, которую я разработал для наглядной демонстрации производительности той или иной SoC, ведь не всегда «с лету» ясно, насколько ядро Cortex-A57@1500 МГц быстрее Cortex-A53@1300 МГц.
Для определения диаметра CPU использовались усредненные результаты Single-Core из GeekBench 3, а для определения производительности GPU применялся тест GFX Benchmark, сцена Manhattan вне экрана.
Разумеется, тут собраны не все однокристальные системы, а только самые интересные, да и к некоторым данным нужно относиться с осторожностью, в частности к «слабым» ядрам в составе схемы big.LITTLE. Тем не менее, если вы увидите какую-то явную ошибку, то напишите об этом в комментариях, и она будет исправлена.
