О дискриминации в Open Source: на примере сравнения ChimbaBenchCL с прочими бенчмарками

Почему Linux и Open Source находятся в настолько чахлом состоянии, что подавляющее большинство людей всё равно продолжает использовать Windows и проприетарное ПО, даже несмотря на активное «закручивание гаек» американскими корпорациями? Причин тому огромное множество, и низкое качество Open Source-софта — одна из них. Но есть и ещё одна причина, почему к Open Source и сообществу Linux люди относятся нехорошо.

Источник: собственная иллюстрация

И эта причина кроется в работе профильных ресурсов вроде OpenNET, где в последнее время взяли моду на войну против ИИ и проектов, разработанных с помощью нейросетей. Один из моих проектов попал под дискриминацию на данном ресурсе. Хотя я использовал нейросети при разработке проекта ChimbaBenchCL, проект не является сгенерированным ИИ, как заявили в причине отклонения моей новости. По факту администрация ресурса необоснованно повесила клеймо «сгенерировано через AI» на конкретный проект. Особенно нелепо выглядит упрёк за то, что имеется всего один разработчик, как бы намекая, чтобы я побежал ради OpenNET приглашать других людей в проект или вообще создавать фейковые аккаунты разработчиков для видимости.

Источник: собственный скриншот ресурса OpenNET

После такой причины отказа, я уже очень сомневаюсь, что другие проекты с такой же причиной не были безосновательно оклеветаны, как и мой. Уж простите меня, администрация OpenNET, если моё мнение и критика будут для вас неприятны, но вам следует хотя бы привести веские аргументы, что проект именно сгенерирован ИИ (если это прямо не указано в самом проекте), вместо того чтобы просто вешать клеймо только потому, что так показалось проверяющему.

Не знаю, как в других проектах, но ChimbaBenchCL не был сгенерирован ИИ — он разрабатывался при помощи ИИ, что совершенно разные вещи. И прежде чем воевать против ИИ на профильном Open Source-ресурсе, фактически препятствуя развитию того самого Open Source, следует хотя бы эти два совершенно разных понятия научиться различать, иначе получается не польза, а угнетение потенциально качественных проектов и их разработчиков, что и приводит к застою Open Source и экосистемы Linux.

Если говорить обо мне, то для меня эти Open Source-ресурсы не так уж значимы — я легко обхожусь и без них. Но наверняка есть и те, кто пытался прорваться со своими Open Source-проектами в условиях снобизма со стороны площадок и в итоге бросал свои проекты, даже не развив их во что-то более качественное. А потом некоторые удивляются, почему бегут от Linux и Open Source как от чего-то плохого, токсичного, бесперспективного и непригодного для использования, в зависимости от того, является ли человек простым пользователем или разработчиком.

Для примера: на ресурсе Overclockers новость о создании нового Open Source-бенчмарка опубликовали без каких-либо придирок и проблем. Тем временем на профильном ресурсе OpenNET новость не просто отклонили, а проект оклеветали как сгенерированный ИИ. При этом новость «пинали» в очередях почти неделю без какой-либо обратной связи, прежде чем выставить причину отказа. Разумеется, я недоволен ресурсом OpenNET за то, что они назвали проект сгенерированным, когда это не так. Но эта ситуация многое говорит о профильных площадках про Open Source и Linux.

Источник: собственный скриншот

Я за это время успел провести ряд тестов и написать две статьи с результатами, пока новость валялась на профильном для таких новостей ресурсе и впоследствии была отклонена. Казалось бы, ИИ наконец развили достаточно, чтобы он стал полезен как инструмент, помогающий в разработке новых и качественных проектов, и тут профильные ресурсы негативно клеймят всё подряд как сгенерированное ИИ, отказывая в публикации новостей.

Стоит ли говорить, какой вред такая неуклюжая война против ИИ наносит всему Open Source и Linux? Действительно качественные Open Source-проекты, пригодные для использования и разработанные до появления ИИ, можно пересчитать по пальцам одной руки, а новые проекты с надеждой на качество просто задвигают подальше на профильных ресурсах. Вот вам и одна из причин плачевного состояния Linux и Open Source в целом. Даже сам Линус Торвальдс понимает, насколько абсурдна эта война против ИИ при разработке ПО, и недоволен тем, что разработчиков и код, разработанный при помощи ИИ, буквально дискриминируют.

Источник: собственный скриншот

Хотя я недоволен самим ядром Linux, я с Линусом согласен. Ирония этой ситуации в том, что я сам использую текстовый редактор вместо полноценной IDE при разработке необоснованно отвергнутого и заклеймённого проекта ChimbaBenchCL. И скажу так: я уже устал расставлять пробелы вместо табуляций, пытаясь соблюдать общий стиль кода, следуя тому, как работают ИИ и полноценные IDE, поэтому постепенно возвращаюсь к обычной и привычной для меня табуляции при исправлении и написании нового кода.

Источник: собственный скриншот

Исследуем прочие OpenCL-бенчмарки

И если в основных причинах отказа в публикации лишь пустой звон от представителей профильного ресурса OpenNET, необоснованно оклеветавших проект как сгенерированный ИИ и придиравшихся к количеству разработчиков, то со второй половиной есть нечто интересное, что уже можно исследовать на практике.

Администрации ресурса непонятно, чем мой проект лучше существующих, и она приводит целых шесть ссылок на проекты, о большинстве из которых я даже не слышал до этого момента. Вот с этого момента можно заняться полноценным исследованием того, что же там такое, из-за чего мой ChimbaBenchCL оказался настолько недостойным профильного для таких проектов ресурса.

Источник: собственный скриншот

OpenCL-Benchmark

Давайте начнём с первой ссылки на проект OpenCL-Benchmark. Сразу замечаем, что проект последний раз выпускался 7 месяцев назад, хотя это не является проблемой. Гораздо интереснее тут заявления про работу с любыми GPU и инструкция по использованию, подразумевающая компиляцию проекта из исходного кода вместо того, чтобы просто скачать готовый исполняемый файл и запустить.

Источник: собственный скриншот

Хотя этот бенчмарк запустился на встроенной графике Intel UHD 600, с которой не работают ни clpeak (почему про этот бенчмарк не упомянули в причине отказа?), ни ChimbaBenchCL, результатам доверия нет. Более того, мне приходится ждать более двух минут прохождения только одного из тестов, пока появится хоть один результат, что невероятно долго. При тестировании Celeron N4020 я вообще не дождался никакого результата.

Источник: собственное фото

Что же с бенчмарком ChimbaBenchCL? Да всё прекрасно работает. Времени затрачено меньше 30 секунд, а результаты продублировались в текстовый файл, чего не делает сторонний OpenCL-Benchmark.

Источник: собственное фото

Уже на этом моменте мой ChimbaBenchCL превзошёл предложенный администрацией OpenNET бенчмарк. Или у меня просто неправильный ноутбук? Давайте проверим OpenCL-Benchmark на другом ноутбуке и заметим, что даже скомпилированный из исходного кода вариант работает отвратительно. И что это вообще за результат FP64 в 32 гигафлопса на процессоре i7-10875H? Я уже не говорю о том, что тестирование данным бенчмарком — одно мучение.

Источник: собственный скриншот

Intel Compute Benchmarks

Следующим по списку идёт проект Compute Benchmarks от Intel. Тут сразу можно засчитать победу моему проекту ChimbaBenchCL, потому что у меня есть бинарные файлы, пригодные для переноса и запуска без компиляции, а у проекта Compute Benchmarks от Intel их нет. Неважно, какой классный и прекрасный проект: если его невозможно запустить без выноса мозга и танцев с бубном, всё остальное ничего не стоит.

Источник: собственный скриншот

Мне пришлось выкачать репозиторий весом почти 165 мегабайт только для того, чтобы попытаться скомпилировать данный проект. Начало уже скверное. И в этом – практически весь Open Source.

Источник: собственный скриншот

И тут мой ноутбук оказался загружен компиляцией исходного кода на целых 37 минут. Опыт просто отвратительный, если смотреть со стороны обычного пользователя. Боюсь представить, сколько часов я бы компилировал этот бенчмарк на процессоре Celeron N4020 в другом ноутбуке. Уже явно будет не до тестирования производительности. Я уже не говорю про ад зависимостей, с которым можно столкнуться на операционных системах обычных пользователей, не занимающихся разработкой ПО.

Источник: собственный скриншот

А что в итоге я получил за 37 минут компиляции? Целую помойку из 129 файлов, 42 из которых — исполняемые и непригодны для переноса на другие дистрибутивы Linux, так как скомпилированы под операционную систему, в которой происходила компиляция. Это просто жесть.

Источник: собственный скриншот

Я попытался запустить несколько скомпилировавшихся за 37 минут бенчмарков, но один выпал с ошибкой, второй работал целую вечность без видимого прогресса, а третий пролетел за секунду без какого-либо результата. Compute Benchmarks от Intel оказался мусором в реальном использовании. Мне жалко потраченного на это времени и электроэнергии, которую отняла компиляция.

Источник: собственный скриншот

Кстати, весит это «чудо» после компиляции 1,5 гигабайта. Просто чудовищный размер.

Источник: собственный скриншот

Я не понимаю, как можно было указывать настолько непригодные для реального использования проекты, оправдываясь за необоснованный отказ в публикации новости про ChimbaBenchCL на профильном Open Source-ресурсе. Они там вообще не проверяют, какой мусор косвенно советуют людям для использования вместо моего нового бенчмарка? И вообще, почему это я должен заниматься проверкой сторонних бенчмарков вместо недовольной администрации ресурса OpenNET?

Spector

Третья ссылка ведёт на бенчмарк Spector, предназначенный для FPGA-устройств, тогда как ChimbaBenchCL ориентирован на desktop-платформу x86_64. Выглядит так, что администрация ресурса OpenNET очень хотела отказать в публикации новости о выпуске нового бенчмарка ChimbaBenchCL, но не имела для этого существенных поводов. И да, тут снова нужно «танцевать с бубном» и компилировать из исходного кода, так как Spector не имеет скомпилированных, пригодных для распространения и использования файлов.

Источник: собственный скриншот

Mixbench

Пятая ссылка ведёт на проект Mixbench, и снова нет предварительно скомпилированных, пригодных для использования бинарных файлов — нужно заниматься мракобесием с компиляцией из исходного кода. Мне даже не нужно компилировать, чтобы полюбоваться абсурдностью самого бенчмарка: насколько неудобную для сравнения простыню результатов он выдаёт, в отличие от моего ChimbaBenchCL.

Более того, автор проекта Mixbench накладывает обременения, заставляя прикладывать определённую цитату к публикациям со «стрёмными» ссылками, если результаты бенчмарка используются в исследовательских работах. Как пользователь, я даже прикасаться не хочу к такому бенчмарку.

Источник: собственный скриншот

LuxMark

Последняя ссылка вела на проект LuxMark. Тут уже есть что-то в релизах; выглядит не так позорно, как предыдущие рассмотренные сторонние бенчмарки. Проблема только в том, что мой ChimbaBenchCL вместе с исходным кодом весит всего около 300 килобайт, включая три бинарных файла для Windows, Linux и FreeBSD. Тем временем LuxMark только для платформы Linux весит внушительные 217 мегабайт после распаковки.

Источник: собственный скриншот

Ещё следует отметить тот факт, что LuxMark отсутствует для платформы FreeBSD. Однако страшнее всего то, что этот бенчмарк даже не запускается, несмотря на всю свою монструозную массу.

Источник: собственный скриншот

SYCL-Bench

Работая над таблицей, я заметил, что один бенчмарк пропустил, поэтому проверю его сейчас. Сразу выписываем минус за отсутствие пригодных для распространения и запуска скомпилированных бинарных файлов. Второй минус выписываем за наложенные дополнительные обременения на результаты теста.

Источник: собственный скриншот

Следующий минус выписываем за то, что официальная инструкция по компиляции написана с ошибками и непригодна для использования в своём изначальном виде. Да, скомпилировать бенчмарк SYCL-Bench не удалось. Проект абсолютно непригоден для использования.

Источник: собственный скриншот

Результаты

Что мы имеем в сухом остатке? А имеем мы то, что ChimbaBenchCL оказался единственным исправным бенчмарком среди всех предложенных администрацией ресурса OpenNET, когда та отказывала в публикации новости про выпуск моего бенчмарка и недоумевала, чем же он лучше уже существующих. Более того, один из проектов оказался под EULA вместо свободной лицензии.

Источник: собственный скриншот таблицы LibreOffice

Результаты исследования получились удручающими, потому что среди семи проектов только ChimbaBenchCL оказался пригодным для использования. А ведь я уже работаю над следующей версией ChimbaBenchCL, привнося новый функционал и исправления, пока администрация OpenNET по 3–4 дня игнорирует данный проект и меня, даже когда я сам им пишу, интересуясь состоянием отправленных на модерацию новостей. Это я считаю недостойным поведением для профильного новостного ресурса, ориентированного на Open Source. Особенно когда необоснованно дискриминируют новые проекты под разнообразными предлогами, вроде того, что проектом занимается всего один человек.

Вполне возможно, у администрации ресурса OpenNET и не было никакого злого умысла намеренно удерживать новость про новый проект ChimbaBenchCL и отказывать в публикации, используя в качестве предлога даже то, что проектом занимается только один человек. Как и, вероятно, нет злого умысла в том, что мне приходится ждать обратной связи от администрации ресурса как минимум несколько дней. Но разве не иронично, что проект, разработанный одним человеком, оказался качественнее дюжины уже существующих проектов из мира Open Source?

Что же, это было увлекательное исследование, но у меня есть и другие дела, да и над проектом ещё нужно поработать, так что на этом завершим данную статью.

Источник: собственное фото

Благодарю за внимание, больше интересных статей в блоге Hard-Workshop.