Выпущен Stable Diffusion Web UI Neuro Linux v3 и почему я не поддерживаю AMD

Сейчас мало кого можно удивить сгенерированными изображениями с помощью нейронных сетей.

Но мало кто способен использовать нейросети, ведь подавляющее большинство инструментов находятся в состоянии зависимости от репозиториев и сервисов, и абсолютно непригодны для использования без высокоскоростного и качественного доступа к сети.

Стоит одному из репозиториев исчезнуть и всё, так некоторые современные инструменты разваливаются на груду бесполезных кусков нерабочего кода, это я называю линуксоидным подходом к разработке ПО и меня такой подход крайне не устраивает.

Может к текущему моменту уже и появились действительно автономные сборки для генерации изображений помимо моих SD WebUI Neuro, но как правило, они сделаны исключительно для Windows, а мне нужно для Linux. Да и на поверку может оказаться, что не такое уж и портативное оно там как заявляют, уже сталкивался с такими случаями, когда кричали про портативность, а на деле ничего не работало без доступа к репозиториям в интернете, так что тут ещё большой вопрос стоит в плане портативности...

Ну а типичную установку в линуксоидном стиле банально невозможно провести без интернета, да и то ещё мракобесие красноглазое это всё дело, стоит только влезть, как засасывает километрами логов с ошибками и прочими проблемами, брр.

Конечно, у меня есть действительно портативные сборки SD WebUI Neuro, хотя уже и устаревшие, особенно для Windows, тем не менее, они есть, и Linux версия вполне работала как с GTX 1070 на 8 ГБ, так и с текущей RTX 3060 на 6 ГБ.

Но проблема в том, что существующая версия SD WebUI Neuro Linux не только устарела, но и банально неудобна в использовании, ведь создавалась во времена зарождения дистрибутива Chimbalix.

Потому было решено создать третью версию, уже и дистрибутив Chimbalix неплохо продвинулся вперёд, и установочный пакет Installer-SH появился, как раз в его формате и будет сделан новый Stable Diffusion Web UI Neuro, почему бы и нет.

Прямо сейчас в принципе уже всё сделано и упаковано, но давайте пройдёмся по файлам и рассмотрим интересные моменты из процесса создания сборки, сразу отмечу отсутствие LDSR модели в базовом наборе, просто она слишком много весит и редко используется, так же нет основной модели для генерации изображений, ибо весит ещё больше, не вижу смысла добавлять это всё в свой репозиторий повторно, и так на каждом сайте можно найти LDSR и safetensors модели, да и локальные копии моделей тоже наверняка будут у пользователей уже знакомых с нейронными сетями, потому только самое экзотичное было вынесено в отдельный архив и будет загружено рядом с установочным пакетом.

Разумеется, характерная болячка оригинального SD Web UI при использовании LDSR была исправлена в моей сборке, удивительно, что её до сих пор не исправили в последней доступной версии Web UI 1.10.1...

А вот и причина моей нелюбви к зависимости от репозиториев в интернете, ведь в любой момент они могут исчезнуть, или что ещё хуже, подменены/взломаны и заражены вредоносным кодом, вот наглядный пример:

Попытался увеличить изображение с помощью модели DAT, оно скачало модель по зашитой ссылке на репозиторий, но получило что-то подозрительное, это прекрасно, что есть минимальные проверки, но что пользователь пойдёт делать получив ошибку и предложение отключить эти назойливые проверки не позволяющие использовать "модель"? Правильно, пользователь скорее всего решит просто отключить проверки и запустит что у него там загрузилось, сделать дело то нужно, а загрузиться могло что угодно, ведь ссылки потеряли актуальность.

Именно по этой причине я и ненавижу зависимый от каких-либо репозиториев в интернете софт, а разработчиков такого зависимого софта крайне не уважаю, ведь они буквально создают откровенные дыры для массового заражения систем по всему миру.

https://www.opennet.ru/opennews/art.shtml?num=62856

Таким образом я имею целых две весомые причины для создания своей, действительно автономной сборки Stable Diffusion на основе Web UI от AUTOMATIC1111. Первая, это возможность работы на компьютерах без доступа к интернету, вторая причина в элементарной безопасности и надёжности, интернет постоянно меняется, сегодня всё есть и работает, а завтра одна зависимость исчезла и внезапно всё превратилось в гигабайты нерабочего мусора, или что ещё хуже - загрузится вредоносный код подменённый, мне такое не надо, извольте.

И вот, новая версия автономной сборки SD WebUI Neuro Linux v3 в формате Installer-SH готова, причём было решено изолировать домашний каталог, то есть запуск происходит через прослойку, что в свою очередь задаёт домашний каталог пользователя на время исполнения в папке "userdata", это позволяет избежать засорения оригинального домашнего каталога всяким мусором, а так же позволяет скопировать установленный каталог вместе со всеми моделями и настройками при необходимости.

Ярлыки в меню "Пуск" так не копируются на другой ПК, но сама сборка вполне будет работать при переносе на другую систему с Chimbalix или в другое место, главное чтобы полноценный, официальный драйвер видеокарты NVIDIA CUDA был установлен.

Прямо сейчас у меня установлена и тестируется новая версия SD WebUI Neuro Linux v3 на ноутбуке с RTX 3060 (6 ГБ) и 64 ГБ ОЗУ, как можно заметить, я уже сгенерировал несколько изображений.

Вот оно, в меню приложений даже есть, всё как положено.

Но давайте сделаем резервную копию моделей и каталога userdata, модели просто много весят, их неудобно копировать из резервной копии на обычном HDD, а userdata содержит настройки веб браузера, через который работает сборка, да, я не хочу заново настраивать браузер после переустановки всего, так что делаю резервную копию "домашнего каталога" на время экспериментов.

Ну а дальше просто удаляю приложение из системы, ничего сложного, всё удалил, это к слову одно из преимуществ Installer-SH перед прочими способами установки ПО в линуксах, он позволяет удалять установленные приложения без помощи всевозможных пакетных менеджеров, а значит в принципе не может случиться какое-нибудь проблемное застревание пакетов / зависимостей или кэша в разнообразных формах...

Теперь установим снова с помощью Installer-SH, в строке "платформа" указан ряд базовых системных зависимостей, в дистрибутиве Chimbalix 24.7 всё есть, но моей сборкой могут попытаться воспользоваться и в других линуксах, а другие линуксы не настолько полноценные как Chimbalix, так что список базовых компонентов необходимых для работы не будет лишним.

Далее проверка целостности, у меня это занимает пару секунд, но при установке с обычного HDD может занять несколько минут, ведь установочный архив весит почти 2 гигабайта, ещё один запрос на подтверждение установки с выводом информации куда что пойдёт, и всё, осталось немного подождать.

В моём случае распаковка на NVMe SSD заняла половину минуты примерно, с медленными накопителями это может занять значительно больше времени, слишком много маленьких файлов в составе сборки, таков уж Stable Diffusion Web UI, ничего с этим не поделать в разумных пределах.

Осталось вернуть на место профиль настроек веб браузера, ведь по умолчанию работа происходит в специально выделенном "домашнем каталоге", он оторван от главного каталога пользователя, а значит и браузер запущенный через SD WebUI будет так же работать в пределах отдельного каталога, я не хочу его заново настраивать, так что копирую из резервной копии "userdata".

Можно конечно уже запустить SD WebUI, но без моделей он ничего не сделает, так что копирую и 69 гигабайт моделей из резервной копии в только что установленную сборку, всё, можно запускать и использовать.

Воспользуюсь ярлыком на рабочем столе, запускаю Low VRAM вариант, ведь у моей RTX 3060 всего 6 гигабайт памяти, а этого недостаточно для использования SDXL моделей в нормальном режиме работы.

Что бы сгенерировать... А давайте сгенерируем грибы! Причём выставим разрешение 1920x1080 и 4 изображения одновременно, чтобы было из чего выбрать!

Это конечно заняло почти всю память на видеокарте, которой всего 6 гигабайт, да и оперативной памяти тоже прилично израсходовано, ведь работает в режиме Low VRAM, но у меня целых 64 ГБ ОЗУ, так что не страшно, а вот системы с 16-24 ГБ оперативной памяти определённо уже пролетают мимо, недостаточно будет для таких параметров генерации.

Отлично, пока написал 4 строчки текста нейронная сеть уже всё сгенерировала, производительность конечно не очень хорошая из-за маленького объёма памяти у видеокарты RTX 3060, целых 8 секунд на итерацию 4 изображений размером 1920x1080 каждое, но результат есть.

Изображения получились весьма хаотичными, но у меня и запрос весьма простой, да и 1920x1080 не самое оптимальное разрешение для SDXL моделей, хотя справилась модель неплохо несмотря на плохие вводные параметры.

Проверяю контрольные сети, для них нужен довольно массивный набор моделей, и у меня есть локально только SD 1.5, они непригодны для использования с SDXL, так что в целом можно получить что-то похожее на оригинал переведённый в формат контрольной сети, но качество генерации в высоком разрешении оставляет желать лучшего, ведь обычные SD модели рассчитаны на 512x512...

Это определённо не лучший результат при использовании контрольной сети, тем более модель оказалась неподходящей, но относительно контролируемый результат есть, и это главное.

Пожалуй про функционал img2img и extras рассказывать уже не буду, только добавлю пару слов про 6 гигабайт памяти у RTX 3060, к сожалению, этого объёма недостаточно для тренировки вспомогательных нейронных сетей, даже в разрешении 512x512, если GTX 1070 могла тренировать сети в размере 512x512 за счёт своих 8 гигабайт памяти, то RTX 3060 с 6 гигабайтами уже не может это делать, увы.

Впрочем, грех жаловаться учитывая насколько в целом требовательны нейронные сети к объёму памяти, уже чудо, что я могу спокойно генерировать 4 изображения одновременно в разрешении 1920x1080 на RTX 3060 имея всего 6 ГБ видеопамяти. Хотя нет, не чудо, ведь я немало времени потратил на оптимизацию параметров и тестирование, чтобы прийти к оптимальному варианту, да и до меня наверняка другие люди тоже ведь над этим работали, но уже на более низких уровнях в коде, в том числе разработчики библиотеки xFormers...

Так что никаких чудес, к сожалению, или к счастью, тут уже каждый сам решает для себя.

Точно, чуть не забыл, найти дистрибутив Chimbalix можно в репозитории GitHub (https://github.com/Shedou/Chimbalix), именно для этого линукса создавалась сборка SD WebUI Neuro Linux (https://github.com/Shedou/Neuro), будет ли она работать в прочих линуксах уже зависит от состоятельности самих линуксов, не так уж и много там нужно для работы.

Под самый конец заметил небольшую ошибку во вспомогательных скриптах, вроде и мелочь, а мне теперь это нужно исправить, перепаковать и заново загрузить в репозиторий архив, это пожалуй единственный недостаток автономных установочных пакетов приложений, хотя с другой стороны это преимущество, ведь заставляет исправлять ошибки, когда привыкшие к линуксоидному принципу разработки могут годами не исправлять проблемы, ведь не нужно заботиться о том, чтобы всё сразу нормально работало, ведь привыкли делать тяп ляп и новое обновление...

И да, сборок для видеокарт AMD не будет, ибо эта контора не удосужилась выпустить ни одного адекватного и функционально состоятельного драйвера для своих видеокарт в среде Linux, да и "красные" постоянно кидают своих потребителей с поддержкой, мало того поломают что нормально работало, так ещё и бросают "как есть", извольте, но поддерживать видеокарты от такой шарашкиной конторы я не собираюсь, тем более сейчас перешёл с R7 4800H + RX 5600M на i7-10875H + RTX 3060, и не хочу больше связываться с "красным" хламом вечно отсталым от конкурентов на поколения, который никогда не доводят до ума.

Благодарю за внимание, больше интересных статей в блоге Hard-Workshop.