В среду многие новостные сайты сообщили о крупной новинке среди генераторов изображений: свет увидела нейросеть Stable Diffusion 3 (SD3). Она приходит на смену Stable Diffusion XL, выпущенной около года назад. На сайте разработчика, Stability AI, есть много красочных примеров работы новинки, демонстрирующих весьма высокий уровень качества.

Интерес к Stable Diffusion огромен, так как нейросеть бесплатна, имеет открытый исходный код, крупнейшее пользовательское сообщество, а на её основе можно создавать собственные разработки.

Однако сообщество Stable Diffusion в социальной сети Reddit, где более 500 тысяч подписчиков, сейчас буквально «кипит» от негодования. Там можно найти немало собирающих лайки гневных постов, высмеивающих новинку мемов и т. д.

Дело в том, что в реальности, несмотря на прошедший год, качество генерации показывает весьма спорные результаты, особенно если пытаться создавать картинки с людьми. Пользователи ожидали прогресс в генерации лиц, рук, общего построения человеческого тела, однако на практике все эти проблемы сохранились и, кажется, даже усугубились.

Один из пользователей провёл любопытное сравнение, сравнив выпущенную в среду SD3 (опубликована была версия Medium), SD3 Large (доступна избранным тестерам, сроки релиза не определены), Pixart Sigma, а также две особо сильные нейросети – Dall-E 3 и платную Midjourney 6.

Сравнение нейросетей по пяти запросам, см. картинки в полном разрешении.

В итоге с первым запросом на танцующую женщину SD3 Medium исказила конечности, а лицо сделала таким, что испугаться могли бы даже любители фильмов ужасов. Остальные «нейронки» справились чуть лучше, но также, с многочисленными недоработками.

С девушкой, которая лежит на машине, результаты оказались ещё хуже. Хоть какое-то понимание замысла картинки показали Dall-E 3 и Midjourney 6, но нормальными результат и там не назовёшь.

В третьем примере корректно написать «Large SD3» на красной футболке мужчины смогла только недоступная большинству пользователей SD3 Large. SD3 Medium была близка, но написала много лишнего. А остальные «нейронки» и вовсе изобразили лишь непонятные символы. Также заметим, что 3 из 5 нейросетей по запросу «man» рисуют именно чернокожего человека.

Кадр из игры, SD3 определённо сделала хуже всех остальных.

Наконец, в последнем примере только Midjourney 6 не исказила пальцы и нарисовала нечто похожее на ножницы из запроса. SD3 Medium показала совсем удручающий результат, с висящими в воздухе тремя руками и странным предметом вместо ножниц, который словно целится женщине в кресле прямо в область глаз.

Ещё одно сравнение, где новая версия оказывается хуже прошлогодней XL.

В других сравнениях авторы также показывают весьма сомнительный прогресс Stable Diffusion 3 на фоне предшественников и конкурентов. Один из пользователей дополнительно продемонстрировал интересный эксперимент. 

Он задал запрос, который на русский переводится как «мишка Тедди, лежащий в постели рядом с окном с утренним солнцем, проникающее в пространство освещение придает ему уютную, утешительную атмосферу. У него есть руки за головой в расслабленной позе, а его шелковая пижама свободно свисает с тела, как будто он только что проснулся».

В ответ нейросеть выдала вполне подходящие картинки, полностью или почти соблюдая анатомию тела даже игрушечного существа:

Однако потом автор задаёт точно такой же запрос, меняя «мишка Тедди» на «женщина». Результат получается удручающим:

Подобные примеры сейчас заставляют пользователей задуматься о возможной цензуре в нейросети. Впрочем, показанные выше случаи с искажёнными руками и ножницами всё равно нельзя полностью списать на цензуру. Они показывают, что нейросеть за год попросту не совершила должного прогресса и страдает от прежних ошибок.

Сравнение Ideogram 1.0 (слева) и SD3 Medium. Первая из нейросетей вышла ещё в феврале. Подписи на картинках также сделаны нейросетями.

Впрочем, расстраиваться не стоит. Пользователи выражают надежду на будущую SD3 Large, которая уже сейчас выглядит лучше SD3 Medium и до сих пор дорабатывается. Ещё на подходе должны быть новые версии Midjourney, Dall-E, Playground, Ideogram, отечественной Kandinsky, а также новая Imagen 3, о которой мы недавно писали.