AI画图关于模型和启动框架的一些基础问题求教

妹控使徒

目前是简单搜了下 下了个整合包, 具体是这个.
因为加了的新模型使用效果都不佳想问下这个启动器是版本不过时了? 如果过时了 有新的可以推荐吗





1.模型和启动框架
用默认设置生图的效果很像NOVELAI基础版的图,于是考虑换模型
去C站扫了下然后安装了上图里那个PONY模型和VAE模型, 但实际产图效果很差,  几乎是涂鸦级的简陋卡通图.
再搜索了解后似乎这个框架只能用Stable Diffusion的模型?进一步的问题是框架也存在多种类型, 并且不同框架适用不同模型?
于是目前主流的框架和对应模型有哪些?  想产二次元色图的话推荐用哪种?



2.LORA的价值和分类
C站搜模型时附带发现不少是不到1G甚至2 300M的小包,  了解了点后是LORA模型,  具体使用方法似乎是在加载后在提示词区间加一段文字引用该模型.
模型尚还在调试所有不清楚影响效果,  想问下LORA对风格和特定要素的生成影响很重要吗? 是否必定要用?
LORA是否类似基础模型 也需要根据框架类型来针对兼容?

3.硬件使用
设置里看到是有显存选择,  默认4G以下,  试了下产默认图很轻易, 没什么压力.  但显存改为4G以上后反而产不了图,  之后尝试了吃满4060TI极限的8G以上选项, 反而能产出而且也没明显卡顿感.
所以单纯能产图的话 硬件门槛看起来不高.   那么一般说需求显存12G起步的AI画图还有其他什么前提要求?   
或者说想要产出有精致的人体和服装细节, 类似成品CG图的话,   必须得12+G的显存才能做到?  或者8G显存把设置调试好也能画只是产出的更慢?

孤狼arcueid

可以用sdxl
跑图参数截个图看看

—— 来自 鹅球 v3.3.92

clover9017

你这个信息搜集能力真是有点迷，

知道C站找模型却连流程链和模型结构都没概念？

1、绘世的确是现在整合的最好的SD启动器之一，一开始你需要选择的“基础模型”都是基于sd的“某个版本”发展来的植入包，也就是你理解的“框架”，VAE对于这个版本有依赖性
所谓“主流的框架”就是指SD1.4或者SDXL，鉴于你的显存只了解SD1.4就够了

2、鉴于你对LORA还基本没有了解，我觉得做任何解释都没有意义。只能说实际使用中LORA视作是一种“风格辅助”的情况比较多

3、一般16G视为门槛、8G堪用



----------------
再要提升就去了解comfyUI、control-net、FLUX


以上信息有效性到今年年初，已经半年多没有跟过最新进展了，估计很多内容都过时了

如果没有长时间的投入和真实的产出，随便玩玩图一乐得了

发呆的龙虾

最近买了新显卡，也在研究ai画图。但是工作流搞不定，一直跳报错，搞不懂。

—— 来自 鹅球 v3.2.91

tonyunreal

生成的图接近涂鸦，说明环境没配置对

xell2alex

pony 必须用打分做关键词起手的，比如 score 9，score 8 up 这样的，后面最好再加个风格词比如 source anime ，不这样起手出来的就是儿童画
你去 c 站用该底模的示例图提供的关键词直接跑一遍，出图差不多就证明环境没问题，就是关键词写错了

看到UI图了，你这个就是没加起手关键词的原因，而且不要用自然语素做关键词啦，SD对自然语素的支持不好的。先去抄一段规范的跑跑再说
还有就是，出图分辨率不要设的太小，最好用1024x1024先试试，如果出图分辨率和底模训练集严重不匹配也会出涂鸦的

—— 来自 OPPO PEDM00, Android 14上的 S1Next-鹅版 v3.0.0.81-alpha

xell2alex

lora你可以理解为是一个使用时会和底模融合的小模型，提供底模没有的元素比如角色、姿势、道具、场景、风格等等，其中最重要的是角色，如果底模里没有溶你想生成的角色那不用lora就不可能准确生成。个人不建议加载两个以上的lora，会严重污染底模。

妹控使徒

孤狼arcueid 发表于 2024-11-12 17:14
可以用sdxl
跑图参数截个图看看

不知道参数具体指哪儿我就把下半部分全截过来了.      
我目前进行的操作就加载主模型+VAE模型+LORA模型+写关键词然后生成图, 但目前几个新模型加了VAE和lora反而都会降低效果, 让出图更简陋.

目前了解下来, 我这个启动器是基于SD1.5做的, 对SDXL和PONY支持效果应该有限.  这个应该影响产图质量.
剩下的除了细调参数外不知道还有什么没.

没的话就可以考虑去找教程如何调试了.

红焖菠菜

pony模型现在已经落后了，目前兴起的是IL系，代表是NoobAI-XL和Obsession。
lora的用途很多，角色、画风、甚至是特定的姿势都能通过lora影响最终出图结果。
关于显存占用，影响最大的还是图像尺寸，不过现在有分块绘图小显存也能跑大图，无非是速度慢一点。

xell2alex

红焖菠菜 发表于 2024-11-12 19:12
pony模型现在已经落后了，目前兴起的是IL系，代表是NoobAI-XL和Obsession。
lora的用途很多，角色、画风、 ...

IL最大的问题是lora还比较少，想出某些冷门角色还是得换成资源更成规模的pony，但如果是底模已经融入的角色IL特别听话省心，出角色极其精准而且画面干净，乱线比pony少很多
多人涩图的话IL似乎比pony领悟力差一些，估计是因为训练集里这类图用的少一些，pony的话你用一些关键词就会非常神奇的知道你想出啥多人涩图，IL的话就要更精确的关键词设置。举个例子，pony用shota,nude male clothed female，就知道你要出开大车的图给你出个nude shota，但IL就笨一些会把女性角色的特征加到shota身上，只能另外设置一些服装给shota才能避免污染

acekanon

妹控使徒 发表于 2024-11-12 18:42
不知道参数具体指哪儿我就把下半部分全截过来了.      
我目前进行的操作就加载主模型+VAE模型+LORA模 ...

可以把clip skip 从10 调成 2

逆转纹章

妹控使徒 发表于 2024-11-12 18:42
不知道参数具体指哪儿我就把下半部分全截过来了.      
我目前进行的操作就加载主模型+VAE模型+LORA模 ...

我一直用秋叶启动器跑的pony，一点问题没有，你先把clip调成2，迭代步数调到25左右。
还有就是上面楼说的分辨率高一点最好是8的倍数我一般是800*1200
提示词也不是你这么输的，至少要先source_9,source_8_up,到6up就可以停了，然后就是一个一个词组输入，1girl,Lolita,standing啥的
顺便有些lora是要触发词的，你下载的时候要记一下。

—— 来自 vivo V2307A, Android 14上的 S1Next-鹅版 v2.5.4

yanjunle

借楼问问，有新的类似fooocus的框架吗，严选几个方向最新的模型+参数+lora，然后有官方的docker image这种。
fooocus不更新之后试了几个fork，感觉都是在做加法，选择困难症犯了