有大佬推荐AI 涩涩聊天可以本地部署的模型吗？
有大佬推荐AI 涩涩聊天本地部署的模型吗？我现在用的酒馆挂LM Studio我试了十几个特化版有qwen2.5、llama3.2、qwen3、有16k 有8k都不太理想、要么语言逻辑混乱、要么速度慢的要死、
求大佬推荐、最好能有链接
ryuuki2010 发表于 2026-5-5 10:06
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显 ...
大佬 我也用的9B 感觉5060TI 16还可以往往上加点 比如14B
还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。 还有你说的语言逻辑混乱，需要你调温度才行 ryuuki2010 发表于 2026-5-19 19:10
太大的模型 咱显卡会慢啊只是聊天 没啥必要吧
此言差异啊大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其极其.
.......
我现在主力14b 正在实验27B 和35bD 量化版怎么样
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显存足够大，可以考虑现在Qwen3.6 27B 35B ryuuki2010 发表于 2026-5-5 10:06
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显 ...
我CUP 5800X 显卡 9070xt 内存64G lose0001 发表于 2026-5-6 22:07
我CUP 5800X 显卡 9070xt 内存64G
要什么本地部署，deepseek v4 flash就可以1分钱一条。
ivan73 发表于 2026-5-7 05:27
要什么本地部署，deepseek v4 flash就可以1分钱一条。
本地部署拓展性更好，可以外接很多东西
跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的 ryuuki2010 发表于 2026-5-7 13:20
跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的 ...
9070tx不就只有一种现存规格么16G
subi5460 发表于 2026-5-7 21:58
还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。 ...
我明白你意思了 用挂API 玩酒馆 是吗？
gemma-4我本地部署用感觉还行，不知道会不会因人而异，我的配置比你差许多的{:4_150:} lose0001 发表于 2026-5-7 22:43
我明白你意思了 用挂API 玩酒馆 是吗？
你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多
subi5460 发表于 2026-5-10 11:00
你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多
有链接吗？能涩涩？
lose0001 发表于 2026-5-17 11:48
有链接吗？能涩涩？
直接搜GROK
djaafer 发表于 2026-5-19 12:08
大佬 我也用的9B 感觉5060TI 16还可以往往上加点 比如14B
太大的模型 咱显卡会慢啊只是聊天 没啥必要吧 djaafer 发表于 2026-5-20 09:44
此言差异啊大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其极其.
.... ...
还是需要设置 温度别弄太高
ryuuki2010 发表于 2026-5-20 18:53
还是需要设置 温度别弄太高
温度太低就老是车轱辘话 一段一段的
djaafer 发表于 2026-5-20 23:18
温度太低就老是车轱辘话 一段一段的
在提示词中得让AI不得重复使用相同描述
页:
[1]
2