机器学习和炼丹环境是不是部署在Linux比较好些？

thegodra · 发表于 2024-5-15 11:21

如题，最近偶然得到一张4070 12G的卡
虽然显存不是很大，但聊胜于无嘛

之前租用GPU的都是Linux下的，想必是优先支持的
但是似乎都可以运行在Win平台下

所以具体两个平台搞起来有差异吗？

灵活方案：PVE显卡直通
4070给Linux
再搞个亮机卡给Windows日用
这种行得通吗？

THX~

hecas · 发表于 2024-5-15 11:45

提示: 作者被禁止或删除内容自动屏蔽

塔奇克马 · 发表于 2024-5-15 11:46

本帖最后由塔奇克马于 2024-5-15 11:55 编辑

Linux 装docker 炼丹+学习装KVM直通显卡放windows 用Looking-glass透传

ycjiang1337 · 发表于 2024-5-15 12:13

没必要，那些比较重的模型训练场景你4070大概率也跑不起来

npk7k · 发表于 2024-5-15 12:19

提示: 作者被禁止或删除内容自动屏蔽

tonyunreal · 发表于 2024-5-19 16:24

A卡还是要Linux，N卡无所谓吧

系统杀手 · 发表于 2024-5-20 12:31

推荐楼主直接win10/11 + wsl2 这样就同时能跑Windows与Linux的ai了

—— 来自 S1Fun

香港记者巴拉森 · 发表于 2024-5-20 13:00

如果注重效率的话还是要搭linux物理机的，win的科学计算性能最多的能差3成

QShen · 发表于 2024-5-20 14:21

要是学习的话，N卡无所谓。A卡你没得选

thegodra · 发表于 2024-5-20 14:29

看来大家提供的多数信息都是N卡无所谓，那我先Win11玩起来体会下~

thegodra · 发表于 2024-5-20 14:31

系统杀手发表于 2024-5-20 12:31
推荐楼主直接win10/11 + wsl2 这样就同时能跑Windows与Linux的ai了

—— 来自 S1Fun

据我了解到的散碎消息，WSL2已经是虚拟机了吧
显卡那块儿是MS自己搞好直通之类的了吗？

Jimlee079 · 发表于 2024-5-20 16:08

提示: 作者被禁止或删除内容自动屏蔽

系统杀手 · 发表于 2024-5-21 10:54

thegodra 发表于 2024-5-20 14:31
据我了解到的散碎消息，WSL2已经是虚拟机了吧
显卡那块儿是MS自己搞好直通之类的了吗？ ...

更像是某种虚拟化，让虚拟机linux可以同时使用已经被windows使用的显卡资源

具体你可以看官方文档
https://learn.microsoft.com/zh-c ... tml/gpu-cuda-in-wsl

https://docs.nvidia.com/cuda/wsl-user-guide/index.html

q8f13 · 发表于 2024-5-21 11:45

wsl2里可以跑cuda的

— from Google Pixel 3, Android 12 of S1 Next Goose v2.5.2-play

ycjiang1337 · 发表于 2024-5-21 12:00

说实话LZ的需求甚至都用不上WSL2，目前Windows环境也就是大模型训练支撑不了，然而你一个4070就别想那么多了，连LoRA都悬

thegodra · 发表于 2024-5-21 14:22

ycjiang1337 发表于 2024-5-21 12:00
说实话LZ的需求甚至都用不上WSL2，目前Windows环境也就是大模型训练支撑不了，然而你一个4070就别想那么多 ...

WSL已经折腾起来了，试下边界先

还有另一片同型号4070，但是听说现在不能sli了
而且主板差不了两张大显卡

不造4070目前有没有扩显存的方案

thegodra · 发表于 2024-5-21 14:23

系统杀手发表于 2024-5-21 10:54
更像是某种虚拟化，让虚拟机linux可以同时使用已经被windows使用的显卡资源

具体你可以看官方文档

了解了

我在调查资料时发现有教程再加了一层docker，说时更灵活
有这样的必要么？
这种是又套了层么？

子犴 · 发表于 2024-5-21 15:35

wsl2挺好用的啊 cuda用起来感觉就是直通

plumlis · 发表于 2024-5-21 15:44

哪个系统好，取决于你手头有的操作手册或文档用的是什么。

TiiTiiLL · 发表于 2024-5-21 15:46

兼顾日常使用还是win吧

2474089352 · 发表于 2024-5-21 16:23

如果就玩玩画图的训练，win+wsl2可以满足一切需求，可以先从一键包开始做起来有成就感

论坛助手,iPhone

ycjiang1337 · 发表于 2024-5-21 19:13

thegodra 发表于 2024-5-21 14:22
WSL已经折腾起来了，试下边界先

还有另一片同型号4070，但是听说现在不能sli了

就算能扩显存最多也就12改24，大模型训练该跑不动一样跑不动

希望之花 · 发表于 2024-5-21 21:13

thegodra 发表于 2024-5-21 14:23
了解了

我在调查资料时发现有教程再加了一层docker，说时更灵活

docker是方便配环境吧，有些包开发的时候用的不同版本的依赖库，有些库更新快，两年前别人在Ubuntu20.04里写好的代码配的是当时最新的依赖库，现在去弄到22.04里跑有些函数就改定义或者直接没了

更不要说在jetson这些arm上去部署，都tm是坑

docker就相当于买方便面料包都给你弄好了可以直接用

		自动登录	找回密码
密码			立即注册

hecas hecas 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2004-8-1 头像被屏蔽	发表于 2024-5-15 11:45 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

npk7k npk7k 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2023-1-11 头像被屏蔽	发表于 2024-5-15 12:19 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

Jimlee079 Jimlee079 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2018-11-23 头像被屏蔽	发表于 2024-5-20 16:08 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[软件] 机器学习和炼丹环境是不是部署在Linux比较好些？