本地部署llama 3 70B，微调与推理，需要的硬件配置

[P11GH]

你好，我想本地部署llama 3 70B，想问下大概需要什么样的硬件？比如两张A100/A800 80G足够吗？

[WQT1123]

- 使用ollama的话： - RAM: Minimum 64GB or more - GPU: Powerful GPU with at least 8GB VRAM, preferably an NVIDIA GPU with CUDA support. - Disk Space: Llama 3 70B exceeds 20GB. P11GH ***@***.***> 于2024年5月10日周五 09:40写道：

…

你好，我想本地部署llama 3 70B，想问下大概需要什么样的硬件？比如两张A100/A800 80G足够吗？ — Reply to this email directly, view it on GitHub <#338>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BBAUJZL5AQDA2MMNXEHYDI3ZBQQR7AVCNFSM6AAAAABHPY4CYKVHI2DSMVQWIX3LMV43ASLTON2WKOZSGI4DQNZVGAYTGNY> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[WQT1123]

如果不考虑使用ollama 两张A100/40GB也是足够的 微调加推理都是够的 ABC SCU ***@***.***> 于2024年5月12日周日 10:18写道：

…

- 使用ollama的话： - RAM: Minimum 64GB or more - GPU: Powerful GPU with at least 8GB VRAM, preferably an NVIDIA GPU with CUDA support. - Disk Space: Llama 3 70B exceeds 20GB. P11GH ***@***.***> 于2024年5月10日周五 09:40写道： > 你好，我想本地部署llama 3 70B，想问下大概需要什么样的硬件？比如两张A100/A800 80G足够吗？ > > — > Reply to this email directly, view it on GitHub > <#338>, or unsubscribe > <https://github.com/notifications/unsubscribe-auth/BBAUJZL5AQDA2MMNXEHYDI3ZBQQR7AVCNFSM6AAAAABHPY4CYKVHI2DSMVQWIX3LMV43ASLTON2WKOZSGI4DQNZVGAYTGNY> > . > You are receiving this because you are subscribed to this thread.Message > ID: ***@***.***> >

[MAIL-SJTU]

谢谢。我跟导师沟通了一下。他说A100国内很难买到，我们的需求是微调和推理。让问8张4090的卡能不能行？

[WQT1123]

可行 不过我建议如果你们课题组的最后目标是为了商用 使用Azure之类的云端服务去推理微调更优 推理微调后再下载到本地使用或者部署到国内的一些云端商用 这种工程讲究时效性 自己搭新的工作站效率低 MAIL-SJTU ***@***.***> 于2024年5月13日周一 18:39写道：

…

谢谢。我跟导师沟通了一下。他说A100国内很难买到，我们的需求是微调和推理。让问8张4090的卡能不能行？ — Reply to this email directly, view it on GitHub <#338 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BBAUJZJKP5YUYVWPVZNIV7TZCCJ7JAVCNFSM6AAAAABHPY4CYKVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBXGIZTGMBUG4> . You are receiving this because you commented.Message ID: ***@***.***>

[P11GH]

好的，谢谢啦~