Llama3中文聊天項目全能資源庫，4090單卡直接跑！

UCloud小助手發布于2024-05-16 09:45 / 655人閱讀

Llama3 中文聊天項目綜合資源庫，該文檔集合了與Lama3 模型相關的各種中文資料，包括微調版本、有趣的權重、訓練、推理、評測和部署的教程視頻與文檔。

1. 多版本支持與創新：該倉庫提供了多個版本的Lama3 模型，包括基于不同技術和偏好的微調版本，如直接中文SFT版、Instruct偏好強化學習版、趣味版等。此外，還有Phi3模型中文資料倉庫的鏈接，和性能超越了8b版本的Llama3。

2. 部署與使用：項目提供了網頁部署的代碼和教程，使用戶可以輕松地在網頁上使用這些模型。部署教程包括如何在Streamlit上部署這些模型進行在線體驗。

3. 訓練與推理資源：除了已經提供的模型，倉庫還包括多種訓練和推理的資源，如訓練教程、推理腳本、優質訓練數據集的整理等。

4. 擴展和增強：項目還在計劃中包括增加更多的擴展如角色扮演增強模型、長上下文支持等，旨在提升模型的功能和適應更多復雜場景的能力。

可用Chat版模型整理：lama3相關對話版本優質權重整理

shareAl系列:

1.base預訓練+直接中文SFT版

訓練數據:https://modelscope.cn/datasets/baicai003/Llama3-Chinese-dataset/summary

V1版

0penCSG滿速下載:https://opencsg.com/models/shareAl/llama3-Chinese-chat-8b

WiseModel滿速下載:https://wisemodel.cn/models/shareAl/llama3-Chinese-chat-8b

V2版

modelscope：https://modelscope.cn/models/baicai003/Llama3-Chinese_v2/summary

2.Instruct+繼續中文SFT版

modelscope模型下載:https://modelscope.cn/models/baicai003/llama-3-8b-Instruct-chinese_v2/summary

3.Instruct+強化學習中文版

DPO 表情趣味版(10分鐘左右可訓練好，對原多語言instruct版最小化性能損傷，實測超過大多中文大量訓練版)
Modelscope：下載:https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DPO-beta0.5/summary
偏好學習數據集:DP0-zh-en-emoji
Base預訓練+海量中文優質數據增量預訓練:正在進行中
70b 中文版:計劃中。

4.下面幾個版本因對話模版格式不同暫時不支持網頁部署推理，需要用fastchat體驗

Base+ 中文SFT: https://modelscope.cn/models/zhuangxialie/Llama3_Chinese_Sft/files
Base+ ORPO: https://modelscope.cn/models/zhuangxialie/Llama3-Chinese-ORPO/summary 偏愛長對話
Instruct + DPO: https://www.modelscope.cn/models/zhuangxialie/Llama3-Chinese-DPO/summary 偏愛長對話

5.llama3 Pro(加block版，推薦網友積極在該方案上做更多嘗試、探索)

linjh1118網友(第一個ORPO偏好對齊+擴展2*blocks):htps://github.com/linjh1118/Llama3-Chinese-0RPO

6.llama3 Moe增強版

cooper12121-lama3-8x8b-MoE: https://github.com/cooper12121/llama3-8x8b-MoE

7.長上下文版本

聯通微調版v2(中文，28k上下文):https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B-28K

262k上下文(英文):https://huggingface.co/gradientai/Llama-3-8B-nstruct-262k
262k上下文(中文):計劃中
無限上下文版本:計劃中，參考:https://medium.com/neoxia/lm-infini-attention-with-linear-complexity-3209b87a77c3

8.其他普通中文微調版本

聯通微調版(SFT，網友嘗試反饋幻覺多):
https://www.modelscope.cn/models/UnicomAl/Unichat-llama3-Chinese/summary-
Openbuddy微調版(SFT，據說不錯):
https://www.modelscope.cn/models/0penBuddy/openbuddy-llama3-8b-v21.1-8k/summary
zhichen微調版(ORPO方法，應該是第一個orpo):https://github.com/seanzhang-zhichen/llama3-chinese
shenzhi-wang微調版(ORPO方法，說是第一個orpo):https:/huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat
Rookie微調版(SFT):https://github.com/Rookie1019/Llama-3-8B-nstruct-Chinese-hit-sz klc lab
微調版本:https://github.com/zyg18181818/Llama-3-Chinese

9.破解安全限制系列(暫時只支持英文)

Unholy:https://huggingface.co/Undi95/Llama-3-Unholy-8B
neural-chat: https://hf-mirror.com/Locutusque/llama-3-neural-chat-v1-8b
dolphin: https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b

10.v-llama3 多模態圖文版 (英文，支持視覺問答)

Bunny-Llama-3-8B-V:https://wisemodel.cn/models/BAAl/Bunny-Llama-3-8B-V
llava-llama-3-8b: https://huggingface.co/xtuner/llava-llama-3-8b-v1_1

11.agent工具能力增強版

ModelScope Chinese Agent版V1(中文，可根據要求幫你選擇工具)

https://modelscope.cn/models/swift/Llama3-Chinese-8B-nstruct-Agent-v1/summary

基于EmoLLM心理數據微調的Llama3-8B-Instruct 模型

EmoLLM 3.0 在線體驗鏈接
EmoLLM Llama3心理咨詢室V3.0 https://st-app-center-006861-9746
ilroxvg.openxlab.space/
或者前往0penXLab EmoLLM3.0-Llama3啟動

https://openxlab.org.cn/apps/detai/chg0901/EmoLLM-Llama3-8B-nstruct3.0

模型鏈接

**OpenXLab**https://openxlab.org.cn/models/detai/chg0901/EmoLLM-Llama3-8B.-Instruct3.0

ModelScope

https://modelscope.cn/models/chg0901/EmoLLM-Llama3-8B-Instruct3.0/summary

新增Phi3模型中文資料倉庫(性能超越llama3 8b，以小搏大)，正在適配中

https://github.com/CrazyBoyM/phi3-Chinese

新增趣味版，數據集已開源:

https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DP0-beta0.5/summary

模型測評

可用訓練工具整理

下面的庫都是相當好用的，代碼封裝簡潔又清晰，如果你也想微調個自己的llama3 中文定制版，不要錯過

Firefly-https://github.com/yangjianxin1/Firefly
螢火蟲-https://github.com/yangjianxin1/Firefly
LLaMA-Factory-https://github.com/hiyouga/LLaMA-Factory
unsloth-https://github.com/unslothai/unsloth
Xtuner-https://github.com/SmartFlowAl/Llama3-XTuner-CN
SWlFT-https://github.com/modelscope/swift
附高性能NVIDIA RTX 40 系列云服務器購買：

http://specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

GPU云服務器 GPU算力平臺如何跑php項目能直接使用中文注冊域名嗎 gec 直接顯示中文的網址怎么在云服務器上跑深度學習項目

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/131094.html

Llama3來襲！如何通過4090GPU云主機快速部署？

2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標志著開源大型語言模型（LLM）領域的又一重大突破。Llama3以其卓越的性能和廣泛的應用前景，或將推動人工智能技術快速邁進新紀元。為方便AI應用企業及個人AI開發者快速體驗Llama3的超高性能，近期優刻得GPU云主機上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發環境。為客戶提供開...

UCloud小助手 2024-04-28 17:46 評論0 收藏0
Llama3-8中文微調完成！更好地幫助中文寫作、編程和數學

Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通過 ORPO進行微調的中文聊天模型。與原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型顯著減少了中文問題英文回答"和混合中英文回答的問題。此外，相較于原模型，新模型在回答中大量減少了表情符號的使用，使得回應更加正式。與 Llama-3-8B-nsturc...

UCloud小助手 2024-04-28 17:57 評論0 收藏0
模型領域GPU性能排名

圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關性能圖表。同時根據訓練、推理能力由高到低做了排名。我們可以看到，H100 GPU的8位性能與16位性能的優化與其他GPU存在巨大差距。針對大模型訓練來說，H100和A100有絕對的優勢首先，從架構角度來看，A100采用了NVIDIA的Ampere架構，而H100則是基于Hopper架構。Ampere架構以其高效的圖形處理性能和多任務處理能力而...

UCloud小助手 2024-04-28 17:38 評論0 收藏0
照片+音頻=視頻，超實用項目源碼已開放，單卡4090部署！

項目簡介AniTalker是一個開源項目，它利用靜態照片和音頻文件來創造動態的面部說話視頻。AniTalker采用了一種通用的運動表示方法。這種創新的表示方法有效地捕捉了廣泛的面部動態，包括微妙的表情和頭部動作。AniTalker通過兩種自監督學習策略增強了運動描述：第一種策略是通過同一身份內的源幀重建目標視頻幀來學習微妙的運動表示；第二種策略是使用度量學習開發身份編碼器，同時積極減少身份和運動編...

UCloud小助手 2024-05-22 15:34 評論0 收藏0
大模型推理為什么4090更合適？

大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，而是非常香！直接上圖！通過Tensor FP32（TF32）的數據來看，H100性能是全方面碾壓4090，但是頂不住H100價格太貴，推理上使用性價比極低。但在和A100的PK中，4090與A100除了在顯存和通信上有差異，算力差異與顯存相比并不大，而4090是A100價格的1/10，因此如果用在模...

UCloud小助手 2024-04-28 17:33 評論0 收藏0