国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

【compshare】UCloud優(yōu)刻得GPU租用平臺(tái)推薦

UCloud小助手 / 691人閱讀

【compshare】推薦一個(gè)GPU按小時(shí)租的平臺(tái)，使用實(shí)體機(jī)部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特別方便


UCloud(優(yōu)刻得)是中國(guó)知名的中立云計(jì)算服務(wù)商，科創(chuàng)板上市(股票代碼：688158)，中國(guó)云計(jì)算第一股，專注于提供可靠的企業(yè)級(jí)云服務(wù)，包括云服務(wù)器、云主機(jī)、云數(shù)據(jù)庫(kù)、混合云、CDN、人工智能等服務(wù)。


compshare算力共享平臺(tái)：

專注于提供高性價(jià)比算力資源，海量GPU，一鍵部署，即算即用，讓AI訓(xùn)練、深度學(xué)習(xí)、科研計(jì)算效率翻倍。

————————————————                        

原文鏈接：https://blog.csdn.net/freewebsys/article/details/139188230

image.png

1、需要選擇 ubuntu 版本，可以支持最高 12.4 的cuda驅(qū)動(dòng)。

然后就可以通過(guò)webshell登陸了：

image.png

但是界面啟動(dòng)后需要等待下驅(qū)動(dòng)安裝。

2、直接使用帳號(hào)遠(yuǎn)程登陸


端口使用8888

ssh root@117.50.xxx.xxx

輸入密碼就可以操作了


因?yàn)闆](méi)有設(shè)置環(huán)境變量所以需要執(zhí)行：


export PATH=${PATH}:/home/ubuntu/.local/bin
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/home/ubuntu/xinf-data
xinference-local --host 0.0.0.0 --port 8888

image.png

模型之能運(yùn)行一個(gè)，重啟再運(yùn)行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

模型之能運(yùn)行一個(gè)，重啟再運(yùn)行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

3、調(diào)用接口

可以成功調(diào)用接口。測(cè)試qwen 大模型速度。

curl -X 'POST' 'http://0.0.0.0:8888/v1/chat/completions' -H 'Content-Type: application/json' -d '{
    "model": "qwen1.5-chat","stream": true,
    "messages": [
        {
            "role": "user",
            "content": "北京景點(diǎn)?"
        }
    ],
    "max_tokens": 512,
    "temperature": 0.7
}'

4、特別注意，不使用需要?jiǎng)h除應(yīng)用

因?yàn)檫\(yùn)行的方式不一樣，不使用了需要?jiǎng)h除應(yīng)用。
否則還是會(huì)產(chǎn)生費(fèi)用。
是獨(dú)享的模型創(chuàng)建的。

  • 推薦使用NVIDIA RTX 40 顯卡做模型推理，購(gòu)買地址如下：

http://specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/131108.html

相關(guān)文章

  • GPU算力平臺(tái)哪家好

    Compshare是一個(gè)專注于提供高性價(jià)比算力資源的平臺(tái)，它為AI訓(xùn)練、深度學(xué)習(xí)、科研計(jì)算等場(chǎng)景提供強(qiáng)大的支持。平臺(tái)的核心優(yōu)勢(shì)在于其高效的GPU算力資源，用戶可以根據(jù)自己的需求，靈活選擇不同的GPU配置，實(shí)現(xiàn)一鍵部署和即算即用，從而顯著提升工作效率。100% GPU性能Compshare平臺(tái)通過(guò)GPU顯卡直通技術(shù)，確保用戶能夠充分利用GPU的性能，相比傳統(tǒng)的容器形式，性能損耗降低了30%。這意味著...

    UCloud小助手 評(píng)論0 收藏0

  • 新加坡云服務(wù)器多少錢?新加坡云服務(wù)器租用優(yōu)勢(shì)及價(jià)格

    摘要：新加坡云服務(wù)器多少錢新加坡云服務(wù)器多少錢新加坡云服務(wù)器新加坡云服務(wù)器怎么樣新加坡云服務(wù)器機(jī)房都位于亞洲的金融中心之一的新加坡。下面，云服務(wù)器網(wǎng)小編詳細(xì)介紹一下新加坡云服務(wù)器租用優(yōu)勢(shì)及價(jià)格。新加坡云服務(wù)器多少錢?新加坡云服務(wù)器怎么樣?新加坡云服務(wù)器機(jī)房都位于亞洲的金融中心之一的新加坡。新加坡云服務(wù)器國(guó)際帶寬充足，機(jī)房管理十分規(guī)范。完善的法律與機(jī)房充分保證了新加坡云服務(wù)器的高速穩(wěn)定。ucloud...

    番茄西紅柿 評(píng)論0 收藏2637

  • 為什么選擇租用UCloud金翼物理機(jī)？UCloud金翼物理機(jī)優(yōu)勢(shì)、標(biāo)準(zhǔn)型及定制型介紹

    摘要：簽約方式金翼物理機(jī)支持按月付款標(biāo)準(zhǔn)機(jī)型協(xié)議期限支持個(gè)月個(gè)月個(gè)月個(gè)月個(gè)月個(gè)月定制型協(xié)議期限僅支持個(gè)月個(gè)月個(gè)月租用個(gè)月后，服務(wù)器產(chǎn)權(quán)歸用戶所有。UCloud金翼物理機(jī)匯集UCloud多年硬件選型和運(yùn)維經(jīng)驗(yàn)，以獨(dú)享物理機(jī)包年包月的形式租用給用戶，滿足用戶多層次的計(jì)算資源需求。金翼物理機(jī)作為UCloud公有云計(jì)算資源的有效補(bǔ)充，結(jié)合UCloud數(shù)據(jù)中心產(chǎn)品和網(wǎng)絡(luò)產(chǎn)品，為用戶提供完整的混合云解決方案。...

    Tecode 評(píng)論0 收藏0

  • Llama3來(lái)襲！如何通過(guò)4090GPU云主機(jī)快速部署？

    2024年4月18日，Meta AI正式宣布推出開(kāi)源大模型Llama3，這標(biāo)志著開(kāi)源大型語(yǔ)言模型（LLM）領(lǐng)域的又一重大突破。Llama3以其卓越的性能和廣泛的應(yīng)用前景，或?qū)⑼苿?dòng)人工智能技術(shù)快速邁進(jìn)新紀(jì)元。為方便AI應(yīng)用企業(yè)及個(gè)人AI開(kāi)發(fā)者快速體驗(yàn)Llama3的超高性能，近期優(yōu)刻得GPU云主機(jī)上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開(kāi)發(fā)環(huán)境。為客戶提供開(kāi)...

    UCloud小助手 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<