国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

ollama-python-Python快速部署Llama 3等大型語言模型最簡單方法

UCloud小助手 / 960人閱讀

ollama介紹

在本地啟動并運(yùn)行大型語言模型。運(yùn)行Llama 3、Phi 3、Mistral、Gemma和其他型號。

Llama 3

Meta Llama 3 是 Meta Inc. 開發(fā)的一系列最先進(jìn)的模型，提供8B和70B參數(shù)大小（預(yù)訓(xùn)練或指令調(diào)整）。


Llama 3 指令調(diào)整模型針對對話/聊天用例進(jìn)行了微調(diào)和優(yōu)化，并且在常見基準(zhǔn)測試中優(yōu)于許多可用的開源聊天模型。



安裝

pip install ollama

用法

import ollamaresponse = ollama.chat(model='llama2', messages=[  {    'role': 'user',    'content': 'Why is the sky blue?',  },])print(response['message']['content'])

流式響應(yīng)

可以通過設(shè)置stream=True、修改函數(shù)調(diào)用以返回 Python 生成器來啟用響應(yīng)流，其中每個部分都是流中的一個對象。

import ollama

stream = ollama.chat(
    model='llama2',
    messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

應(yīng)用程序編程接口

Ollama Python 庫的 API 是圍繞Ollama REST API設(shè)計(jì)的

聊天

ollama.chat(model='llama2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])

新增

ollama.generate(model='llama2', prompt='Why is the sky blue?')

列表

ollama.list()

展示

ollama.show('llama2')

創(chuàng)建

modelfile='''
FROM llama2
SYSTEM You are mario from super mario bros.
'''

ollama.create(model='example', modelfile=modelfile)

復(fù)制

ollama.copy('llama2', 'user/llama2')

刪除

ollama.delete('llama2')
Pull
ollama.pull('llama2')
push
ollama.push('user/llama2')

嵌入

ollama.embeddings(model='llama2', prompt='The sky is blue because of rayleigh scattering')

定制客戶端

可以使用以下字段創(chuàng)建自定義客戶端：

  • host：要連接的 Ollama 主機(jī)

  • timeout: 請求超時(shí)時(shí)間

from ollama import Client
client = Client(host='http://localhost:11434')
response = client.chat(model='llama2', messages=[
  {
'role': 'user',
'content': 'Why is the sky blue?',
  },
])

異步客戶端

import asyncio
from ollama import AsyncClient

async def chat():
  message = {'role': 'user', 'content': 'Why is the sky blue?'}
  response = await AsyncClient().chat(model='llama2', messages=[message])

asyncio.run(chat())

設(shè)置stream=True修改函數(shù)以返回 Python 異步生成器：

import asyncio
from ollama import AsyncClient

async def chat():
  message = {'role': 'user', 'content': 'Why is the sky blue?'}
async for part in await AsyncClient().chat(model='llama2', messages=[message], stream=True):
    print(part['message']['content'], end='', flush=True)

asyncio.run(chat())

錯誤

如果請求返回錯誤狀態(tài)或在流式傳輸時(shí)檢測到錯誤，則會引發(fā)錯誤。

model = 'does-not-yet-exist'try:  ollama.chat(model)except ollama.ResponseError as e:  print('Error:', e.error)if e.status_code == 404:    ollama.pull(model)


 附高性能NVIDIA RTX 40 系列云服務(wù)器購買：

http://specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/131088.html

相關(guān)文章

  • Llama3來襲！如何通過4090GPU云主機(jī)快速部署？

    2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標(biāo)志著開源大型語言模型（LLM）領(lǐng)域的又一重大突破。Llama3以其卓越的性能和廣泛的應(yīng)用前景，或?qū)⑼苿尤斯ぶ悄芗夹g(shù)快速邁進(jìn)新紀(jì)元。為方便AI應(yīng)用企業(yè)及個人AI開發(fā)者快速體驗(yàn)Llama3的超高性能，近期優(yōu)刻得GPU云主機(jī)上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發(fā)環(huán)境。為客戶提供開...

    UCloud小助手 評論0 收藏0

  • Meta強(qiáng)勢發(fā)布開源大模型Llama 3.1：打響硅谷AI保衛(wèi)戰(zhàn)

    在很長一段時(shí)間內(nèi)，占據(jù)大模型評測榜單最前列的大多是一些閉源模型，直到Meta再次發(fā)布了最新的開源模型。就在近日，Meta和OpenAI打響了硅谷 AI 大模型保衛(wèi)戰(zhàn)。美國當(dāng)?shù)貢r(shí)間7月23日，Meta正式發(fā)布Llama 3.1。其包含8B、70B 和405B三個規(guī)模，最大上下文提升到了128k。Llama是目前開源領(lǐng)域中用戶最多、性能最強(qiáng)的大型模型系列之一。Meta 表示，他們將通過提供更多與模型協(xié)...

    UCloud小助手 評論0 收藏0

  • Llama3-8中文微調(diào)完成！更好地幫助中文寫作、編程和數(shù)學(xué)

    Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通過 ORPO進(jìn)行微調(diào)的中文聊天模型。與原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型顯著減少了中文問題英文回答"和混合中英文回答的問題。此外，相較于原模型，新模型在回答中大量減少了表情符號的使用，使得回應(yīng)更加正式。與 Llama-3-8B-nsturc...

    UCloud小助手 評論0 收藏0

  • Llama3中文聊天項(xiàng)目全能資源庫，4090單卡直接跑！

    Llama3 中文聊天項(xiàng)目綜合資源庫，該文檔集合了與Lama3 模型相關(guān)的各種中文資料，包括微調(diào)版本、有趣的權(quán)重、訓(xùn)練、推理、評測和部署的教程視頻與文檔。1. 多版本支持與創(chuàng)新：該倉庫提供了多個版本的Lama3 模型，包括基于不同技術(shù)和偏好的微調(diào)版本，如直接中文SFT版、Instruct偏好強(qiáng)化學(xué)習(xí)版、趣味版等。此外，還有Phi3模型中文資料倉庫的鏈接，和性能超越了8b版本的Llama3。2. 部...

    UCloud小助手 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<