資訊專欄INFORMATION COLUMN
在人工智能領域，我們深感技術發展的迅速和成就的巨大。其中，法國初創公司MistralAI在這方面尤為令人矚目。MistralAI成立于2023年5月，由DeepMind和Meta的前科學家創立，被稱為“歐洲版OpenAI”。
這是一家創新而富有前景的公司，他們的雄心壯志和成績讓人嘆為觀止。這家公司以產生開源大型語言模型著稱，其中最受人矚目的是 Mistral 7B 和 Mixtral 8x7B。這些模型在多項基準測試中表現優異，展現了強大的自然語言處理能力和廣泛的應用前景。這不僅推動了自然語言處理技術的發展，也為開發者提供了更多的選擇和可能性。
而就在今天，MistralAI在其不斷壯大的大語言模型（LLM）家族中增添了兩名新成員：一位是名為Mathstral的基于數學的模型，另一位是基于其他研究人員去年年底開發的名為Mamba的新架構，供程序員和開發人員提供的代碼生成模型。
現在，通過采用這種新架構，Mistral 新推出的 Codestral Mamba 7B的模型即使在處理較長的輸入文本時也能提供快速的響應時間。Codestral Mamba非常適合代碼生成，尤其是對于更本地化的編程項目。本文接下來將簡單介紹一下Mamba以及MistralAI。
“Mamba”架構：大道至簡，加強效率
Codestral Mamba 是一種狀態空間模型架構，與 transformer架構相比具有顯著優勢：transformer 推理計算（通常是推理時間）與上下文/序列長度呈二次縮放，而 Mamba 架構呈線性縮放。這就是為什么 Codestral Mamba 能夠提供 256k 令牌的上下文窗口，>7 倍 Mistral 7B 的上下文窗口。這也意味著在使用模型時可以更快地進行推理/速度，特別是對于RAG等大型上下文用例。
Mamba架構旨在通過簡化注意力機制來提高大多數領先 LLM 使用的 transformer 架構的效率。與更常見的基于 transformer 的模型不同，基于 Mamba 的模型可以具有更快的推理時間和更長的上下文。包括 AI21 在內的其他公司和開發商已經發布了基于它的新 AI 模型。
現在，使用這種新架構，Mistral旗下恰如其名的Codestral Mamba 7B 即便輸入較長的文本也能提供快速響應時間。Codestral Mamba 非常適合代碼生產力用例，尤其是對于更多本地編碼項目。
Mistral 測試了該模型，測試結果顯示該模型可以在 Mistral 的 l a Plateforme API上免費使用，可處理多達 256,000 個令牌的輸入——是 OpenAI 的 GPT-4o 的兩倍。這種高效的模型對編程開發尤其重要，不受輸入長度的限制意味著模型可以讀取更多代碼內容并根據上下文編寫更適合的代碼、幫助開發者構建更完整的項目。
在基準測試中，Mistral 表明 Codestral Mamba 在 HumanEval 測試中的表現明顯優于競爭對手開源模型 CodeLlama 7B、CodeGemma-1.17B 和 DeepSeek。
開發人員可以從 GitHub 存儲庫和 HuggingFace 修改和部署 Codestral Mamba。它將采用開源 Apache 2.0 許可證。
Mistral 聲稱Codestral 的早期版本優于其他代碼生成器，如 CodeLlama 70B 和 DeepSeek Coder 33B。
需要說的是，Codestral Mamba 同樣是一個指導模型，開發者可以根據自己的需要使用 mistral-inference 進行微調訓練，打造適合自己或特定領域的版本。
代碼生成和編碼助手已經成為人工智能模型廣泛使用的應用程序，其中由 OpenAI 提供支持的GitHub 的 Copilot、亞馬遜的 CodeWhisperer和Codenium等平臺越來越受歡迎。
“Mathstral”模型：兼顧數學與推理
Mistral 推出的第二款模型是Mathstral 7B，這是一種專為數學推理和科學發現而設計的人工智能模型。Mistral 與 Project Numina 合作開發了 Mathstral。
Mathstral 擁有 32K 上下文窗口，將采用 Apache 2.0 開源許可。Mistral 表示，該模型的表現優于所有為數學推理設計的模型。它可以在具有更多推理時間計算的基準測試中實現“明顯更好的結果”。用戶可以按原樣使用它，也可以對模型進行微調。
Mistral 在一篇博客文章中表示：“Mathstral 是構建特定用途模型時實現的出色性能/速度權衡的另一個例子——這是我們在 la Plateforme 中積極推廣的開發理念，尤其是其新的微調功能。”
MistralAI：堅持開源的新興獨角獸
Mistral AI 是一家法國人工智能公司。它于 2023 年 4 月由曾受雇于 Meta 和 Google 的研究人員創建，包括：Arthur Mensch、Timothée Lacroix 和 Guillaume Lample。截至 2023 年 12 月，該公司已融資 6.6 億美元。2023 年 12 月，該公司的估值超過 20 億美元，晉身獨角獸。
Mistral AI的技術架構建立在數據層、算法層和模型層之上，通過運用深度學習等先進算法，實現對數據的智能分析、處理和應用。
與具有諷刺意味的名字 OpenAI 不同，Mistral AI 產生開源大型語言模型，這意味著這些模型可以免費用于商業用途。開發人員還可以更改、復制或更新源代碼，并將其與許可證副本一起分發。正因如此，Mistral AI的成立和發展在法國乃至歐洲都引起了廣泛關注。其開源的人工智能大模型在歐洲向封閉的OpenAI發起了挑戰，被視為法國挑戰美國科技巨頭的一個機遇。
官網：https://mistral.ai/
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/131135.html
摘要：并且，越是臨近項目截止日期，越是需要工作更長的時間。真正優秀的程序員善于與人交往，但大多數程序員缺乏這些能力。項目經驗以上的內容如果都精通了，也算是個比較厲害的程序員了。但是對程序員來說，項目經驗更加重要。 無論做什么工作,?都希望能做到最好,?就像參與一款游戲,?每個人都希望能贏到最后.程序員工作自然也會有其秘籍,?讓我們更快的實現目標。 身體 身體看似最不重要,?其實不...
在最近的大模型戰爭中，OpenAI似乎很難維持霸主地位。雖然沒有具體的數據統計，但Claude3.5出現后，只是看網友們的反響，就能感覺到OpenAI訂閱用戶的流失：既然Claude3.5比GPT-4o好用，為什么我們不去訂閱Claude呢？而這長達數月的批評聲中，OpenAI似乎盡顯頹勢，除了GPT-4o mini這個小模型以外，似乎再也沒有什么創新點。甚至就在前幾日，GPT-4o還被開源的大模...
摘要：我們在西雅圖舉行的活動年月日至日，是我們規模最大的，提前幾周售罄，共有名與會者。巴塞羅那的聯合主席是的和的。年的新優化，我們安排提供一個分鐘的會議。巴塞羅那提交的提案包括一個標題和最多個英文字符的描述，如果獲選為演講，會在時間表中使用。 KubeCon + CloudNativeCon從2015年開始的500名與會者，擴展到成為有史以來規模最大，最成功的開源會議之一。隨著這種增長帶來了...
閱讀 157·2024-12-10 11:51
閱讀 303·2024-11-07 17:59
閱讀 329·2024-09-27 16:59
閱讀 466·2024-09-23 10:37
閱讀 540·2024-09-14 16:58
閱讀 335·2024-09-14 16:58
閱讀 531·2024-08-29 18:47
閱讀 812·2024-08-16 14:40
