Faiss利用mkl加速,構建索引訓練時出錯。

SnaiLiu 發布于2019-07-31 10:14 / 2862人閱讀

摘要：前言記錄一下構建索引訓練時碰到的一個坑。問題利用英特爾庫加速。時報如下錯誤解決方案在調用之前導入調用。代碼如下為什么這么做，我還不太理解。猜測是安裝版本兼容的問題。具體可以看我提的補充如出現導入失敗的情況。如解決方式如下執行轉自個人博客

前言
記錄一下faiss構建索引訓練時碰到的一個坑。
Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

問題：

利用英特爾mkl(Math Kernel Library)庫加速faiss。 index.train()時報如下錯誤：

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

解決方案

在調用faiss之前導入調用mkl。代碼如下：

import mkl
mkl.get_max_threads()

為什么這么做，我還不太理解。猜測是conda安裝版本兼容的問題。具體可以看我提的issue

補充

如出現mkl導入失敗的情況。如

    import mkl
ImportError: No module named mkl

解決方式如下：

### 執行：
$ conda install mkl
$ conda install mkl-service

轉自個人博客：https://kirio.vip/2019/03/28/...

云服務器 GPU云服務器構建索引利用騰訊云服務器訓練模型與內核通信時出錯服務器返回時出錯

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/43479.html

Tensorflow代碼解析（二）

摘要：為了進一步了解的邏輯，圖對和進行了展開分析。另外，在命名空間中還隱式聲明了控制依賴操作，這在章節控制流中相關說明。簡述是高效易用的開源庫，有效支持線性代數，矩陣和矢量運算，數值分析及其相關的算法。返回其中一塊給用戶，并將該內存塊標識為占用。 3. TF 代碼分析初步3.1 TF總體概述為了對TF有整體描述，本章節將選取TF白皮書[1]中的示例展開說明，如圖 3 1所示是一個簡單線性模型的TF...

zhigoo 2019-04-25 18:10 評論0 收藏0
python學習筆記 --- python中的list和numpy中的矩陣分析

摘要：中的和中的矩陣分析由于之前在做的源碼學習，并且將其的源碼翻譯成了的版本。在逛知乎里，我又發現了很多關于為什么這么快的討論，很有意思。作者鏈接來源知乎著作權歸作者所有。 python中的list和numpy中的矩陣分析 Author : Jasper Yang School : Bupt preface 由于之前在做GIbbsLDA++的源碼學習，并且將其c++的源碼翻譯成了pyth...

DobbyKim 2019-07-30 14:18 評論0 收藏0
Faiss優化:針對OMP_NUM_THREADS環境變量設置的測試驗證

摘要：前言記錄一下在項目使用中的一些優化，對環境變量參數的測試驗證用于控制線程并發數測試條件單個循環請求，持續時間大于基礎數據軟件環境檢索服務功能漢明距離計算歐式距離計算結論測試總結如下時，分布為，，用戶空間占比內核空間占比空閑占比檢索耗前言記錄一下Faiss在項目使用中的一些優化，對OMP_NUM_THREADS 環境變量參數的測試驗證～ OMP_NUM_THREADS 用于控制...

wangtdgoodluck 2019-07-30 18:40 評論0 收藏0