摘要：距離杰卡德系數(shù)用于比較有限樣本集之間的相似性與差異性。將字中間加入空格轉(zhuǎn)化為矩陣求交集求并集計(jì)算杰卡德系數(shù)你在干啥呢你在干什么呢計(jì)算計(jì)算矩陣中兩個向量的相似度，即求解兩個向量夾角的余弦值。

計(jì)算兩個字符串之間，由一個轉(zhuǎn)成另一個所需要的最少編輯次數(shù)，次數(shù)越多，距離越大，也就越不相關(guān)。比如，“xiaoming”和“xiamin”，兩者的轉(zhuǎn)換需要兩步：

去除‘o’

去除‘g’

所以，次數(shù)/距離=2。

!pip install distance

import distance

def edit_distance(s1, s2):
    return distance.levenshtein(s1, s2)

s1 = "xiaoming"
s2 = "xiamin"
print("距離："+str(edit_distance(s1, s2)))

用于比較有限樣本集之間的相似性與差異性。Jaccard 系數(shù)值越大，樣本相似度越高，計(jì)算方式是：兩個樣本的交集除以并集。

from sklearn.feature_extraction.text import CountVectorizer
import numpy as np


def jaccard_similarity(s1, s2):
    def add_space(s):
        return " ".join(list(s))
    
    # 將字中間加入空格
    s1, s2 = add_space(s1), add_space(s2)
    # 轉(zhuǎn)化為TF矩陣
    cv = CountVectorizer(tokenizer=lambda s: s.split())
    corpus = [s1, s2]
    vectors = cv.fit_transform(corpus).toarray()
    # 求交集
    numerator = np.sum(np.min(vectors, axis=0))
    # 求并集
    denominator = np.sum(np.max(vectors, axis=0))
    # 計(jì)算杰卡德系數(shù)
    return 1.0 * numerator / denominator


s1 = "你在干啥呢"
s2 = "你在干什么呢"
print(jaccard_similarity(s1, s2))

計(jì)算矩陣中兩個向量的相似度，即：求解兩個向量夾角的余弦值。

計(jì)算公式：cosθ=a·b/|a|*|b|

from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
from scipy.linalg import norm

def tf_similarity(s1, s2):
    def add_space(s):
        return " ".join(list(s))
    
    # 將字中間加入空格
    s1, s2 = add_space(s1), add_space(s2)
    # 轉(zhuǎn)化為TF矩陣
    cv = CountVectorizer(tokenizer=lambda s: s.split())
    corpus = [s1, s2]
    vectors = cv.fit_transform(corpus).toarray()
    # 計(jì)算TF系數(shù)
    return np.dot(vectors[0], vectors[1]) / (norm(vectors[0]) * norm(vectors[1]))


s1 = "你在干啥呢"
s2 = "你在干什么呢"
print(tf_similarity(s1, s2))

Bert的內(nèi)部結(jié)構(gòu)，請查看從word2vec到bert這篇文章，本篇文章我們只講代碼實(shí)現(xiàn)。我們可以下載Bert模型源碼，或者使用TF-HUB的方式使用，本次我們使用下載源碼的方式。
首先，從Github下載源碼，然后下載google預(yù)訓(xùn)練好的模型，我們選擇Bert-base Chinese。

預(yù)模型下載后解壓，文件結(jié)構(gòu)如圖：

vocab.txt是訓(xùn)練時中文文本采用的字典，bert_config.json是BERT在訓(xùn)練時，可選調(diào)整的一些參數(shù)。其它文件是模型結(jié)構(gòu)，參數(shù)等文件。

class MoveProcessor(DataProcessor):
  """Processor for the move data set ."""
  def get_train_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")

  def get_dev_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")

  def get_test_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "test.tsv")), "test")

  def get_labels(self):
    """See base class."""
    return ["0", "1"]

  @classmethod
  def _read_tsv(cls, input_file, quotechar=None):
        """Reads a tab separated value file."""
        with tf.gfile.Open(input_file, "r") as f:
            reader = csv.reader(f, delimiter="	", quotechar=quotechar)
            lines = []
            for line in reader:
                lines.append(line)
            return lines
 
  def _create_examples(self, lines, set_type):
    """Creates examples for the training and dev sets."""
    examples = []
    for (i, line) in enumerate(lines):
      guid = "%s-%s" % (set_type, i)
      if set_type == "test":
        text_a = tokenization.convert_to_unicode(line[0])
        label = "0"
      else:
        text_a = tokenization.convert_to_unicode(line[1])
        label = tokenization.convert_to_unicode(line[0])
      examples.append(
          InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
    return examples

def main(_):
  tf.logging.set_verbosity(tf.logging.INFO)

  processors = {
      "cola": ColaProcessor,
      "mnli": MnliProcessor,
      "mrpc": MrpcProcessor,
      "xnli": XnliProcessor,
      "setest":MoveProcessor
  }

export BERT_BASE_DIR=/Users/xiaomingtai/Downloads/chinese_L-12_H-768_A-12
export MY_DATASET=/Users/xiaomingtai/Downloads/bert_model
python run_classifier.py 
  --data_dir=$MY_DATASET 
  --task_name=setest 
  --vocab_file=$BERT_BASE_DIR/vocab.txt 
  --bert_config_file=$BERT_BASE_DIR/bert_config.json 
  --output_dir=/Users/xiaomingtai/Downloads/ber_model_output/ 
  --do_train=true 
  --do_eval=true 
  --do_predict=true
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt 
  --max_seq_length=128 
  --train_batch_size=16 
  --eval_batch_size=8
  --predict_batch_size=2
  --learning_rate=5e-5
  --num_train_epochs=3.0