Merge pull request apachecn#196 from Cugtyt/master

Use broadcasting to simplify autoNorm func in kNN.py

Author: chenyyx

src/python/2.KNN/kNN.py

@@ -199,12 +199,7 @@ def autoNorm(dataSet):
     maxVals = dataSet.max(0)
     # 极差
     ranges = maxVals - minVals
-    normDataSet = zeros(shape(dataSet))
-    m = dataSet.shape[0]
-    # 生成与最小值之差组成的矩阵
-    normDataSet = dataSet - tile(minVals, (m, 1))
-    # 将最小值之差除以范围组成矩阵
-    normDataSet = normDataSet / tile(ranges, (m, 1))  # element wise divide
+    norm_dataset = (dataset - minvalue) / ranges
     return normDataSet, ranges, minVals
 
 

src/python/3.DecisionTree/DecisionTree.py

@@ -11,6 +11,7 @@
 import operator
 from math import log
 import decisionTreePlot as dtPlot
+from collections import Counter
 
 
 def createDataSet():
@@ -45,33 +46,12 @@ def calcShannonEnt(dataSet):
     Returns:
         返回 每一组feature下的某个分类下，香农熵的信息期望
     """
-    # 求list的长度，表示计算参与训练的数据量
-    numEntries = len(dataSet)
-    # 下面输出我们测试的数据集的一些信息
-    # 例如：<type 'list'> numEntries:  5 是下面的代码的输出
-    # print type(dataSet), 'numEntries: ', numEntries
-
-    # 计算分类标签label出现的次数
-    labelCounts = {}
-    # the the number of unique elements and their occurance
-    for featVec in dataSet:
-        # 将当前实例的标签存储，即每一行数据的最后一个数据代表的是标签
-        currentLabel = featVec[-1]
-        # 为所有可能的分类创建字典，如果当前的键值不存在，则扩展字典并将当前键值加入字典。每个键值都记录了当前类别出现的次数。
-        if currentLabel not in labelCounts.keys():
-            labelCounts[currentLabel] = 0
-        labelCounts[currentLabel] += 1
-        # print '-----', featVec, labelCounts
-
-    # 对于label标签的占比，求出label标签的香农熵
-    shannonEnt = 0.0
-    for key in labelCounts:
-        # 使用所有类标签的发生频率计算类别出现的概率。
-        prob = float(labelCounts[key])/numEntries
-        # log base 2
-        # 计算香农熵，以 2 为底求对数
-        shannonEnt -= prob * log(prob, 2)
-        # print '---', prob, prob * log(prob, 2), shannonEnt
+    # 统计标签出现的次数
+    label_count = Counter(data[-1] for data in dataSet)
+    # 计算概率
+    probs = [p[1] / len(dataSet) for p in label_count.items()]
+    # 计算香农熵
+    shannonEnt = sum([-p * log(p, 2) for p in probs])
     return shannonEnt
 
 
@@ -83,38 +63,9 @@ def splitDataSet(dataSet, index, value):
         index 表示每一行的index列        划分数据集的特征
         value 表示index列对应的value值   需要返回的特征的值。
     Returns:
-        index列为value的数据集【该数据集需要排除index列】
+        index列为value的数据集
     """
-    retDataSet = []
-    for featVec in dataSet: 
-        # index列为value的数据集【该数据集需要排除index列】
-        # 判断index列的值是否为value
-        if featVec[index] == value:
-            # chop out index used for splitting
-            # [:index]表示前index行，即若 index 为2，就是取 featVec 的前 index 行
-            reducedFeatVec = featVec[:index]
-            '''
-            请百度查询一下： extend和append的区别
-            list.append(object) 向列表中添加一个对象object
-            list.extend(sequence) 把一个序列seq的内容添加到列表中
-            1、使用append的时候，是将new_media看作一个对象，整体打包添加到music_media对象中。
-            2、使用extend的时候，是将new_media看作一个序列，将这个序列和music_media序列合并，并放在其后面。
-            result = []
-            result.extend([1,2,3])
-            print result
-            result.append([4,5,6])
-            print result
-            result.extend([7,8,9])
-            print result
-            结果：
-            [1, 2, 3]
-            [1, 2, 3, [4, 5, 6]]
-            [1, 2, 3, [4, 5, 6], 7, 8, 9]
-            '''
-            reducedFeatVec.extend(featVec[index+1:])
-            # [index+1:]表示从跳过 index 的 index+1行，取接下来的数据
-            # 收集结果值 index列为value的行【该行需要排除index列】
-            retDataSet.append(reducedFeatVec)
+    retDataSet = [data for data in dataSet for i, v in enumerate(data) if i == axis and v == value]
     return retDataSet
 
 
@@ -126,36 +77,24 @@ def chooseBestFeatureToSplit(dataSet):
     Returns:
         bestFeature 最优的特征列
     """
-    # 求第一行有多少列的 Feature, 最后一列是label列嘛
-    numFeatures = len(dataSet[0]) - 1
-    # label的信息熵
-    baseEntropy = calcShannonEnt(dataSet)
-    # 最优的信息增益值, 和最优的Featurn编号
-    bestInfoGain, bestFeature = 0.0, -1
-    # iterate over all the features
-    for i in range(numFeatures):
-        # create a list of all the examples of this feature
-        # 获取每一个实例的第i+1个feature，组成list集合
-        featList = [example[i] for example in dataSet]
-        # get a set of unique values
-        # 获取剔重后的集合，使用set对list数据进行去重
-        uniqueVals = set(featList)
-        # 创建一个临时的信息熵
-        newEntropy = 0.0
-        # 遍历某一列的value集合，计算该列的信息熵 
-        # 遍历当前特征中的所有唯一属性值，对每个唯一属性值划分一次数据集，计算数据集的新熵值，并对所有唯一特征值得到的熵求和。
-        for value in uniqueVals:
-            subDataSet = splitDataSet(dataSet, i, value)
-            prob = len(subDataSet)/float(len(dataSet))
-            newEntropy += prob * calcShannonEnt(subDataSet)
-        # gain[信息增益]: 划分数据集前后的信息变化， 获取信息熵最大的值
-        # 信息增益是熵的减少或者是数据无序度的减少。最后，比较所有特征中的信息增益，返回最好特征划分的索引值。
-        infoGain = baseEntropy - newEntropy
-        print 'infoGain=', infoGain, 'bestFeature=', i, baseEntropy, newEntropy
-        if (infoGain > bestInfoGain):
-            bestInfoGain = infoGain
-            bestFeature = i
-    return bestFeature
+    # 计算初始香农熵
+    base_entropy = calcShannonEnt(dataSet)
+    best_info_gain = 0
+    best_feature = -1
+    # 遍历每一个特征
+    for i in range(len(dataSet[0]) - 1):
+        # 对当前特征进行统计
+        feature_count = Counter([data[i] for data in dataSet])
+        # 计算分割后的香农熵
+        new_entropy = sum(feature[1] / float(len(dataSet)) * calcShannonEnt(splitDataSet(dataSet, i, feature[0])) \
+                       for feature in feature_count.items())
+        # 更新值
+        info_gain = base_entropy - new_entropy
+        print('No. {0} feature info gain is {1:.3f}'.format(i, info_gain))
+        if info_gain > best_info_gain:
+            best_info_gain = info_gain
+            best_feature = i
+    return best_feature
 
 
 def majorityCnt(classList):