用意: 搞推荐系统或者数据挖掘的, 对数据要绝对的敏感和熟悉, 并且热爱你的数据. 分析数据既要用统计分析那一套,又要熟悉业务发掘有趣的特征(feature). 后者有意思的多,但是因为我业务做的不多,还不太熟悉, 跪求大牛们分析业务经历. 听豆瓣上的大神"懒惰啊我"说过,有一个Nokia的比赛,有一个团队直接用陀螺仪参数就发现了性别分布,因为男生手机都放在口袋里, 而女生往往放在包里面. 不知道记错没有.

下面主要讲些统计分析或者简单的内容分析, 说说我自己的总结, 这个话题以后可以常说.

这部分不涉及Mahout的内容,主要是使用Python和Linux命令简单处理数据. 不感兴趣的朋友可以直接跳到最后面看看一些不错的数据集推荐. 

一. 前期数据分析的三个阶段

1. 打开你的数据,读懂每一行的含义

    数据的行数

    item和user的数量

    rate的评分方式,是boolean还是1-5分或者其它.

    数据稀疏还是稠密 sparse or dense

3. 找到合适的存储方式存储,DenseVector还是SparseVector

二. 数据分析实例

   现在国内的数据还比较少, 感谢下百度,提供了一些不错的数据.

    百度举办的电影推荐系统算法创新大赛提供的用户数据. 

1. 读懂你的数据, 知道每一行的含义.

一共有五个文件:

movie_tag.txt 每行表示一个有效数据项, 下面类似. 每行由电影id以及tag的id, 用"\t"隔开; tag用","隔开.

training_set.txt  每行表示用户id, 电影id, 评分, 用"\t"隔开.

user_social.txt  每行表示用户id和用户关注的好友id集合； 好友id集合用","隔开.

predict.txt 每行表示用户id和电影id

user_history.txt 每行表示用户id和用户看过的电影id. 

数据如下图所示: head -n 2 *.txt

行数分析: wc -l *.txt

Python代码如下:

# -*- coding: utf-8 -*- '''Created on 2 Nov, 2013@author: cool'''import math#return user_num, movie_num, movie_mean, movie_variantdef countData(filename):    user_count = {} #the number of movie about every user    movie_count = {} #the number of user about every movie    max = -100    min = 100        #Assuming no duplicate data    for line in open(filename):        (user, movie, rating) = line.split("\t")        #(user, movie, rating, xx) = line.split("::")        rating = float(rating.replace(r"\r\r\n", ""))        #print rating                user_count.setdefault(user, 0)        user_count[user] += 1                movie_count.setdefault(movie, 0)        movie_count[movie] += 1                if (max < rating): max = rating        if (min > rating): min = rating             uSum = sum([user_count[user] for user in user_count])    uSqSum = sum([user_count[user]**2 for user in user_count])    user_mean = float(uSum) / len(user_count)    user_variant = math.sqrt(float(uSqSum) / len(user_count) - user_mean**2)             mSum = sum([movie_count[movie] for movie in movie_count])    mSqSum = sum([movie_count[movie]**2 for movie in movie_count])    movie_mean = float(mSum) / len(movie_count)    movie_variant = math.sqrt(float(mSqSum) / len(movie_count) - movie_mean**2)        return len(user_count), len(movie_count), user_mean, user_variant, movie_mean, movie_variant, min, maxif __name__ == '__main__':    (user_count, movie_count, user_mean, user_variant, movie_mean, movie_variant, min, max) \     = countData("../data/baidu/training_set.txt")        #(user_count, movie_count, user_mean, user_variant, movie_mean, movie_variant, min, max) \    # = countData("../data/baidu/ratings.dat")         print "用户(总数,平均值,标准差)=(", user_count, user_mean, user_variant, ")"     print "电影(总数,平均值,标准差)=(", movie_count, movie_mean, movie_variant, ")"    print "评分范围=(", min, max, ")"

三. 不错的数据来源