forked from fansy1990/friend_find
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathREADME
37 lines (27 loc) · 1.35 KB
/
README
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
Friend Find 系统
项目介绍可以参考:http://blog.csdn.net/fansy1990/article/details/46943657
系统版本V2.0
相关软件:
Myeclipse10.0,JDK1.7,Hadoop2.6,MySQL5.6,EasyUI1.3.6,jQuery2.0,Spring4.1.3,
Hibernate4.3.1,struts2.3.1,Maven3.2.1
功能1-- 初始化数据库
1. 初始化登录表;
2. 初始化Hadoop集群配置表;
3. 初始化用户数据表;
功能2--过滤
1. 上传users.xml文件到HDFS;
2. 运行DeduplicateJob任务,按照EmailHash的值进行去重,并监控;
3. 下载HDFS中去重后的记录到本地文件夹WEB-INF/classes/deduplicate_users;
4. 把WEB-INF/classes/deduplicate_users/文件导入到数据库中;
5. 把数据库中的数据过滤upVotes、downVotes、views同时小于或等于0的记录,其他记录上传到HDFS;
6. 计算上传后的数据文件每条记录之间的距离;
7. 根据阈值百分比定位最佳推荐DC阈值;
功能3--运行云平台任务
1. 求解局部密度;
2. 求解最小距离;
3. 画决策图;
功能4--朋友推荐
1. 把聚类中心向量写入HDFS,并写入本地文件;
2. 根据聚类中心,执行分类,得到每个用户的类别;
3. 解析每个用户的类别,并存入数据库中;
4. 根据用户组别,推荐组内用户;