2023-02-07 16:26来源:m.sf1369.com作者:宇宇
匿名用户信息的查看只有一种方式,就是详细分析数据库中的源数据来判定。「知乎」团队能访问数据库的成员不超过两人。
因为「知乎」的匿名状态是可逆的,所以总是会把匿名状态跟用户绑定,通过数据分析发现匿名用户的做法总是不可避免。
未来我们会做一个事情,就是把匿名用户的数据分别放置,且数据访问的权限分离,也就是说,争取做到同时两人配合才能分析数据,才能查看匿名用户信息。
最近爬取了知乎1000万的用户数据,耗时一周。
使用 ElasticSearch + Kibana 实现数据存储,可视化。
数据爬取时间为 2019年7月 (3-9)日
抓到的数据大部分都是资料不完善,以下分析会过滤掉资料为空的那部分。
涉及到性别:-1:未知,0:女, 1;男
本文思路参考 这里
可以看到北京上海用户数量领跑其它城市,所有城市都是男用户稍占多一点。出现了深圳,深圳市 还有 广州,广州市,因为在知乎的个人资料中,居住地这个选项是手动填写而不是选择。
(这里由于kibana用的不熟,暂时不知道怎么把合并,欢迎知道的朋友告知)
可以看出互联网行业一骑绝尘,领先第二名一倍;而第二名计算机软件也是兄弟行业。比较有意思的是以行业划分的话,有比较多行业女性数量占优(高等教育、临床医学、创意艺术、财务、法律、基础教育、教育、广播电视、广告、培训)。而反观计算机软件、电子游戏、机械设备、电子电器、计算机硬件这些行业男性数量大幅占优。比较意外的是有这么多人从事电子游戏行业,超过了很多传统行业(当然有可能这个职业的人在知乎上比较活跃)。
有了行业分布,我们顺便再看看按照职业划分如何。与参考文章不同的是,现在知乎上学生占比最多,可能是知乎当前目标群体为学生,加大校园推广力度。这里我理解是资本入股后的营收压力,使知乎选择了这样的战略。(另外软件工程师,前端,程序员和算法工程师那夸张的男女比例是什么鬼=.=)
可以看到各高校间的差距并不是特别明显,跟现居城市相对应,北京的清北在前三占据两个席位。杭州在城市中排第三,浙大的学子功不可没。比较有意思的是 克莱登大学(“克莱登大学”原本是钱钟书先生小说《围城》里虚构的骗子学校),另外 中国传媒大学 是前50里边唯一女生数量比男生多的学校。
看完学校,我们最后来看一下专业分布。计算机相关行业占据绝对优势,我想到原因有二:近年来市场对计算机相关人才需求巨大;同时计算机相关人员玩知乎占比较大。法学在前排是让我比较意外的。
看了那么多各种类型的分布,我们来关注一些不一样的
这里列出了关注者数量前30的用户,第一知乎日报应该是知乎官方推荐的账号,张佳伟,丁香医生紧随其后。刘看山也是知乎官方账号,关注者数量似乎还在猛涨,从拉取数据到我写此文几天时间,关注数量涨了20w。轮子哥惊人的22k+回答数显得格外活跃(或许是机器人回答的,谁知道呢。另外经统计轮子哥是目前知乎上回答数量最多的)。
再来看一下被赞的数量最多的有哪些人
可以看到张佳伟,丁香医生还是前排,轮子哥屈居第三。后面又好多用户回答数量并不多,同样收获了好多赞。看看这里面有没有你关注的人吧~
再来对比一下哪些高校被赞数量最多。可以看出清北,浙大,复旦,上交,武大等Top N 学校影响力还是比较大的。另外克莱登大学很顽皮的排到的第三。
看了那么多柱状图,搞个饼图来看一下被关注者数量分布,看看自己在知乎属于什么水平
可以看到大部分知乎用户是没人关注的,如果你拥有一个以上关注者,那么恭喜你打败了75.37%的知乎用户。看来还是很多人跟我一样,是一个知乎小透明~
来一个具体的表格
数据里边有个is_active字段,看起来是一个时间戳。我猜这个字段记录的是用户最后一次登录时间,就这么拿来用咯。
这里从红色开始,逆时针依次是10天,一个月,三个月,半年,一年,两年,三年以上。
可以看出三个月内活跃用户大概占比30%,另外有30%用户近三年没登录过了。
最后我们以一张词云结束本文,大伙可以看看自己专业在图中什么位置
截止目前抓取了 9433740 条数据。今天7小时抓了不到5k条数据,数据增长已经非常缓慢了。带宽占用有10M左右,说明还是在不停的爬取,只是爬到的重复率已经很高了。余下的用户可能在不同的一片森林里,与目前爬取数据没有交集,或者根本就是0关注;也有可能数据接近爬完了。目前程序占了6G内存。今晚再观察一下,如果增长速率还是如此缓慢,明天就把它停掉了~
想了解更多爬取心路历程 请看这篇
这是我第一次搞数据爬取,不足之处 请各大神多多指导 。另外关于数据分析,各位可以想想更多不同的维度,得更有多有趣的内容。结尾附上一条抓取的数据样本。
以上,完...
是。根据查询知乎官网得知,知乎数据分析一元课是真的,知乎,中文互联网高质量的问答社区和创作者聚集的原创内容平台,于 2011年 1月正式上线。
1.第六次人口普查各地常住人口
2.2017年知乎用户基本信息
1.知乎用户地区分布状况,筛选知友数量分布top20地区。
2.结合常住人口数据,统计出知友密度最高的top20地区。
3.根据关注情况,查看各大学校友相互关注的程度。
知乎用户数据有缺失值需要清洗,另外 居住地 字段不包含“省”、“市”字样。这里留意,后面会提到。
定义函数data_cleaning(df),对缺失数据填充,对于“object”类型字段填充“缺失数据”字样,其他类型一律填充0.
设置自定义函数 standard(df,col) ,并返回一个新生成的标准化处理后的字段col_std。运行两次函数,并查看函数运行后的合并列表。
为每个柱子上添加字符,该字符是保留两位小数后的对相应字段标准化处理后的结果。
关注者 人数表示某校用户的个人粉丝数, 关注 人数表示某校用户所关注的人数。按照 教育经历 即用户所在学校名称分组,并对粉丝数和关注人数求和。然后按照关注,关注者两个 字段降序,根据输出的结果将其中不合适的行删除。
点的大小用粉丝数量衡量,点越大,粉丝数越多。
颜色深浅表示关注人数的多寡。
红绿辅助线分别标出粉丝数和关注人数的平均数。
由上图可得出结论:浙大用户的粉丝数最多。武汉大学的用户关注他人最多,华中科技大、北大、浙大次之。