2022-04-20 08:12来源:m.sf1369.com作者:宇宇
我个人觉得有些缺失值是没有办法处理的,像你这个里面的jobs,这种属于背景变量类型的,很难以通过一定的数据分析方法来预测,除非你能够找出job的不同类型数据 与其中某个变量紧密相关,然后可以通过这两个相关性建立一个模型预测,否则的话 这种缺失性 只能在分析时将其忽略了
其他一些如果有些在这个数据表中是因变量性的,可以通过其他一些数据指标进行预测的,就找出他们之间的关系模型,对其进行预测,反正缺失值处理是个非常复杂的事情,要针对每个变量的不同情况来看
还要分析下每个缺失是属于随机缺失还是非随机缺失,如果是随机缺失的话,对结果影响不大,你完全可以不理它也没关系,如果是非随机的缺失,那一方面很难预测,另一方面,对结果有影响
1、均值插补。数据的属性分为定距型和非定距型。如果缺失值是定距型的,就以该属性存在值的平均值来插补缺失的值;如果缺失值是非定距型的,就根据统计学中的众数原理,用该属性的众数(即出现频率最高的值)来补齐缺失的值。
2、利用同类均值插补。同均值插补的方法都属于单值插补,不同的是,它用层次聚类模型预测缺失变量的类型,再以该类型的均值插补。假设X=(X1,X2...Xp)为信息完全的变量,Y为存在缺失值的变量。
那么首先对X或其子集行聚类,然后按缺失个案所属类来插补不同类的均值。如果在以后统计分析中还需以引入的解释变量和Y做分析,那么这种插补方法将在模型中引入自相关,给分析造成障碍。
3、极大似然估计(Max Likelihood ,ML)。在缺失类型为随机缺失的条件下,假设模型对于完整的样本是正确的,那么通过观测数据的边际分布可以对未知参数进行极大似然估计(Little and Rubin)。
这种方法也被称为忽略缺失值的极大似然估计,对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization,EM)。
4、多重插补(Multiple Imputation,MI)。多值插补的思想来源于贝叶斯估计,认为待插补的值是随机的,它的值来自于已观测到的值。具体实践上通常是估计出待插补的值,然后再加上不同的噪声,形成多组可选插补值。根据某种选择依据,选取最合适的插补值。
扩展资料
缺失值产生的原因很多,装备故障、无法获取信息、与其他字段不一致、历史原因等都可能产生缺失值。一种典型的处理方法是插值,插值之后的数据可看作服从特定概率分布。另外,也可以删除所有含缺失值的记录,但这个操作也从侧面变动了原始数据的分布特征。
对于缺失值的处理,从总体上来说分为删除存在缺失值的个案和缺失值插补。对于主观数据,人将影响数据的真实性,存在缺失值的样本的其他属性的真实值不能保证,那么依赖于这些属性值的插补也是不可靠的,所以对于主观数据一般不推荐插补的方法。插补主要是针对客观数据,它的可靠性有保证。
参考资料来源:百度百科-不确定性数据
参考资料来源:百度百科-缺失值
如果缺失值只占数据的5%不到,那么缺失值对数据的影响不大,各种缺失处理方式差异不大,简单点处理就好,比如均值填补,或者索性直接删除有缺失的个案,但均值填补无法利用缺失数据里面可能含有的有效信息,而删除个案有可能导致对数据的结构产生不利影响(比如绩效考核的时候不合格者没有成绩,形成缺失,这样删掉缺失就会让数据缺乏代表性,只有合格者,没有不合格者)。相较于均值填补,回归填补法要更准确一些(这只限于并非大量缺失的情况,否则回归也会产生有偏的估计
如果确实数量较大,建议用EM算法,有不少研究者通过模拟研究表明这种填补法得到的结果最为准确,其操作是spss菜单里选择 分析――缺失值分析,会弹出下面这个对话框
然后将需要填补缺失的数据选入右边的变量框(要注意变量类型),然后在估计方法那里选EM,然后点击EM按钮,将填补后的数据保存为新数据集就OK