2023-11-03 20:56来源:m.sf1369.com作者:宇宇
行为数据用混合的手段来处理
数据是eBay发展的基础和价值所在,所以eBay数据服务和解决方案团队从eBay成立的第一天就已经存在,从数据仓库到数据分析再到数据服务,部门的名字一直随着发展在不断变化。但万变不离其宗,数据服务和解决方案团队就是一个针对数据展开想象的部门。
eBay数据服务和解决方案团队分布在美国西雅图、圣何塞以及中国上海,而中国团队全职和外包人员总共将近有100人,其中有不同的职位和分工,包括数据科学家、数据工程师、商业需求分析师、产品经理四大类。两个区域的团队互相协作,共同开发核心数据的同时也支持不同的业务部门。
eBay目前整体有四大系统,其中三个为生产系统,一个为测试开发系统。生产系统包括:第一,保存交易型数据和用户数据的企业及数据仓库(EnterpriseData Warehouse);第二,Teradata为eBay特别定制的分析系统,主要进行非结构化的用户行为数据处理;第三,专门为数据分析师使用,方便快速找到想要的数据。eBay中国数据服务和解决方案团队主管李炜指出,前两个系统主要为生产环境做批处理,最后一个系统是帮助数据科学家进行测试和制作分析报告。
由于eBay电子商务的性质,其用户行为数据占80%以上,而通过买家和卖家的行为数据eBay可以做很多个性化的应用。买家更喜欢买哪些种类下的产品,有哪些购物习惯、什么时间购买,这些数据可以帮助卖家了解哪些是自己最大的客户群,以及基于机器学习对未来的热点市场进行预测。
“eBay的行为数据都是非结构化数据,这对于关系型数据库的压力非常大。”李炜谈到。因此eBay则使用了混合方案,使用Hadoop来应对海量非结构化数据,将原始数据首先加载到Hadoop上,完成行级结构化处理,在将这些预处理好的数据送到不同的系统,之后处理已经模式化的数据和半结构化数据。
/云/
/畅/
/销/
特有 eBay平台 大数据分析功能
这个我建议,你可以直接用一些电商系统,绑定账户然后拉数据,直观的就能看到