2022年12月13日星期二

企业数据模型在业务应用上的实践

数智化建模

WBG的数据分析底层逻辑

现在大家频繁提及的"数智化"一词最早是2015年北京大学"知本财团"课题组提出的对"数字智商"（Digital Intelligence Quotient）的阐释，最初的定义是：数字智慧化与智慧数字化的合成。它有三层含义：一是"数字智慧化"，相当于云计算的"算法"，即在大数据中加入人的智慧，使数据增值增进，提高大数据的效用；二是"智慧数字化"，即运用数字技术，把人的智慧管理起来，相当于从"人工"到"智能"的提升，把人从繁杂的劳动中解脱出来；三是把这两个过程结合起来，构成人机的深度对话，使机器继承人的某些逻辑，实现深度学习，甚至能启智于人，即以智慧为纽带，人在机器中，机器在人中，形成人机一体的新生态。

因此， 数智化是大数据应用的核心价值，需要经过商业理解、数据收集、数据处理、模型计算，模型评估和模型部署六个阶段，最终目的是将大数据应用延伸到具体的业务场景的每一个环节中，让数据说话，让管理可见。本文将从整体流程的角度剖析WBG的数据应用场景，详细介绍数据模型底层逻辑。首先，数据来源主要包含第一方数据、第二方数据和第三方数据，其中，第一方数据是指企业内部数据，第二方数据指公网数据，第三方数据是合作方或友商提供的外部数据。第一方数据,包含对个性化推荐起决定性作用的用户数据、商品或服务数据，物流配送、仓储库存和起辅助的作用的客服数据。举个例子，比如，用户数据包含但不限于用户属性、注册行为、活动参与、订单行为、支付行为、评价行为和售后行为等；商品或服务数据包含商品或服务的分类、品牌、参数、功能说明和生命周期等。

第二方数据,通常是根据实际业务需求，通过网络爬虫的方式，获取互联网的相关数据信息，例如，竞争对手商品/服务分类数据、参数数据、功能说明和价格数据等，这一类的数据主要是用于完善用户行为偏好、自有商品或服务属性、与竞争对手对比优势、制定差异化营销策略及个性化推荐的辅助参考等。社交媒体类的数据主要是用于了解用户对企业、品牌和商品等各方面的舆情分析，及时抑制负面信息，同时挖掘用户的社交关系以及对商品或服务的真实需求，以此改善商品功能，完善服务流程，提升用户体验。第三方数据，包括以合法方式通过合作伙伴获取处理后的用户标签数据，通过用户的标签数据可以了解用户的基本信息匹配度、用户的网络行为、兴趣偏好、上网习惯偏好和模糊地理信息等，通过这些信息，再结合第一方数据和第二方数据，有策略地进行个性化商品或服务的推荐。除此之外，还可以根据用户的综合消费系数、稳定系数、风险系数、多方面监控系数，以及对用户的综合信用分数评定等内容，针对用户的信用分数评级，为用户提供相应的优惠或特殊权益，增加用户的黏性。

数据采集完成后， 才是大数据工作的重头戏——数智化数据分析的开始。数智化的数据分析工作需要用到模型的方法来做预测或者分类，建模分析的基本流程是：

1、了解数据在拿到数据后，不能着急立刻开始清洗数据或者模型训练，而是要先了解数据（除建模分析外，其他的数据开发也要做这一步），这样才能避免后期的踩坑，否则十有八九是要复工的。那"了解数据"这一环节，具体要了解哪些内容呢？

  • 了解各个特征的业务含义和计算逻辑；
  • 各个特征的分布是否符合预期？
  • 特征之间的相关性如何，是否符合基本逻辑？
  • 特征和目标值的相关性如何，是否符合基本逻辑？

在相关性分析这里，数值型变量之间可通过计算相关系数或者画图呈现；数值型变量和分类变量可通过箱线图呈现关系。2 、补充信息在初步了解数据后，需要做一些数据预处理的行为。第一步就是对缺失值处理，一般根据样本量多少以及缺失比例，来判断是讲"宁缺毋滥"的删除，还是缺失值填充。具体处理的思路可以是这样的：统计计算样本量n，各个特征数据缺失率y，各样本数据特征缺失率x；特征缺失率x比较高的样本一般都建议删除；因为多个特征都缺失，填补也比较困难，即使填补信息偏差也会比较大。如果某特征缺失率y比较大，则删除此特征；如果特征缺失率低且样本量比较大的话，可删除特征缺失的样本；如果样本量少不可删除，则对缺失值做填充。缺失值填充的方法有：

发帖者 时间：

没有评论:

发表评论

订阅： 博文评论 (Atom)