3
机器学习的静态特征和动态特征
source link: https://www.jdon.com/63262
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
机器学习的静态特征和动态特征
在设计机器学习系统时，了解静态和动态特征之间的区别很重要，因为它可能会成败您将 ML 模型发布到生产中的努力。
静态特征：
- 这些特征是由不经常变化的数据产生的。
- 这些数据很可能与你的数据模型中的维度相似。
- 数据以一定的时间间隔被刷新。例如，每2小时，每天。
- 例子。仓库中的库存属性。
动态特征：
- 数据经常变化，或者可能暂时存在一个背景。
- 数据将类似于你的数据模型中的事实或事件。
- 特征是通过聚合事件或事实实时生成的。
- 例子。用户在过去2分钟内的点击次数。
案例：
- 所有的数据最终都是实时产生的，所以在这个例子中，我们从CDC流中收集数据，或者直接从应用中发射事件。我们将这些数据推送到Kafka主题。
- 数据被推送到一个对象存储中，以加载到数据仓库。
- 数据被加载到数据仓库中，进行转换。
- 我们对数据仓库内的数据进行建模，为特征工程做准备。
- 我们将所需的数据检索到ML管道中，该管道生成一个模型工件并将其推送到模型注册中心。
- 我们执行相同的特征工程逻辑，并将批量特征推送到低延迟的存储中，如Redis。
- 如果我们需要实时动态特征--我们用Flink应用实时执行ML管道中的特征工程。
- 我们将生成的特征推送到Redis。
现在我们可以从模型注册表中部署模型并从 Redis 中获取所有特征了
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK