Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 99|回复: 0

在 Intuit 的案例中,Jason 的团队将处理后的

[复制链接]

1

主题

1

帖子

5

积分

新手上路

Rank: 1

积分
5
发表于 2023-11-22 16:30:51 | 显示全部楼层 |阅读模式
这增加了基础设施需要为每个事件收集的数据点以及数据量。随着 Intuit 推出云端新产品,他们的 CUR 随着新产品线的推出而不断增长。我们看到五年内平均增长了 10 倍,就 Intuit 而言,一年内增长了 10 倍! 更多工作流程:数据转换是分析的基本部分。与 CUR 的情况一样,原始数据不足以回答有关业务的复杂问题。为了满足这些需求,Intuit 团队需要进行转型。在任何数据驱动的企业中,最终用户都变得更加成熟并且对其业务的不同领域更加好奇。工作流程产生答案。因此,数据团队必须管理的工作流程数量不断增加。 更多人: 如今,任何组织的成功都取决于做出快速、有效的数据驱动决策的能力。这意味着让人们能够访问他们需要的数据 CUR 数据分发给整个组织。

Intuit 拥有 8,000 多名员工,其中一半以上是开发人员。除了业务之外,数据科学家的队伍也在不断壮大,他们为机器学习和人工智能应用构建模型和算法。 对于 Intuit 来说,“继续做我们正在做的 电子邮件营销列表 事情”显然不是一个选择。在数据即资产的世界中,数据和 DevOps 团队应关注管道的价值创造部分。 随着云使用量和数据量的增加,旧的本地仓库已经遇到瓶颈,因此分析团队跟随业务团队进入云端。 在云中构建数据服务层 Intuit 团队跟随他们的产品团队进入了 AWS 云。主要目标包括处理数据量的爆炸式增长并为业务增加价值。



通过按需访问计算资源,近乎实时地访问使用数据对于 Intuit 业务团队来说至关重要。与旧世界不同,等待月底的报告不再有效。考虑到 Intuit 云运营的规模,几个小时的新鲜感会对公司产生重大影响。 使用 Amazon Redshift 进行云分析 Jason 将整个堆栈从 Oracle 迁移到 Redshift,并部署了相同的 SQL 和 ETL 流程。 Redshift 处理了数据量的增长。三大数据点: 随着 CUR 大小的增长,给定月份中每一天处理的总行数(灰色区域)都会增加,达到每批约 40 亿行。 Redshift 每分钟处理的行数(黄线)随着 CUR 大小的增长而增加,达到每分钟约 1 亿行。22 处理完整 CUR 的批处理持续时间(红线)保持在 30-40 分钟内。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|DiscuzX

GMT+8, 2025-9-14 00:41 , Processed in 0.046848 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表