Flink 在饿了么的应用与实战

本 ppt 来自于2018年7月29日 Flink China社区线下 Meetup·上海站(8月11日将在北京进行)。

本文分享来自于易伟平 他目前在饿了么主要负责大数据平台的架构和维护，对大数据实时计算引擎Storm、Spark、Flink有一定的了解，对离线SQL on Hadoop引擎有一定的研究。

本文主要内容如下：

介绍了饿了么的平台架构实现，数据源有应用的日志、DRC、Flume/Hangout等，以Kafka作为消息中间件，计算平台Storm、Spark和Flink都有用，Storm占据2/3，Spark占据1/3，Flink目前用的比较少，存储backend涉及到redis、mysql、kafka等

目前的数据现状是每天60TB的量，集群规模为400个节点

介绍了三个计算平台各自的优缺点，以及内部应用场景;单独介绍了一致性语义问题，认为目前exactly-once=at-least-once+幂等操作(emmm，我发现分享了很多基础知识)

因为饿了么现在是阿里系了嘛，所以，未来Flink的参与度要提高

 

 

来源： Hadoop技术博文

标签： Mysql 大数据 大数据平台

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。