大数据平台系统架构-参考模型
大数据平台系统架构-参考模型
数据采集层：业务数据、日志、或者业务接口等等；
数据加工层：ODS -> Kafka -> Flink ETL -> Kafka -> OLAP 数据库；
数据存储层： ODS 存储在 HDFS；DWD+DWM 存储在ClickHouse；为了应对复杂查询和高频查询，后期引入StarRocks作为OLAP数据库。
数据应用层：BI 报表、实时业务数据查询API、Ad-hoc 查询。
数据治理：数据链路监控；任务调度；Kibana+Prometheus 数据流监控。
阿里二面：Redis 回收进程如何工作的
阿里二面：Redis 回收进程如何工作的？
Redis是一种内存数据库，它将所有数据存储在内存中，以提供快速的读写访问。然而，内存是有限的，所以Redis必须采取一些措施来确保它能够持续地工作。为此，Redis有一个内存回收进程，可以将不再需要的数据从内存中移除。
Redis回收进程采用的方法是内存回收和键空间淘汰。其中，内存回收是指当Redis的内存占用率超过了设定的上限时，Redis会自动将一些不再使用的数据从内存中移除，以释放空间。具体来说，Redis会监视内存使用情况，并使用不同的算法来决定哪些数据应该被移除。例如，当Redis的内存使用率达到了一个预设的阈值时，它可以使用一种称为LRU（Least Recently Used）的算法，以确定哪些数据最久没有被使用过，并将它们从内存中移除。
除了内存回收外，Redis还使用键空间淘汰（key space eviction）来控制内存使用率。这是一种基于过期时间的算法，可以定期检查过期键，将它们从内存中移除，从而释放空间。这种算法还可以通过设置最大内存限制来保证Redis不会耗尽可用内存。
在Redis回收进程中，内存回收和键空间淘汰通常是同时使用的，以确保Redis在任何情况下都可以保持可用性。例如，如果Redis在键空间淘汰过程中发现一些过期的键，但此时Redis的内存使用率已经达到了预设的阈值，那么它可以优先移除已经过期的键，以释放更多的内存。
Redis回收进程是保证Redis持续运行的关键组件之
一。通过内存回收和键空间淘汰，Redis可以在内存有限的情况下仍然保持高效和可靠。
简单的项目就不要使用Redis了
简单的项目就不要使用Redis了，既要安装服务器，又要进行相关配置。就那么点访问量白白地浪费时间还不一定能够用得上缓存功能。
Vedis是一个可嵌入的数据存储库，其概念与Redis相同，但是它没有网络层，而是与你的程序运行在同一个进程中。
Vedis的数据库中所有存储的数据存放在单个文件中，所有的数据库访问都是直接作用于磁盘文件，而且这个数据库文件是跨平台的，你可以在不同的操作系统上复制使用，不用管它是64位还是32位，也不用管它支持的是大端还是小端字节序。
Vedis是一个轻量级C语言实现的数据存储库，没有依赖其它C语言代码，它很适合应用于嵌入式设备和桌面应用程序中。
项目地址：网页链接
Redis数据库中的所有数据都存储在内存中
Redis数据库中的所有数据都存储在内存中。——《Redis入门指南（第2版）》
