使用Prometheus + Grafana 构建监控可视化系统 监控系统简介 业务监控系统通常包含以下一些组件: 采集:信息源来自log、metrics等。 可以通过定期外围探测、AOP手动织入、字节码自动织入 上报:通过http或者tcp 聚合 存储 可视化、告警 业务监控系统解决了什么问题? 趋势分析:收集长期监控数据,对监控指标进行趋势分析,例如:分析磁盘空间增长率,预测何时进行磁盘扩容。 对照分析:分析不同版本在 2022-06-11 中间件 > Prometheus
Kafka学习笔记(一)-基础入门 简介 Kafka是由LinkedIn使用Scala语言开发的分布式消息引擎系统,目前已被捐献给Apache基金会,它以高吞吐量、可持久化、流数据处理等特性而被广泛使用。它主要有以下三种主要功能: 消息中间件:具备常见的消息队列功能:系统解耦、冗余存储、流量削峰填谷、缓冲、异步通信,同时具备消息顺序性保障、回溯消费等功能。 数据存储系统:使用Kafka存储各种服务的log,然后统一输出,E 2022-05-06 中间件 > Kafka
Zookeeper论文阅读笔记 摘要 Zookeeper是一个带有事件驱动的分布式系统缓存,提供了强大的分布式协调能力,结合了组播消息、分布式锁等内容。 Zookeeper提供了高性能服务,保证了对客户端请求FIFO顺序执行和线性化写,在给出了在2:1到100:1的读/写比率下,ZooKeeper 每秒可以处理数万到数十万个事务。 1.简介 分布式系统需要不同形式的协调程序,配置是协调的最基本形式。 Zookeepe 2022-04-22 分布式系统 #分布式系统
Zookeeper入门教程 简介 Zookeeper为分布式系统提供了高效可靠的分布式协调服务,其本质是一个键值存储系统,提供了诸如命名服务、配置管理、分布式锁等服务。其采用ZAB协议对集群数据的一致性进行管理。 它负责存储和管理一些数据,然后接受观察者的注册,一旦数据状态发生变化,Zookeeper负责通知观察者做出相应的反应。 几个特点: 一个Leader,多个Follow组成的集群。 半数以上节点存活,集 2022-04-11 中间件 > Zookeeper
DDIA阅读笔记(一)-数据系统的基石 第一章:可靠性、可伸缩性、可维护性 应用的两个分类: data-intensive:问题通常来自数据量、数据复杂性、以及数据的变更速度。 compute-intensive:瓶颈在于CPU。 可靠性 可以把可靠性粗略理解为 “即使出现问题,也能继续正确工作”。 造成错误的原因叫做 故障(fault),能预料并应对故障的系统特性可称为 容错(fault-tolerant) 或 2022-04-03 分布式系统 #分布式系统
MySQL调优总结 前言 数据库调优的几个维度: 建立索引 SQL语句优化 服务器参数调优:包括缓冲区、线程数等 分库分表、集群模式 调优目标: 尽可能节省系统资源,以提高系统吞吐量。 合理的结构设计和参数调整,以提高用户操作响应的速度。 减少系统的瓶颈,提高MySQL整体性能。 如何定位调优问题: 用户反馈 日志分析 服务器资源监控 调优维度: 选择合适的D 2022-03-01 MySQL #MySQL
网络IO模型总结 网络IO流程 网络IO中的一次请求和响应的流程基本如下: 内核通过网卡读取客户端的请求数据,将数据读取到内核缓冲区。数据从网卡到内核空间; 从内核缓冲区读取数据到应用进程缓冲区。数据从内核空间到用户空间; 服务端进程在自己的用户空间中,处理客户端的请求。数据在用户空间中被处理; 处理完数据并构建好的响应之后,将数据从用户缓冲区写入内核缓冲区。 内核将内核缓冲区中的响应写入网卡,网卡 2022-02-22 计算机基础 > 操作系统 #操作系统