找回密码
 立即注册
首页 业界区 业界 PLG log server note

PLG log server note

胥望雅 4 小时前
目录

  • 三者的架构图

    • Principle of operation

  • execute pack init and Install

    • loki
    • Promtail
    • loki server start
    • promtail server start
    • promtail of windows

  • .deb grafana install
  • .rpm grafana install
  • Grafana server start
  • Config note

PLG是一套开源且成熟的日志监控系统,根据自己所使用的系统去下载对应的 Loki 和 Promtail 、grafana版本使用即可。
下面基于 v3.6.4 Latest 。
三者的架构图

核心的就这三个组件:
1.png


  • 采集 (Promtail): 作为 Agent 部署在各个节点上,发现日志目标,抓取日志内容,添加标签(Label),并发送给 Loki。
  • 存储 (Loki): 接收日志流,不进行全文索引,仅索引元数据标签(Labels)。日志数据以压缩的块(Chunk)存储,可以节省空间。
  • 查询 (Grafana): 用户在 Grafana 中通过 LogQL 语言查询存储在 Loki 中的日志,支持实时监控和报警。
还有一些配套的工具: LogCLI 和 Loki Canary:

  • LogCLI 允许您在命令行界面中运行 Loki 查询;
  • Loki Canary是一款用于审核 Loki 性能的工具。
Principle of operation

PLG 把不同的功能块都独立出来,可以单独部署、独立运行,组合不同的工具使用,解耦合性非常好。
Loki 并不像 Elasticsearch 那样对全文进行索引,而是借鉴了 Prometheus 的存储理念,采用索引与数据 分离的机制
promtail以标签作为索引的配置:
  1.   relabel_configs:
  2.     - source_labels: ['__syslog_message_hostname']
  3.       target_label: 'device_ip'  # 将设备 IP 提取为标签
复制代码
其工作流程如下:

  • 采集 (Promtail): 作为 Agent 部署在各个节点上,发现日志目标,抓取日志内容,添加标签(Label),并发送给 Loki。
  • 存储 (Loki): 接收日志流,不进行全文索引,仅索引元数据标签(Labels)。日志数据以压缩的块(Chunk)存储,节省空间。
  • 查询 (Grafana): 用户在 Grafana 中通过 LogQL 语言查询存储在 Loki 中的日志,支持实时监控和报警。
execute pack init and Install

我的环境是单机linux,上传了安装包的环境。下面记录一下安装过程,方便自己回顾吧。
loki

unzip loki-linux-amd64.zip
mv loki-linux-amd64 /opt//loki # 假设重命名并移动
chmod +x /opt/loki
cp loki-local-config.yaml /opt/loki/loki-local-config.yaml
config:
https://raw.githubusercontent.com/grafana/loki/v3.6.0/cmd/loki/loki-local-config.yaml
Promtail

安装过程和loki类似,配置好config就行。
config :
https://raw.githubusercontent.com/grafana/loki/main/clients/cmd/promtail/promtail-local-config.yaml
loki server start

前台开启测试
./loki-linux-amd64 -config.file=./loki-local-config.yaml
判断服务是否可用
检查HTTP API状态
http://localhost:3100/ready
如果返回 ready,则表示服务完全正常。
如果返回 not ready 或连接失败,则Loki尚未正常工作。
如果是第一次启动,需要等待几分钟。
测试正常之后,可以后台开启
nohup ./loki -config.file=loki-local-config.yaml > loki.log 2>&1 &
promtail server start

前台启动:
./promtail-linux-amd64 -config.file=promtail-config.yaml
后台启动
nohup ./promtail-linux-amd64 -config.file=promtail-config.yaml > promtail.log 2>&1 &
报错:
GLIBC_2.32 not found
GLIBC_2.34 not found
由于我用的是 NeoKylin ,暂时有点难解决,
我换了个系统安装promtail.....
promtail of windows

没有其他linux版本了,只能先找个windows系统来先用。
也是下载,然后写好配置文件,启动
.\promtail-windows-amd64.exe --config.file=promtail-local-config.yaml
没有做 win服务 启动的话,需要后台窗口 挂着进程。
.deb grafana install

.deb 安装包,标准且简单的做法是使用 dpkg 命令安装。这种方式会自动将 Grafana 注册为系统服务,非常适合长期稳定运行。
dpkg -i grafana_12.3.2_21390657659_linux_amd64.deb
Command:
重载系统服务配置
sudo systemctl daemon-reload
启动 Grafana 服务
sudo systemctl start grafana-server
设置开机自启
sudo systemctl enable grafana-server
检查运行状态
sudo systemctl status grafana-server
登录与配置
访问地址:打开浏览器,输入:http://[IP]:3000
默认账号:用户名为 admin,初始密码也是 admin。
首次登录:系统会强制要求你修改密码。
关键路径说明 (DEB 安装版)
配置文件:/etc/grafana/grafana.ini (修改端口或域名在这里改)
数据存储:/var/lib/grafana (仪表盘和插件存在这里)
运行日志:/var/log/grafana (如果启动失败,去这里看报错)
.rpm grafana install

中标麒麟 (NeoKylin) 是基于 CentOS/Red Hat 开发的,因此它使用的是 rpm 软件包管理器。
pack download :
https://dl.grafana.com/grafana/release/12.3.2/grafana_12.3.2_21390657659_linux_amd64.rpm
在中标麒麟中,使用 yum 命令安装本地包是最佳实践,因为它会自动帮你处理依赖关系:
sudo yum localinstall grafana-enterprise-11.5.1-1.x86_64.rpm
安装完成会提示:
Complete!
Some bash:
启动
systemctl start grafana-server
查看状态
systemctl status grafana-server
开机自启
systemctl enable grafana-server
Grafana server start

Grafana 启动后,最重要的操作是将 Loki 添加为数据源,否则它无法读取 Promtail 采集到的日志。以下是标准配置流程:

  • 登录与基础设置
    访问地址:默认地址通常为 http://localhost:3000
    用Chrome浏览器打开,其他浏览器会报错,不知道为什么。先不管这个。
    默认凭据:用户名 admin,密码 admin(首次登录后会强制要求修改)。
  • 添加 Loki 数据源
    reference:

    • https://www.cnblogs.com/architectforest/p/18515439
    • https://grafana.org.cn/docs/grafana/latest/datasources/loki/configure-loki-data-source/

Config note

todo

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

相关推荐

您需要登录后才可以回帖 登录 | 立即注册