ZBlog

1567668608251

ELK简单部署以及使用

简介

  • 此项目是使用filebeat轻量化日志采集工具,将日志采集到kafka,在使用logstash工具将日志采集到Elasticsearch中,使用kibana工具在web界面上进行各种搜索查看建立图标等操作。默认kafka以及Elasticsearch已经装好了。

下载安装

  • 进入到官网https://www.elastic.co
    • 1566796617980
  • 找到产品
    • 1566796654407
  • 点击下载
    • 1566796697107
  • 选择需要下载的工具点击下载
    • 1566796751070
    • 在past releases中可以选择其他版本点击下载就可以
  • 下载好安装包以后进行解压、配置环境变量

修改配置文件

  • filebeat变量配置

    • 首先进入到filebeat解压后的文件中

      • 1
        cd filebeat-6.4.3-linux-x86_64
    • 修改filebeat.yml中的配置

      • 1
        vi filebeat.yml
    • 修改成以下值

      • 1
        2
        3
        4
        5
        6
        7
        8
        9
        10
        11
        12
        13
        14
        filebeat.inputs:
        - type: log
        enabled: true
        paths:
        - /data/filebeattest/logs/*.log //需要采集的日志地址
        output.kafka:
        hosts: ["hadoop110:9092"] //kafka的地址 如果使用hadoop这种类型的名字需要在本节点上配置 hosts文件
        topic: 'filelog' //kafka中的topic
        partition.round_robin:
        reachable_only: false

        required_acks: 1
        compression: gzip
        max_message_bytes: 1000000
    • 启动filebeat的指令

      • 1
        filebeat -c filebeat.yml
  • logstash变量配置

    • 进入到logstash的解压文件中

      • 1
        cd logstash-6.4.3
    • 创建一个配置文件的文件夹conf 并在文件夹里创建一个配置文件kafka-elasticsearch.conf

      • 1
        2
        3
        mkdir conf
        cd conf
        touch kafka-elasticsearch.conf
    • 给配置文件加上配置信息

      • 1
        2
        3
        4
        5
        6
        7
        8
        9
        10
        11
        12
        13
        14
        vi kafka-elasticsearch.conf
        input {
        kafka {
        topics => ["filelog"]
        bootstrap_servers => "hadoop110:9092"
        }
        }

        output {

        elasticsearch {
        hosts => ["hadoop110:9200"]
        }
        }
    • 启动logstash

      • 1
        logstash  -f  conf/kafka-elasticsearch.conf
  • 配置kibana

    • 进入到kibana的解压文件中

      • 1
        cd kibana-6.4.3-linux-x86_64
    • 修改一些需要的变量配置

      • 1
        2
        3
        4
        5
        cd confog
        vi kibana.yml
        server.port: 5601
        elasticsearch.url: "http://hadoop110:9200"
        根据实际需要修改
    • 启动kibana

      • 1
        bin/kibana

启动检查效果

  • 进入到kibana的web界面查看效果
    • 1566799108735
    • 看到我们创建的索引已经存在了就说明我们的真个过程已经成功了

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议

本站使用 Blog Zhao 作为主题 , 总访问量为 次 。
载入天数...载入时分秒...