Dragonfog.net

## Release가 가장 최신이 파일 다운로드 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz ## 압축해제 tar xvfz node_exporter-1.7.0.linux-amd64.tar.gz ## systemctl service 파일 생성 vi /etc/systemd/system/node_exporter.service [Unit] Description=Node Exporter After=network.target [Service] User=root Group=root Type=simple ExecStart=/app/mon/export/node_ex..

Sentry 23.1.X 버전 이상에서 All Events가 일정 갯수 이상 초과시 노출 안되고 react (502 error) 발생하는 문제 Nginx 버퍼가 작아서 발생하는 문제 이며 기본 nginx 설정값에 아래 값 추가 해주어야 함 proxy_buffers 16 16k; proxy_buffer_size 32k; 참고 : https://github.com/getsentry/self-hosted/issues/1927

Sentry의 SENTRY_EVENT_RETENTION_DAYS 기본값을 90 일 이며 Disk 가용량 및 내부적으로 필요시에 따라 조정이 필요함 수동으로 실행도 가능하지만 여기에서는 SENTRY_EVENT_RETENTION_DAYS를 변경하여 cron 스케줄 변겨을 진행할 예정 docker-compose.yml 파일을 보면 아래와 같이 Sentry cleanup에서 crondl 동작 우선 Sentry root 폴더의 .env 파일에서 SENTRY_EVENT_RETENTION_DAYS=30으로 수정 하고 이를 적용하기 위해서는 아래 명령어를 실행 docker-compose up -d sentry-cleanup 이후 docker exec -it sentry-sentry-cleanup-1 /bin/bash ..

zabbix와 Grafana 연동시 Group/HOST를 /*.*/로 데이터를 가져올경우 데이터 사이즈 및 php 메모리가 부족하여 500error가 발생되는 경우가 있다 이경우에는 아래와 같이 조치 하면 된다. . apache+php의 경우 php.ini 파일 수정 . php-fpm 을 사용할경우 php-fpm.d/*.conf 파일을 수정해주면된다. php Memory limit 설정 /etc/php.ini 설정 파일의 memory_limit 값 수정 (default : 128M) memory_limit = 1024M OR /etc/php-fpm.d/zabbix.conf 파일에서 php_value[memory_limit] 값 수정 default : 128M) php_value[memory_limit] ..

사전 체크 사항 : Docker(docker : 18.02.0 +) / docker-compose 가 설치 되어 있어야함 설치 테스트 환경 OS : CentOS 7.9.2009 (cpu 8 core / Memory 16 GB) ##pinpoin 설치 (docker : 18.02.0 +) https://github.com/pinpoint-apm/pinpoint-docker ## 작업디렉토리 생성 mkdir server ## git clone git clone https://github.com/pinpoint-apm/pinpoint-docker.git ## image pull 및 start cd pinpoint-docker/ docker-compose pull && docker-compose up -d ##..

. Zabbix_sender는 성능데이터를 zabbix 서버로 보내는데 사용할수 있는 명령어 유틸리티 입니다. zabbix_senter는 일반적으로 가용성 및 성능데이터를 주기적으로 zabbix 서버에 보내기 위한 사용자 스크립트에서 사용됩니다. 결과를 zabbix 서버 또는 zabbix 포록시로 직접 전송하려면 트래퍼 항목 유형을 구성해야 합니다. ex) Running zabbix_sender shell> zabbix_sender -z zabbix -s "webserver" -k db.connections -o 43 option: -z : zabbix 서버 호스트 (IP or hostname) -s : 모니터링되는 호스트 (zabbix에 등록되어 있는 호스트) -k : 아이템 키 -o : 아이템 값 Z..

현재 300대 이상의 서버와 네트워크 장비를 Zabbix를 통해 성능 모니터링을 하고 있습니다. 점점 서비스가 추가되고 모니터링 아이템 항목이 증가함으로써 기본적인 Zabbix 서버 데몬의 부하가 증가하며 Zabbix poller processes more than 75% busy 문제가 발생되어 이 문제를 해결하는 방법에 대해서 알아 보겠습니다. 문제발생 Zabbix poller processes more than 75% busy 알람 발생됨 (사용량이 높음) 확인해보니 StartPollers가 Default로 운영되고 있었음... (Default : StartPollers=5 / StartPollersUnreachable=1) StartPollers는 데이터를 수집하는 내부 프로세스로 기본값이 5 입..

Zabbix Agent가 설치된 장비중 Disk I/O가 많은 서버의 경우 위와 같은 알람을 받을수 있다 디스크 read / write 응답시간이 20ms를 초과해서 발생되는 건으로 서버별로 임계치를 개별 설정할수 있다. 관련 Macro 는 아래와 같다 {$VFS.DEV.READ.AWAIT.WARN} - 디스크 읽기 평균 응답시간 (default : 20 ms) {$VFS.DEV.WRITE.AWAIT.WARN} - 디스크 쓰기 평균 응답시간 (default : 20 ms) 설정방법은 해당 호스트의 매크로에 설정 값을 입력해주면 된다.

가상머신에 대한 모니터링 지원은 Zabbix Version 2.2.0 부터 지원 필요한 최소 VMwareCenter or vSphere 버전은 5.1 가상 머신 모니터링을 사용하기 위해서는 Zabbix를 --with-libxml2 및 --with-libcurl 컴파일 옵션 으로 컴파일 해야함 우선 아래 항목에 대하여 zabbix server에 추가후 재기동 해준다. vi /etc/zabbix/zabbix_server.conf StartVMwareCollectors=10 VMwareFrequency=60 VMwarePerfFrequency=60 VMwareCacheSize=1G VMwareTimeout=30 호스트 등록 호스트명 템플릿 : VMware (zabbix6 LTS 기준 - 버전별로 네이밍이 다름..

. Sentry를 운영하다보면 디스크의 공간 부족으로 데이터베이스를 지워야 하는 경우가 있습니다. 일반적으로 Sentry의 경우 sentry cleanup을 cron으로 등록하여 배치 형태로 운영하는게 좋기는 하나 리퀘스트의 증가 등으로 갑작스럽게 데이터가 증가했을 경우에는 아래와 같은 방법으로 진행하면 됩니다. # worker container에 접속 docker-compose exec worker bash # 30일전 모든 이벤트 정리 sentry cleanup --days 30 # Database container 접속 docker-compose exec postgres bash #DB접속 psql -U postgres # VACUUM 진행시 작업간 table lock이 발생됨 VACUUM FULL;