Re: RES: RES: Nagios em rede GRANDE, BEM GRANDE.

Duas threads sobre o mesmo assunto na lista oficial

http://thread.gmane.org/gmane.network.nagios.user/67574
http://thread.gmane.org/gmane.network.nagios.user/67561


2010/5/19 <[email protected]>

> Marcel,
>
> Show de bola.
> Ajudou bastante.
> Vou analisar cada item e verificar como aplicar no Nagios aqui.
>
> A você e a todos que tem me respondido (Jotagera, Shine e todos os outros),
> MUITO OBRIGADO.
>
> Diramos
>
> -----Mensagem original-----
> De: Marcel [mailto:[email protected]]
> Enviada em: terça-feira, 18 de maio de 2010 15:18
> Para: Unofficial Brazilian (Portuguese) Nagios Users List
> Assunto: Re: [Nagios-users-br] RES: Nagios em rede GRANDE, BEM GRANDE.
>
> É configuração distribuída? Quando trabalhei em um grande provedor,
> tínhamos
> 20k serviços em ~3k servidores. A partir de 5k serviços o nagios já
> começava
> a apresentar latencia de checagem. Partimos pra solução distribuída,
> primeiro no padrão nagios, mantendo 7 servidores slaves e 2 masters
> replicados.
>
> Assim vc distribui a carga do Nagios.
>
> Quando estávamos chegando perto de 15k serviços, tivemos mais problemas de
> performance, principalmente no broker_module ndo2db, que não escalava os
> updates para o banco.
>
> Daí mudamos várias partes da solução, tiramos o módulo NEB padrão,
> construímos um assíncrono para updates no banco apenas se os status updates
> estivessem diferentes, ou seja, nas mudanças de estado.
>
> Assim conseguimos utilizar normalmente o banco ndo, enquanto que o consumo
> de banda de rede foi otimizado.
>
> Depois de alguns meses, chegando perto de 20k serviços, tivemos que partir
> para utilização do DNX. Aí foi mais complicado acertar, com o crescimento
> do
> número de slaves para 10, manter as configurações dos slaves se tornou uma
> tarefa complicada, que tomava muito tempo e era muito sujeito a erros
> manuais. Construímos um sistema para plugar em nosso banco CMDB para
> extrair
> as informações dos ativos e transformar em configurações nagios, com
> automação de vários processos.
>
> Aí a coisa ficou tão boa que o trabalho ficou sem graça e eu saí de lá para
> outras oportunidades! rs
>
> A escalabilidade do nagios é um tanto complicado de se alcançar, mesmo o
> nagios sendo bastante flexível, o aumento do número de ativos monitorados
> implica em um crescimento exponencial na manutenção do parque de
> monitoramento.
>
> Ando avaliando o shinken, que é uma re-implementação do nagios em python,
> com as melhores práticas para atingir escalabilidade e estabilidade e
> facilidade na manutenção do parque. Está bastante cru ainda mas possui um
> potencial bem interessante para grande escala de monitoramento.
>
> Para tentar resolver o seu problema de latẽncia, dê uma lida nas dicas de
> grandes instalações na documentação, o nagios.cmd vira um gargalo a partir
> de um determinado ponto, então uma tentativa é aumentar o check_period,
> digamos de 5 para 10 minutos, e ver se resolve.
>
> Alguns serviços não precisam ser monitorados de 5 em 5 minutos. Tente criar
> hierarquias de serviços a serem monitorados, os críticos recebem mais
> atenção e têm um período menor de checagem, enquanto que outros serviços
> podem ter uma frequência baixa de checagem, digamos, a cada meia hora.
>
> É uma tarefa hercúlea se não utiliza massivamente templates, hostgroups e
> servicegroups, mas ataca o seu problema de latência se conseguir diminuir o
> número de checagens simultâneas, criando uma árvore hierárquica de
> prioridade e urgência/necessidade da informação mais up-to-date.
>
> Espero ter jogado alguma luz para resolução deste problema.
>
> []s
>
> 2010/5/17 <[email protected]>
>
> > Grande Jotagera,
> >
> > Não uso o ndobd.
> > Apenas o NagiosQL prá administração do Nagios.
> > Meu parâmetro max_concurrent_checks=0
> >
> > Pauleira. 6000 serviços.
> > Tô achando que o Nagios arriou.
> >
> > Diramos
> >
> >
> > -----Mensagem original-----
> > De: Jose Oliveira [mailto:[email protected]]
> > Enviada em: segunda-feira, 17 de maio de 2010 21:31
> > Para: Unofficial Brazilian (Portuguese) Nagios Users List
> > Assunto: Re: [Nagios-users-br] Nagios em rede GRANDE, BEM GRANDE.
> >
> > Olá amigo
> >
> > Tem um parametro no qual voce especifica quantas checagens o Nagios deve
> > disparar em paralelo. Assim, esta quantidade limita a capacidade do
> Nagios
> > e
> > ele enfileira as checages. Eu, que tenho somente 1000 serviços, deixo
> este
> > careta com zero ou seja, sem limite de paralelismo...
> >
> > Deve ser este seu problema...
> >
> > Voce está salvando dados no Mysql com ndodb ou não?
> >
> >
> >
> > Em 17 de maio de 2010 18:09, <[email protected]> escreveu:
> >
> > > Bem, pessoal.
> > >
> > > Seguindo as diversas dicas do pessoal daqui, tenho obtido avanços
> > > significativos na empreita de instalar o Nagios em larga escala.
> > > Mudei diversos parâmetros dos arquivos de configuração, inclusive de
> > > compilação. Passei a usar Perl embdded, etc.
> > > Estou só terminando os ajustes finos, prá depois fazer um resumo e
> postar
> > > aqui, para uso de outros futuros "sortudos" que enfrentem o mesmo
> > problema
> > > que eu.
> > > Por ora, é o seguinte:
> > >
> > > Estou com problema de atraso nas checagens de serviços.
> > > Configurei o service template para fazer a checagem de 5 em 5 minutos.
> > > Mas, na prática, quando eu listo os serviços na página do Nagios, e
> mando
> > > ordenar por ordem de last time check, tem serviço cuja última checagem
> > foi
> > > de 1 hora atrás (coluna Last check).
> > > Por outro lado, em Performance Info, obtenho o seguinte quadro sobre
> > > services:
> > >
> > > Time Frame Services Checked
> > > <= 1 minute: 27 (0.4%)
> > > <= 5 minutes: 1598 (25.3%)
> > > <= 15 minutes: 5169 (81.7%)
> > > <= 1 hour: 6296 (99.5%)
> > > Since program start:   6296 (99.5%
> > >
> > > A meu ver, o quadro acima indica que todos os serviços foram checados
> em
> > > aproximadamente 20 minutos.
> > >
> > > Então eu questiono:
> > >
> > > 1 - Porque essa demora de 1 hora entre uma checagem e outra de serviço?
> > > Aqueles horários que aparecem na coluna "Last check" realmente indicam
> o
> > > horário da última checagem?
> > > 2 - Existe algum parâmetro a ser configurado no Nagios.cfg que melhore
> > essa
> > > performance, diminuindo o tempo entre checagens?
> > > 3 - Porque a checagem não é feita a cada 5 minutos, como configurado no
> > > template de serviço?
> > > 4 - Li algo sobre paralelização de checagem de serviço. Seria o caso?
> > Como
> > > usar isso?
> > >
> > > Lembro, mais uma vez, que o quesito hardware está tranqüilo, com picos
> de
> > > utilização de CPU e memória de no máximo 25%.
> > >
> > > Aguardo,
> > >
> > > Grato desde já.
> > >
> > > Diramos
> > >
> > >
> > > -----Mensagem original-----
> > > De: Shine [mailto:[email protected]]
> > > Enviada em: quarta-feira, 5 de maio de 2010 20:56
> > > Para: Unofficial Brazilian (Portuguese) Nagios Users List
> > > Assunto: Re: [Nagios-users-br] RES: Nagios em rede GRANDE, BEM GRANDE.
> > >
> > > O uso do protocolo TCP é mais confiável que UDP simplesmente porque o
> > > protocolo é orientado a conexão. Em palavras mais simples, ele faz a
> > > recuperação de pacotes de rede perdido no próprio protocolo, enquanto
> > > que o UDP depende da aplicação conferir e fazer a recuperação da
> > > informação.
> > > Mas as perdas existem tanto com o uso de um ou outro protocolo. E
> > > dependendo da escala de monitoração, usar TCP para contornar uma
> > > deficiência da rede pode trazer outros problemas.
> > >
> > > O SNMP pode oscilar não apenas por causa da rede, mas tbm pode falhar
> > > se o agent estiver com problemas. Existem técnicas adequadas para cada
> > > caso, mas se vc não tem uma conexão confiável por rede remota, melhor
> > > fazer a monitoração por um agent na rede local e fazer o relay dos
> > > resultados. Claro que estamos falando aqui de um evento de monitoração
> > > e não um alarme (notification, trap) no SNMP.
> > >
> > > Então para uma monitoração adequada, precisamos primeiro ver se a
> > > condição que gera os resultados indesejados é a rede e aplicar
> > > correções na rede ou mudar a topologia do agente Nagios para contornar
> > > a situação, por exemplo usando NSCA. Se a situação é mais devido à
> > > demora da aplicação SNMP do host monitorado, ajustar parâmetros de
> > > timeout pode ajudar.
> > >
> > > Um outro ponto a ser considerado é quantos threads podem ser rodados
> > > simultaneamente. Em se usando uma aplicação com uma resposta não muito
> > > imediata como o SNMP, faz sentido ter a máxima quantidade de threads
> > > simultâneos, uma vez que a interação com o host monitorado demora bem
> > > mais que uma interação com ping (por exemplo). Como vc usa o valor
> > > default, então não há limitações... mas vale a pena checar. Tem q ser
> > > zero. ;)
> > >
> > > sd,
> > > Edgar
> > >
> > > Em 5 de maio de 2010 12:19, Marcel <[email protected]> escreveu:
> > > > Só alterar a conf do snmpd para escutar tanto udp quanto tcp, que é
> > mais
> > > > caro mas não há perda de pacotes!
> > > >
> > > > 2010/5/5 <[email protected]>
> > > >
> > > >> Alexandre,
> > > >>
> > > >> Grato pela resposta.
> > > >> Ocorre que, pela política imposta pela área de segurança da empresa,
> > não
> > > é
> > > >> permitido instalação de qualquer arquivo no cliente monitorado.
> > > >> Ao que me parece, para que o NRPE funcione, tem que instalar e
> > > configurar o
> > > >> cliente, certo?
> > > >> Ou estou errado?
> > > >>
> > > >> Diramos
> > > >>
> > > >> -----Mensagem original-----
> > > >> De: Alexandre Gorges [mailto:[email protected]]
> > > >> Enviada em: quarta-feira, 5 de maio de 2010 09:53
> > > >> Para: Unofficial Brazilian (Portuguese) Nagios Users List
> > > >> Assunto: Re: [Nagios-users-br] Nagios em rede GRANDE, BEM GRANDE.
> > > >>
> > > >> Benedito.
> > > >>
> > > >> Eu tinha esses problemas de timeout com snmp também. O snmp, por
> usar
> > > udp,
> > > >> é
> > > >> muito sensível a pequenas oscilações na rede.
> > > >>
> > > >> Passei a usar NRPE no lugar do snmp. Os problemas foram totalmente
> > > >> resolvidos e permitiu outros tipos de verificações nos sistemas e o
> > uso
> > > do
> > > >> eventhandler para reiniciar processos.
> > > >>
> > > >>
> > > >> []'s
> > > >> Alexandre Gorges
> > > >> http://www.google.com.br/profiles/algorges
> > > >> MSN/Gtalk/iCHAT/Skype/Buzz: [email protected]
> > > >> ICQ: 2031408
> > > >>
> > > >>
> > > >>
> > > >>
> > > >> > From: <[email protected]>
> > > >> > Reply-To: "Unofficial Brazilian (Portuguese) Nagios Users List"
> > > >> > <[email protected]>
> > > >> > Date: Tue, 4 May 2010 18:23:13 -0300
> > > >> > To: <[email protected]>
> > > >> > Subject: [Nagios-users-br] Nagios em rede GRANDE, BEM GRANDE.
> > > >> >
> > > >> > Prezadas e prezados,
> > > >> >
> > > >> > Trabalho numa empresa estatal BEM GRANDE, em se tratando de
> > quantidade
> > > de
> > > >> > servidores e ativos de rede.
> > > >> > Preciso de dicas para ajustar os parâmetros do Nagios para
> monitorar
> > > >> hosts e
> > > >> > serviços em larga escala.
> > > >> > Até hoje, usei o Nagios para monitorar 700 servidores e 2000
> > serviços
> > > na
> > > >> > filial em que trabalho.
> > > >> > Uso o Nagios Core 3.20, que tem funcionado legal para estes
> > > >> quantitativos.
> > > >> > Máquina com 4 processadores e 4 Gb de memória.
> > > >> > Todas as checagens são feitas via SNMP, através dos plugins do
> site
> > > >> manubulom,
> > > >> > do nagiosexchange.
> > > >> >
> > > >> > Ocorre que surgiu a demanda para implementar o Nagios nas demais
> > > filiais,
> > > >> > sendo que algumas têm muito mais hosts e serviços que a minha.
> > > >> > A maior, tem 2000 hosts e 6000 serviços.
> > > >> > Notem que será um servidor Nagios por filial.
> > > >> >
> > > >> > Na maior das filiais, incluí todos os 2000 hosts e 6000 serviços.
> > > >> > A checagem de hosts está funcionando OK.
> > > >> > Mas as de serviços, apresentam a mensagem "Nagios check time-out"
> em
> > > >> muitos
> > > >> > casos.
> > > >> > A máquina está com 16 processadores e 16 Gb de memória.
> > > >> > Portanto, não acredito ser problema de insuficiência de hardware.
> > > >> >
> > > >> > Deixei os parâmetros default do nagios.cfg.
> > > >> >
> > > >> > Resumindo:
> > > >> >
> > > >> > - Preciso de dicas de como melhorar a performance do Nagios.
> > > >> > - Existem parâmetros específicos no nagios.cfg, a serem alterados,
> > > para
> > > >> > melhorar a performance em redes grandes como a minha?
> > > >> >
> > > >> > Tenho lido sobre "hosts scalations e service scalations", mas não
> > > entendi
> > > >> > muito.
> > > >> > Será que resolveria meu problema?
> > > >> >
> > > >> > Grato, desde já, por qualquer ajuda.
> > > >> >
> > > >> >
> > > >> > Diramos
> > > >> >
> > > >> >
> > > >> >
> > > >> >
> > > >>
> > >
> >
> ------------------------------------------------------------------------------
> > > >> > --
> > > >> > [email protected] mailing list
> > > >> > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > >> > Wiki: http://nagios-br.sf.net/wiki
> > > >>
> > > >>
> > > >>
> > > >>
> > > >>
> > >
> >
> ------------------------------------------------------------------------------
> > > >> --
> > > >> [email protected] mailing list
> > > >> https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > >> Wiki: http://nagios-br.sf.net/wiki
> > > >>
> > > >>
> > > >>
> > >
> >
> ------------------------------------------------------------------------------
> > > >> --
> > > >> [email protected] mailing list
> > > >> https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > >> Wiki: http://nagios-br.sf.net/wiki
> > > >>
> > > >
> > >
> >
> ------------------------------------------------------------------------------
> > > > --
> > > > [email protected] mailing list
> > > > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > > Wiki: http://nagios-br.sf.net/wiki
> > > >
> > >
> > >
> > >
> >
> ------------------------------------------------------------------------------
> > > --
> > > [email protected] mailing list
> > > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > Wiki: http://nagios-br.sf.net/wiki
> > >
> > >
> > >
> >
> ------------------------------------------------------------------------------
> > >
> > > --
> > > [email protected] mailing list
> > > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > > Wiki: http://nagios-br.sf.net/wiki
> > >
> >
> >
> >
> > --
> > Abraços
> > JGeraldo
> >
> >
> ------------------------------------------------------------------------------
> >
> > --
> > [email protected] mailing list
> > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > Wiki: http://nagios-br.sf.net/wiki
> >
> >
> >
> ------------------------------------------------------------------------------
> >
> > --
> > [email protected] mailing list
> > https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> > Wiki: http://nagios-br.sf.net/wiki
> >
>
> ------------------------------------------------------------------------------
>
> --
> [email protected] mailing list
> https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> Wiki: http://nagios-br.sf.net/wiki
>
> ------------------------------------------------------------------------------
>
> --
> [email protected] mailing list
> https://lists.sourceforge.net/lists/listinfo/nagios-users-br
> Wiki: http://nagios-br.sf.net/wiki
>
------------------------------------------------------------------------------

-- 
[email protected] mailing list
https://lists.sourceforge.net/lists/listinfo/nagios-users-br
Wiki: http://nagios-br.sf.net/wiki