Como girar e excluir registros antigos do Elasticsearch após um mês

Os índices do Elasticsearch podem se encher rapidamente com gigabytes de dados, especialmente se você estiver registrando de vários servidores muitas vezes por segundo. Para gerenciar dados, Elasticsearch

Exclusão usando o método “ Excluir por consulta ” API

O Elasticsearch oferece uma opção “ Excluir por consulta ” API, que removerá todos os documentos correspondentes a uma consulta. Você pode usar isso para corresponder carimbos de data / hora maiores ou menores que uma determinada data, embora de forma um pouco grosseira:

 POST indexname / _delete_by_query {"query": {"range": {"@timestamp": {"gte": "09/02/2020", "lte": "11/02/2020" , "format": "dd / MM / aaaa || aaaa"}}}} 

No entanto, essa consulta é muito lenta. Ele é dimensionado linearmente com o tamanho do documento. Se você tiver documentos suficientes para girá-los para evitar que sua instância do Elasticsearch pegue fogo, provavelmente não poderá &’ excluir registros desta forma e precisará usar índices baseados em tempo.

Um método melhor: índices baseados no tempo

No Elasticsearch, você não costuma usar índices diretamente. Seus painéis usam padrões de índice, que podem corresponder a vários índices de uma vez. A razão para isso é que os próprios índices podem atuar como grupos de dados, como agrupamento por dia ou mês.

É muito mais fácil gerenciar e girar índices inteiros, portanto, se você tivesse cada processador configurado para adicionar a data atual ao nome do índice,

índice

: "nome do índice -% {+ aaaa. MM. dd}" 

Claro, isso requer que você configure o pipeline de ingestão para gravar no índice diário. Você precisará configurar seus registradores para ingerir dados neste formato.

Depois de fazer isso, você pode criar uma nova Política de Ciclo de Vida do Índice para lidar com a substituição automática de dados. Esta opção está disponível em “ Gerenciamento de pilha ” no painel Kibana.

Você pode configurar várias fases de rollover de índice, mas para esse propósito é mais fácil apenas desabilitar o rollover e habilitar a fase de exclusão, configurando-o para remover índices anteriores a X dias.

Então, para realmente aplicá-lo a um modelo de índice, você &’ precisará selecionar “ Adicionar política ao modelo de índice ” em “ Ações ” na lista de políticas de ciclo de vida.

Selecione o padrão de índice que deseja adicionar, e a política deve entrar em vigor imediatamente e seus índices antigos no padrão serão excluídos.