로그 수집 방안 논의

[gdbs1107]

로그를 수집하는 방안에 대해서 논의합니다

[gdbs1107]

logback과 ELK를 활용한 로그 수집

https://velog.io/@songjseop/springboot-elk-log-monitoring

[gdbs1107]

Filebeat를 활용하면 배포환경과 로컬환경 모두의 로그를 하나의 Kibana에서 수집이 가능하겠네요.

[gdbs1107]

되게 알기 쉽게 정리된 글이 있길래 가져왔습니다.
찾아보면서 느끼는 점은 기존에 메트릭 수집으로 사용하던 Grafana와 ㄱ로그 수집을 위한 Kibana가 분리되면, 너무 모니터링 툴이 파편화되지 않을까 걱정이되네요.

하지만 ELK를 적용하여 추후 큐레이션 기능의 조회 최적화 등까지 확장 할 수 있다는 점은 매력적으로 다가오는 것 같습니다.

https://rhgustmfrh.tistory.com/173

[gdbs1107]

단순 elk로 로그를 수집하는 방식을 로컬에서 구현해봤습니다.

구현에 큰 어려움은 없고 세부적인 디테일만 잡아가면 보기 쉽게 로그를 저장 할 수 있을 것 같지만, 서버 사양의 문제가 존재합니다.
저는 ELK와 houme image를 모두 docker network로 연결하여 한 번에 관리하는 방식으로 구현하였습니다.

그러다보니, 로컬의 자원을 잡아먹게됩니다. 아무래도 도커가 host os기반의 컨테이너 환경이다보니, CPU는 물론이거니와 로그가 쌓일 수록 디스크와 RAM을 잡아먹게돼요.
이를 해결하려면 Elastic Search의 AWS 제품인 AWS OpenSearch를 이용 할 수 밖에 없어 질 것 같은데요. hmmm...일단 로그수집 올려보고 메모리가 부족한게 체감이 되는 시점에 AWS OpenSearch를 도입하는 것도 좋을 것 같습니다.

[gdbs1107]

Kibana -> Grafana Loki 전환기: 우아한 형제들

https://techblog.woowahan.com/14505/

[gdbs1107]

다시보니 Elastic Search의 인덱스와 샤드의 증가로 인한 성능 이슈가 주된 문제였네요. ELK에서 Elastic Search까지 전환하는 글인 것 같습니다.

[PBEM22]

우선, 제 생각에는 ELK Stack은 현재 저희 서버 스펙에서 구동하기에는 리소스 소모가 커서 안정성에 영향을 줄 위험이 있습니다!

대안으로 AWS CloudWatch Logs와 Grafana Loki (SaaS)를 고려해보았는데, 저는 Grafana Cloud의 Loki를 도입하는 것을 추천합니다.

• 비용 절감: Grafana Cloud Free Tier 사용 시 월 50GB 로그까지 무료입니다. (저희 규모에서는 충분할것같습니다.)
• 리소스 효율: SaaS 방식이라 우리 서버에 DB나 수집기를 설치할 필요가 없어 서버 부하가 '0'에 가깝습니다.
• 편의성: 이미 모니터링 툴로 Grafana를 사용 중이므로, 로그와 메트릭을 한 화면에서 볼 수 있어 러닝 커브가 낮습니다.

물론 AWS CloudWatch도 설치가 간편하고 안정적이라는 장점이 있지만, 비용 효율과 시각화 편의성을 고려했을 때 Loki가 더 나은 선택지로 보입니다.

참고 링크:

• Grafana Cloud 혜택
• Loki 도입기 블로그

[gdbs1107]

CloudWatch를 활용한 구현 방법이 굉장히 간단하고 로그 기반의 분석에도 좋을 것이라고 생각되지만, 역시 비용이 발생하는게 문제가 되겠네요...CloudWatch의 비용을 확인해봐야 할 것 같습니다. kibana에서 할 수 있는 대부분의 일들을 매우 쉽게 구축 할 수 있는게 메리트인 것 같네요.

로그 (CloudWatch Logs)
로그 수집(Ingestion), 저장(Storage), 분석(Query) 등 사용량 기반 과금. 기본 무료 할당량 뒤 초과분에 대해 과금.
로그 저장(Storage)
보관된 로그의 GB-month 단위 저장 요금이 별도로 부과됨.
-> 서버 로그가 하루 1GB 생성되면 → 한 달 약 30GB → ingestion으로만 $15 정도라고 하네요. 비용이 만만치 않게 나가는 것 같습니다.

그라파나 Loki는 구축이 다소 까다롭네요. 시간날때 틈틈히 구현해보는게 좋을 것 같습니다.
https://jibinary.tistory.com/355