Cloud

실서비스를 운영하면 서버의 백업과 관리는 빠져서는 안될 필수불가결한 항목이다. 이번에는 AWS 서비스인 AWS Backup을 통해 ec2 인스턴스들에 대해 백업 작업을 진행해본다. AWS Backup AWS내의 서비스 및 일부 온프레미스의 App들에 대한 데이터들의 백업을 관리하고 자동화할 수 있는 중앙집중식 완전 관리형 서비스이다. 백업할 리소스를 지정해 직접 백업 작업을 진행할 수 있고(온디맨드 백업), 리소스와 백업 계획(일정)을 지정해 자동으로 백업을 진행할 수도 있다. Backup 서비스에서는 백업 볼트라는 개념이 존재한다. 백업볼트는 간단히 말해 백업본이 저장될 컨테이너로 볼 수 있다. 백업 서비스를 이용하기 전에 최소 1개의 vault를 가져야한다. (기본값 Default 백업볼트가 있음) ..

운영중인 웹서버 인스턴스에 대해 개발인원이 종종 SSH 접근을 해 작업을 하는 과정이 있다. SSH 접속 이상 징후를 모니터링하기 위해 SSH 접근에 대한 알림을 받고 싶다는 요청이 들어왔었다. 요청 : 인스턴스의 SSH 접속이력을 실시간 알림으로 수신 실시간 알림을 받는 서비스는 사내에서 사용중인 메신저인 Slack을 이용하기로 했다. 이 아키텍쳐를 구성하는 과정은 크게 다음과 같이 이루어져있다. 인스턴스의 SSH 접속로그를 cloudwatch로 뽑아오기 위한 Agent 설치 Slack으로 알림을 쏴줄 lambda 함수 생성 Cloudwatch에 쌓인 접속로그를 바탕으로 SSH 연결이 수립된 시점의 로그 필터링 필터링된 로그를 lambda로 전송 (lambda 트리거 설정) lambda 코드 작성 1번..

오픈한 서비스를 대상으로 보안관제에 대한 차원으로 WAF를 붙였었다. 이때, 발생한 로그들은 모두 Cloudwatch log 그룹으로 흘러들어가도록 했고, datadog forwarder를 통해 datadog으로 다시 흘러가도록 구성을 했었다. 이렇게 모니터링 인프라는 어느정도 완성이 되었지만, 비용에 대한 문제가 슬금슬금 다가오기 시작했다. 기본적으로 datadog이 비싼감이 없지않아 있었지만(Datadog의 과금 정책을 아직도 완전히 이해할 수가 없음...), 그 외에도 AWS 내부에서 외부로 데이터를 전송한다는 것에 대한 부담도 어느정도 존재했다. 그렇게 방법을 찾던 중, cloudwatch의 자체 제공 서비스 중 하나인 'log insights'를 발견하게 되었다. Cloudwatch Log In..

2023 여름방학 Todo 리스트 중 하나였던 SAA 취득을 했다. SAA를 따야겠다고 생각한것은 올해 초 쯤부터 했지만, 학기와 회사 일을 병행하다보니 그렇게 집중적으로 공부할 시간이 나오지 않았다. 7월초에 여행을 다녀오자마자 바로 공부를 시작했고, 하루 1시간 정도만 SAA 공부에 투자했다. AWS는 만져본지 햇수로는 어느새 1년 반정도를 넘어가기도 했고, 회사 일하는 과정에서 만져본 서비스들(ec2, VPC, cloudwatch, Route53 등등)이 몇가지 있어서 이 경험들이 수월하게 공부하는데 적용되었던것 같다. 시험 정보 관련 총 문항 수는 65문항으로, 모두 다지선다형 객관식으로 이루어져있다. (2개를 선택하는 문항도 존재) 결론부터 이야기하면 덤프에서 5~60% 정도 그대로 출제된다. ..

Cloudwatch에서는 Agent의 설치를 통해 컴퓨팅 서비스에 대한 상세한 모니터링을 지원한다. EC2 인스턴스와 같은 AWS 자체 컴퓨팅 서비스부터, on-premise 환경의 서버에도 Agent를 설치해 Cloudwatch에서 모니터링이 가능하다. 간단하게 Ubuntu 인스턴스에 Cloudwatch Agent를 설치 후, SSH 접근 로그와 같은 내용들의 모니터링을 진행해본다. IAM role 연결 Cloudwatch Agent는 인스턴스로부터 데이터를 받아와 Cloudwatch에 metric을 write하므로, 이에 대한 권한이 필요하다. 인스턴스에 Cloudwatch Agent를 사용하기 위해 IAM role을 연결해주어야한다. IAM > 역할 > 역할 만들기 EC2에 붙일 Role임으로 EC..

배경 클라우드 상에 운영중인 외부 서비스의 로그 모니터링을 진행하고자 했다. 모니터링 할 대상은 WAF 로그, ALB 로그, DNS Query 로그가 있었고, 추가로 해외 IP 접근 이력, 관리자 페이지에 접근한 IP 등을 모니터링 해줄 것을 요청 받았다. 사실 Cloudwatch를 통해 모니터링이 가능하지만, 더 깔끔한 UI/UX와 모니터링 방법을 원하셨고, Splunk나 ELK의 구축에는 시간도 오래걸리고, 결정적으로 사내에 모니터링 인프라를 구축할 pc가 없었다. 이에 따라 로그모니터링을 위한 외부 서비스를 추천해주셨고, 그것이 바로 DataDog였다. 서비스 소개 DataDog는 on-premise환경부터 클라우드 환경의 서버까지 통합된 모니터링(로그,이벤트)을 할 수 있는 서비스로, 깔끔한 UI..

캡스톤 프로젝트로 인해 GPU 서버를 사용해야 할 일이 생겼다. 모델 학습에는 내 본체의 GPU를 이용해 어떻게 학습 모델을 추출하기는 했으나, 이걸 웹서버 백엔드단으로 올려서 이미지를 받고 이미지내에서 객체 검출을 해 반환을 해줘야 했다. 학교가 네이버 클라우드(ncloud)와 협약을 맺어서 무료 크래딧 20만원을 사용할 수 있다고 해서 찾아봤지만, GPU 서버는 기본적으로 개인계정에서 생성을 제한한다고 한다. 개인계정에서 GPU서버, 고사양 CPU서버등의 고가용성 서버를 사용하기 위해서는 신청서를 작성해 제출하고, 또 서버 결제에 크레딧과는 다른 재화인 '코인'을 사용해서만 결제를 할 수 있다고 한다. 단순히 tensorflow 테스트를 할 뿐인데 신청서를 작성하고 코인 재화를 선결제해야하는 등의 작..

온프레미스 환경을 클라우드 환경으로 이관하는 작업을 받아서 하는 중, sendmail을 통해 메일을 보내는 기능도 있다는 것을 확인했다. 메일 전송을 사용자의 계정 패스워드 찾기, 회원가입시 welcome 메일 전송 등에 이용하고 있었다. 이 부분도 그냥 다른 작업과 마찬가지로 ec2에 sendmail 설치 후 설정만 해주면 온프레미스 환경과 동일하게 사용할 수 있을것이라고 생각했었다. ※ EC2의 25번 포트 block AWS에서는 EC2, Lightsail을 비롯한 컴퓨팅 서비스에 대해 아웃바운드 트래픽에 대해 25번 포트의 사용을 제한하고 있다. 25번 포트 이외의 메일 포트인 465나 587을 사용하는 방법도 있지만, 25번 포트를 사용하기 위해서는 아래 AWS 가이드 대로 AWS 측으로 요청을 ..