Message Queue에 대한 단상 & Beanstalkd on Ubuntu 16.04 삽질기

Development / SQS / devops / Message Queue / Beanstalkd

우리는 기존에 인프라 간 느슨한 결합 구조를 위한 Message Queue로 AWS SQS(Simple Queue Service)를 오랫동안 사용해왔다. SQS의 장점은 무수하다. 몇 개를 꼽아보자면 일단 AWS 완전 관리형으로 Ops 포인트가 들어가지 않고, 매우 안정적이고, AWS Console에서 UI로 관리 및 모니터링 되고, Cloudwatch와 연동하여 Auto Scaling 등에 바로 활용할 수 있고,…

외부 Online DDL Tool 들(pt-online-schema-change, oak-online-alter-table)에 대한 단상

Development / MySQL / DB / devops / OnlineDDL / pt-online-schema-change / oak-online-alter-table

급하게 무중단으로 Table Schema를 바꿔야 할 때, 어김 없이 pt-online-schema-change와 oak-online-alter-table을 사용하고픈 유혹에 빠진다. 결국 이 툴들은 MySQL 자체 Online DDL(ALGORITHM = INPLACE)이 불가능 할 때 최후의 수단으로 사용하는 것인데, (INPLACE 가능/불가능한 경우가 아주 아주 잘 정리된 페이지) 웃긴게, 테이블에 FK가 걸려있으면 이 외부 Online DDL 툴을 사용할…

DevOps 그리고 R&R

Development / Thought / devops

회사에서 나의 역할은 여섯 명의 개발팀을 총괄(이라고 해봤자 관리의 느낌보다는 그냥 중앙 정보 교환소 같은 역할이지만)함과 동시에 기술적으로 전체 시스템을 아키텍팅하고, DevOps를 진행하는 것이다. 특히 DevOps 중 'Operation'에 대한 R&R은 오롯이 나에게 전가되어 있는데, 이 직무가 추구해야 할 가장 이상적인 모습, 혹은 최종적인 가치가 어떠한 것인가를…

Flask Application에 New Relic 설정하기

Development / Python / Flask / newrelic / devops / apm

기존에는 ELK(AWS Elasticsearch Service)를 APM겸 로그 시스템으로 사용하고 있었는데, 결국 Eleasticsearch Node들도 DevOps 차원에서 관리가 필요한 부분이고, 서비스 트래픽 증가에 따라 Node와 Message Queue, Queue Worker들도 같이 Scale-up(혹은 Scale-out)이 되어야 해서 덩달아 비용이 기하급수적으로 늘어나고 있기에, 그 유명한 New Relic으로 갈아타는 것을 결심했다. (그리고 초당 150건씩…