TIL: 2017.11.08

Development / TIL / Apache Kafka / Apache Ambari

Kafka & Ambari Apache Ambari를 이용해서 쉽게 Hadoop Eco-system에 대한 클러스터와 호스트들을 관리할 수 있다. 일단은 작업 due-date 때문에 J님이 설치해놓은 Ambari를 이용하기로 하고, 직접 설치는 나중에 해보는걸로. 기존 데이터들은 Message queue 기반으로 움직였으나, 데이터 양이 너무 많아지고 뒷단 프로세싱이 너무 복잡해진 관계로 data stream화 하기로 함. 기존 Message queue는…

TIL: 2017.11.07

Development / AWS / MySQL / TIL / AWS DMS / AWS RDS

대용량 MySQL 마이그레이션기 4TB 정도의 AWS RDS 상의 MariaDB를 AuroraDB로 Reverse-Migration 하려고 함. 예전에 AuroraDB에서 I/O 가격 이슈 때문에 넘어온 적 있음. 이 때에는 2TB 정도 되었기 때문에, mysqldump를 이용해서 전량 덤프 후에, Read Replica화 해서 Sync 맞추고 무중단 이전 했었음. 그런데 용량이 넘 커서 mysqldump에 진짜 진짜 애를…

Message Queue에 대한 단상 & Beanstalkd on Ubuntu 16.04 삽질기

Development / SQS / devops / Message Queue / Beanstalkd

우리는 기존에 인프라 간 느슨한 결합 구조를 위한 Message Queue로 AWS SQS(Simple Queue Service)를 오랫동안 사용해왔다. SQS의 장점은 무수하다. 몇 개를 꼽아보자면 일단 AWS 완전 관리형으로 Ops 포인트가 들어가지 않고, 매우 안정적이고, AWS Console에서 UI로 관리 및 모니터링 되고, Cloudwatch와 연동하여 Auto Scaling 등에 바로 활용할 수 있고,…

외부 Online DDL Tool 들(pt-online-schema-change, oak-online-alter-table)에 대한 단상

Development / MySQL / DB / devops / OnlineDDL / pt-online-schema-change / oak-online-alter-table

급하게 무중단으로 Table Schema를 바꿔야 할 때, 어김 없이 pt-online-schema-change와 oak-online-alter-table을 사용하고픈 유혹에 빠진다. 결국 이 툴들은 MySQL 자체 Online DDL(ALGORITHM = INPLACE)이 불가능 할 때 최후의 수단으로 사용하는 것인데, (INPLACE 가능/불가능한 경우가 아주 아주 잘 정리된 페이지) 웃긴게, 테이블에 FK가 걸려있으면 이 외부 Online DDL 툴을 사용할…

HTTP URL Redirection(30x)과 Authorization Header

Development / HTTP

HTTP 서버에서 301(Moved permanently), 302(Found), 303(See other), 307(Temporary redirect), 308(Permanent redirect) 응답 코드를 통해 클라이언트에게 Redirect를 지시하는 경우, 본래의 request의 Header에 존재하던 Authorization 항목이, 새로이 redirect된 request에는 사라지게 되는 문제가 발생하였다. 일반적으로 301, 302, 303은 그 특성에 따라 request의 method가 변경될 수도 있는 등, 본래의…