TIL: 2017.11.24.

Development / TIL / Apache Kafka

Kafka 운용 도중, AWS EBS Disk Throughput 최대치에 부딪혀 병목이 발생하는 케이스(가령, 새로운 클러스터를 추가한다거나, 하나의 클러스터가 장애가 발생해서 내려갔다가 다시 올라와서 일반적인 Producing 양을 초과했을 때)를 해결하기 위해 EBS 볼륨 크기를 늘려 해결하는 방법이 있는데(왜냐하면 디스크 볼륨 크기별로 IOPS나 Throughput이 제한됨), 웃긴게 아무리 EBS 볼륨 크기를…

TIL: 2017.11.08

Development / TIL / Apache Kafka / Apache Ambari

Kafka & Ambari Apache Ambari를 이용해서 쉽게 Hadoop Eco-system에 대한 클러스터와 호스트들을 관리할 수 있다. 일단은 작업 due-date 때문에 J님이 설치해놓은 Ambari를 이용하기로 하고, 직접 설치는 나중에 해보는걸로. 기존 데이터들은 Message queue 기반으로 움직였으나, 데이터 양이 너무 많아지고 뒷단 프로세싱이 너무 복잡해진 관계로 data stream화 하기로 함. 기존 Message queue는…