TIL: 2017.11.08

Development / TIL / Apache Kafka / Apache Ambari

  • Kafka & Ambari
    • Apache Ambari를 이용해서 쉽게 Hadoop Eco-system에 대한 클러스터와 호스트들을 관리할 수 있다.
      • 일단은 작업 due-date 때문에 J님이 설치해놓은 Ambari를 이용하기로 하고, 직접 설치는 나중에 해보는걸로.
    • 기존 데이터들은 Message queue 기반으로 움직였으나, 데이터 양이 너무 많아지고 뒷단 프로세싱이 너무 복잡해진 관계로 data stream화 하기로 함.
      • 기존 Message queue는 task를 넘겨줄 때만 사용하기로 함.
    • AWS Kinesis Firehose를 data stream으로 쓰기로 했었으나, 여러 이유로 Apache Kafka를 활용하기로 함.
    • 일단 나는 data producer 쪽 코드를 수정하기로 했음.
      • WAS(Python Flask)에서는 Kafka-Python 라이브러리(Apache License)를, NGINX w/ Lua Resty에서는 lua-resty-kafka 라이브러리(BSD License)를 사용하기로 함.
    • 우야둥둥 넣는건 일이 아니고, 어떻게 꺼내 쓰느냐의 문제일듯. 어짜피 date store가 되니까 일단 밀어 넣어보자.
  • 맥에서 brew 이용시 unexpected << 어쩌구 에러 발생시 $ brew update-reset 실행 후 다시 진행하면 잘 됨. 아마 << 이 부분이 Git conflict 나서 생긴거겠지?
  • brew로 kafka 설치시 $ brew services restart kafka $ brew services restart zookeeper 로 제어 가능. 설정은 /usr/local/etc/kafka/에 있고, 각종 바이너리들은 /usr/local/bin/에 있음.
  • Kafka GUI Monitoring Tool: http://quantifind.github.io/KafkaOffsetMonitor/
Share on : Twitter, Facebook or Google+