TIL: 2017.12.06.

Development / AWS / TIL / Aerospike

ENI를 추가하여 IRQ 조절해 Aerospike 성능 향상시키기 인스턴스 종류 별 최대 ENI 갯수 AWS ENA(Elastic Network Adapter) 기존 인스턴스에 ENA 활성화 하는 법…

TIL: 2017.11.24.

Development / TIL / Apache Kafka

Kafka 운용 도중, AWS EBS Disk Throughput 최대치에 부딪혀 병목이 발생하는 케이스(가령, 새로운 클러스터를 추가한다거나, 하나의 클러스터가 장애가 발생해서 내려갔다가 다시 올라와서 일반적인 Producing 양을 초과했을 때)를 해결하기 위해 EBS 볼륨 크기를 늘려 해결하는 방법이 있는데(왜냐하면 디스크 볼륨 크기별로 IOPS나 Throughput이 제한됨), 웃긴게 아무리 EBS 볼륨 크기를…

TIL: 2017.11.22.

Development / Ssl / TIL / Go / HTTPS / JMX / Apdex

Python Requests를 이용해 HTTPS 요청을 할 경우, Python 2.7.9 미만에서 hostname doesn't match 에러가 발생할 수 있음. 이는 서버에 SSL 인증서가 제대로 세팅되어 있더라도, Virtual Hosting등을 사용하는 경우 발생할 수 있으며, 클라이언트에서 SNI(Server Name Indication)을 지원하지 않기 때문이다. 일반 브라우져에서는 잘 작동했는데, Python Requests에서만 해당 SSL…

TIL: 2017.11.17.

Development / Css / TIL / SQLAlchemy / Redis / Aerospike / Flexbox

Python SQLAlchemy 사용시, create_engine()으로 반환받은 engine 객체에 직접 .execute()하는 것은 Anti-pattern. 각각의 .execute() 마다 DB Pool에서 connection을 가져다 쓸 뿐만 아니라, 사용 후 Transaction을 마무리하기 위해 무조건 rollback 혹은 commit을 해야되기 때문에 굉장히 많은 리소스를 사용하게 됨. (아무것도 안하는 SELECT ~ 쿼리에 대해서도 Pool 반환 전에 전 트랜잭션이…

TIL: 2017.11.08

Development / TIL / Apache Kafka / Apache Ambari

Kafka & Ambari Apache Ambari를 이용해서 쉽게 Hadoop Eco-system에 대한 클러스터와 호스트들을 관리할 수 있다. 일단은 작업 due-date 때문에 J님이 설치해놓은 Ambari를 이용하기로 하고, 직접 설치는 나중에 해보는걸로. 기존 데이터들은 Message queue 기반으로 움직였으나, 데이터 양이 너무 많아지고 뒷단 프로세싱이 너무 복잡해진 관계로 data stream화 하기로 함. 기존 Message queue는…