티끌모아 태산

https://log-laboratory.tistory.com/180 [Kafka] 카프카 매니저 설치 Kafka-Manager install 카프카 클러스터의 모니터링하는 방법은 대표적으로 2가지가 있다. 첫번째는 JMX 사용하여 모니터링하는 방법이 있고, 두번째는 야후에서 공개한 오픈소스인 Kafka-Manager이다. 이번 글에서는 Kafka- log-laboratory.tistory.com 위 링크를 보고 따라하던 중 ./sbt clean dist 명령어 입력시 아래와 같이 출력되며 진행이 되지 않았다. [root@localhost CMAK-1.3.3.23]# ./sbt clean dist Downloading sbt launcher for 0.13.9: From http://repo.typesa..

Kafka를 재시작하는데 아래 오류가 발생하면서 실행되지가 않았다. [2024-01-08 20:28:55,718] ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at org.apache.kafka.storage.internals.log.SkimpyOffsetMap.(SkimpyOffsetMa..

Prodducer에서 메시지 발행시 Timeout 관련된 옵션을 찾아보다가 아래와 같이 정리해놓은 글을 발견했다. https://devidea.tistory.com/90 [Kafka] Producer config 정리 이번 글에서는 카프카 Producer(이하 프로듀서)의 주요 설정 값이 프로듀서의 아키텍처에서 어떤 역할을 하는지 정리한다. 카프카 문서에서는 각 설정값이 설명으로만 나열되어 있어서 이해하기 devidea.tistory.com 코드를 작성하면서 위 내용을 토대로 주석을 달아놨다. Properties props = new Properties(); props.put("bootstrap.servers", kafkaServer); props.put("max.block.ms", blockTimeou..

RENAME TABLE TB_NAME_A TO TB_NAME_B

https://esbook.kimjmin.net/03-cluster/3.2-index-and-shards 3.2 인덱스와 샤드 - Index & Shards - Elastic 가이드북 인덱스를 생성할 때 별도의 설정을 하지 않으면 7.0 버전부터는 디폴트로 1개의 샤드로 인덱스가 구성되며 6.x 이하 버전에서는 5개로 구성됩니다. 클러스터에 노드를 추가하게 되면 샤드들이 각 esbook.kimjmin.net

https://greypencil.tistory.com/143 MySQL Error 1206, 데이터 엔지니어의 눈으로 바라보기 ★ 부제 : 데이터엔지니어와 데이터분석가의 경계 “The total number of locks exceeds the lock table size” 락의 총합이 락테이블 사이즈를 초과했다. 무슨 뜻일까? 냉큼 buffer_size를 늘이라고 해서 늘린다면 greypencil.tistory.com

MySQL Driver에서 Timeout정리 https://knight76.tistory.com/entry/mysql-jdbc-driver-url%EC%9D%98-connectTimeout%EA%B3%BC-socketTimeout mysql jdbc driver url의 connectTimeout과 socketTimeout mysql의 jdbc driver url의 connectTimeout과 socketTimeout에 대한 개념을 정리한다. 이 개념은 굳이 mysql driver뿐 아니라 http 나 간단한 소켓 프로그래밍에 대해서도 적용될 수 있다. 1) Socket Timeout socketTimeout은 knight76.tistory.com

Kafka를 동작시키기 위해서는 우선 Java가 설치되어있어야한다. https://smart-life-studio.tistory.com/340 CentOS 7.9 Java 설치 방법(feat. 리눅스 jdk 1.8 설치하기) 개발서버를 구축하기 위해 리눅스 CentOS 7.9를 VMware에 설치했습니다. 이 포스팅에서는 설치한 CentOS 7.9에 Java를 설치하는 방법에 대해 알아보겠습니다. Java 버전은 jdk 1.8을 예로 설명하겠습니다. Ce smart-life-studio.tistory.com 뭐든 공식 문서를 참고해서 설치하는 것이 가장 좋다. https://kafka.apache.org/quickstart Apache Kafka Apache Kafka: A Distributed Stre..