리승자이의 삽질 그리고 정리

오늘은 회사에서 계속해서 올라오던 slow query에 대해 성능 최적화를 수행한 내용을 바탕으로 해당 포스팅을 작성한다. soft delete를 사용함에 있어서 쿼리를 주의 깊게 작성해야 한다는 사실을 알고있었지만 이번 기회를 계기로 좀 더 깨달았던 것 같다.문제의 구성은 이러했다. 원래의 문제가 됐던 쿼리select count(*) from tables where 조건1 = ? and user_id = ? and deleted_at is null 유저별로 카운팅을 하지만 데이터에 맞는 카운팅 개수가 4천개를 넘어서는 순간부터 점점 응답이 느려져 4초 이상으로 가서 alert 채널에 공유가 되었다. 일단 더미데이터를 넣고 비슷하게 구성해보았다.create table test_table( id ..

이전에 업무하다가 동시성 이슈를 처리하기 위해 redis를 사용했었다. 아래 기능 구현이 실제 업무하는 환경과 비슷한 조건이다.우리는 상금을 얻기 위해 게임 참여를 진행한다.유저는 게임에 1회 참여할때마다 공동 상금에 1원씩 적립한다.1등이 당첨되었을 때 1등은 현재까지 적립된 상금을 모두 가져간다.위 2가지를 만족하는 기능 개발을 진행해야 한다. 일단 1등이라는 확률 자체가 희박하기 때문에 아래 기능으로 동작하게 만들어도 문제가 없을 것 같았다.실제로 아직까지 문제가 발생했다는것은 아니다.-> 근데 발생할 수 있기 때문에 로직도 수정해야 하는것이 맞다.포인트 보정 산출식 추가하기시나리오를 하나 생각해보면유저 A, B 가 있다.현재 상금은 98원까지 적립되어있다. 유저 A가 응모한다.상금은 99원이된다...

회사에서 그냥 내 욕심이었는지는 모르겠다.내가 개발한 기능중에 14시에 환율을 맞추는 게임 챌린지가 오픈되는 시간에 항상 앱 푸시 알림을 보낸다.이 때 트래픽이 솟구치게 되는데 우리가 평상시에 운영하는 인스턴스 개수는 8개(초당 평균 300개 요청)로 운영중인데, 이 때 시간 간격 텀을 두고 우리가 설정한 최대값인 20개까(초당 호출 평균 1200회 이상)지 차오르는걸 항상 목격하게 된다.여기서 욕심이 생겼다.이 시간에도 구애받지 않고 배포하여 정상적으로 운영할 수는 없을까?이 생각으로 부터 나와 지금부터 삽질을 시작하게 된다.이 글에서 다루는 내용은 최소한의 인프라와 그놈의 지긋지긋한 Hikari CP 얘기를 다시 한번 해보려고 한다.서론이 길었다. 바로 본론으로 들어가보자!!! 아무것도 설정을 건드리..

이번주 월요일에 슬랙에 지속적으로 같은 로그가 되게 많이 떴었다.사실 redis를 다른 팀에서도 사용을 하고 있기에 좀 더 주의깊게 확인해봐야 했지만 전체가 태그되는 바람에 잘 모니터링 하지는 못했던 것 같다.이게 갑자기 alert log가 뜨게 되니까 되게 이상했다. 그리고 latency가 그래프 상으로 기하급수적으로 증가한게 보일 것이다.이 로그가 문제는 내가 배포했던 시간부터 쭉 나왔다는 것이다.신규 기능을 해당 시간에 오픈을 진행했었고, 그 이후로 로그가 지속적으로 찍혔었다. 😭😭😭퇴근길에 놓치고 있었던 스레드에 같은 팀의 백엔드 개발자분이 먼저 남겨주셨다.말씀주신 기능보다는 다른 기능에서 문제가 있긴 했다. 저쪽은 캐시도 사용하지 않으며 문제될것이 전혀 없던 곳이었다.아래 제보된 것부터는 ..

개발을 하다가 어드민을 사용하시는 부분에서 제보가 들어왔다.request log를 보니 LocalDate 를 받도록 되어있는데 분명히 yyyy-MM-dd 형식으로 request log가 찍혔는데?근데 좀 달랐다. access-language가 en-US로 되어있는것!어드민 사용하시는 분에게 여쭤봤더니 자신은 크롬 브라우저를 영어모드로 사용한다고 했다.시작점아, 설명하기 앞서 이 상황은 앞단에 proxy 서버가 따로있다. 호출 방식이 아래처럼 되어있다.앞단은 proxy server라고 지칭하겠다.client ->  proxy server -> 우리의 serverproxy server에서는 우리 server로 bypass 시켜주며 그 때 call 해주는 방식을 Spring Cloud OpenFeign을 사용..

일을 하면서 서버 에러로그에 언제부턴가HikariPool-1 - Connection is not available, request timed out after 3000ms위와 같은 에러 문구가 특정 주기를 가지고 계속 노출되었다.일단 여러가지 문제가 있었는데, 먼저 해결된 것부터 써보려고 한다.HikariCP pool size일단 내가 개발하는 서비스 특성상 특정 시간대 or CRM으로 푸시알림이 발송된 순간에 트래픽이 몰리는 경향이 있다.그래서 내가 입사하기 이전부터 서비스에선 hikari cp 권장사항인 maximum-pool-size와 minimum-idle 개수를 다르게 줬었다.물론 minimumIdle 설정 개수가 더 적었었다.그렇게 잘 유지되다가 어느날부터 트래픽이 몰리면 이제 유휴에서 max..

올 한해도 뭔가 얻어간게 많았던 것 같은 시기였다.작년에는 회고글도 못쓰고 바쁘게 지나갔던 것 같은데, 이번에는 또 어떻게 시간이 나서 이렇게 정리글을 쓸 수 있게 되었다. 1. 이직기존 회사에서 자비스앤빌런즈(삼쩜삼)로 이직하게 되었다.이전 회사에 비해서 인원이 일단 굉장히 많아졌고 그리고 개발자분들이 되게 많아서 놀랐다.물론 나머지 회사들이 아깝게 떨어져서 마지막으로 여길 오게된건 운명이 이끈걸까? 싶다. 이번에도 서류를 합격하는 맛을 보았기 때문에 이제 더 위로 계속 갈 수 있을거라고 많이 생각하고 있다. 계속 은행과 돈이 관련된 업무들을 쭉 하고 싶다는 생각에 아래 회사들을 넣었었다.- 카카오뱅크 (과제 불합)- 토스뱅크 (2차면접 불합 -> 재시도 후 1차면접 불합)- 카카오페이증권 (과제 취소..

짧은 근황을 먼저 얘기하자면...올해 3월부터 이직을 하게되어 삼쩜삼(자비스앤빌런즈) 백엔드 엔지니어로 현재 이직하여 회사를 다니고 있다.나중에 다른 포스팅으로 해당 부분은 잘 작성해보도록 하겠다.이전 포스팅인 @Transactional 제대로 알고쓰기 에서는 무지성 중첩 트랜잭션에 대한 포스팅이었는데,이번에는 좀 다른 케이스였다.해당 예외가 발생하는 것이었다.회사에서는 Mysql을 RDBMS로 채택하여 사용해서 아래와 같은 예외가 보였지만, 예제에서는 H2 DB를 사용하기 때문에 같은 에러메시지는 아니지만,내용은 똑같다는 점을 일단 알고 넘어가면 좋을 것 같다.HHH000099: an assertion failure occurred (this may indicate a bug in Hibernate, ..

인덱스란? 번역을하면 바로 색인이라는 단어로 번역된다. 색인은, 검색하면 책속의 낱말이나 어떤 챕터나 구절들을 빠르게 찾아볼 수 있게 쪽수 정보를 나타내주는 것을 뜻한다. 이 개념을 DB에 적용시킨 것이다. 인덱스는 어떻게 구성하는가? 인덱스는 CREATE INDEX 키워드로 구성이 가능하다. Team 이라는 테이블이 이렇게 있다. id(primary key) name member_id grade 1 홍길동 1 1 2 가나다 2 2 3 고길동 3 3 4 나길동 4 4 이름만으로 인덱스를 구성하고 싶다면 아래와 같이 수행해주면 된다. CREATE INDEX 테이블(칼럼); CREATE INDEX team_index team(name); 이렇게 해주게 되면 name의 오름차순 순서로 정렬되게 된다. 왜 정렬..

개요 당연하게 사용하던 Java의 람다 기능에 대해서 의문을 갖지 않고 막 써댔다. 그렇지만, 면접에서의 질문을 받았을 때 당황했다. 뜬금포로 final을 쓰고 안쓰고의 차이를 물어보셨는데 순간 답변을 하지 못했다. 그래서 정리해본다. 람다 캡쳐링에 대해서 알아보기 이전에 Effectively final에 대해 먼저 알아보자. Effectively Final 이란? 해당 단어를 deepL을 통해 해석해보면 사실상 최종 이라고 해석해준다. final을 선언한 상수와 같이 변경되지 않았다면 그와 같은 수준으로 컴파일러가 해석해준다. effectively final이 되려면 아래의 3가지 조건을 만족해야 한다. 아래 3가지 조건은 공식문서를 통해서 나와있는 정보들이다. 명시적인 final을 선언하지 않았다. ..