반응형 DATA/ElasticSearch5 [ES] match vs term [ElasticSearch] match, term 쿼리 제대로 이해하기ElasticSearch 에서 검색을 위한 가장 기본적인 쿼리 DSL 을 작성한다고 하면 대부분 match 쿼리나 term 쿼리를 베이스로 작성합니다. 기본적인 match, term 쿼리의 동작을 자세히 정리해봤습니다.jaeyeong951.medium.com match 와 term 쿼리 모두 특정 필드의 내용이 질의어와 일치하는 문서를 찾는데 사용합니다. 하지만 일치의 여부를 어떻게 찾는지에 대한 그 세부사항은 굉장히 다릅니다. GET index_for_search/_search{ "query": { "match": { "fieldForSearch": { "query": "this is something" } } }} 질의어인 “th.. 2024. 11. 6. [Line Music 발표영상 공부] 대규모 음악 데이터 검색 기능을 위한 Elasticsearch 구성 및 속도 개선 방법 - 2021 Korean version -LINE MUSIC에서는 음악을 제공하는 음악 레이블에 특화된 음악 정보 전문 검색 기능을 제공하고 있습니다.전문 검색에는 Elasticsearch를 활용하는데요.음악 데이터가 워낙 방대해 응답 성능이 저하되는 것이 실용화하는 데 큰 걸림돌이었습니다.이에 매핑 정의와 데이터 전처리, 검색 쿼리 등 다양한 검색 프로세스를 실용화하기 위한 연구가 필요했습니다.이번 세션에서는 전문 검색 기능을 개발하면서 겪었던 검색 항목 확대에 따른 성능 저하와 API 공개에 따른 부하 증가 등의 문제점을 짚어본 뒤 그 해결 방법을 소개하고, 대규모 데이터를 다루는 Elasticsearch의 성능 개선 연구 결과에 대해 이야기하고자 합니다. Case 1) search feature .. 2023. 8. 5. EFK 로그 수집 아키텍처 Elasricsearch + Fluentd + Opendashboard ELKElasricsearch + Logstash + KibanaElastic stack으로 구성된 ELK (Loagsash) 라는 용어로 더 잘 불리운다.EFK (EFO) 로그 수집 아키텍처Elasricsearch + Fluentd + Kibana (Opendashboard)Elastic stack의 유료화 때문에 Opensearch + Opendashboard를 사용한다. Fluntd로그의 수집, 파싱, 전송 역할어플리케이션의 파일을 읽어야하므로 어플리케이션과 같은 호스트에 뜬다.CRuby로 만들어져있다. (Fluenbit이라는 C기반 경량화 버전도 있으며, forwarder로서 사용하기에 적합)장점적은 리소스를 사용하면서 로그를 파싱하고 전송한다.규칙을 태그방식으로 정하기때문에 사용성이 직관적이다... 2023. 1. 12. ElasticSearch Cluster와 Node Elasticsearch에서의 노드: Elasticsearch 서비스가 설치되어있는 단위Elasticsearch에서의 클러스터: 노드들을 연결해 놓은 것, 하나 이상의 노드들로 구성하여 서비스로 제공하는 것Master node 1 + Data Node (>= 2) 시스템 구조는 크게 Cluster, Node, Index, Shard 로 구성된다. Elasticsearch node 종류Master-eligible node / Master node마스터 후보 노드 -> 마스터 노드가 죽을 경우를 대비해 후보들을 여러개 지정하게된다.index 생성 또는 삭제, shard 할당 등 전체적으로 관리하는 역할마스터 노드에는 데이터가 저장되지 않는다.가장 성능 좋고 네트워크 속도가 빠르며 지연이 없는 노드를 선정해서.. 2023. 1. 8. 엘라스틱서치 Elasticsearch ES 란? ElasticSearch: 검색에 자주 쓰이는 검색 엔진 특징검색 엔진, 데이터 저장소, 분석 엔진으로 활용 가능하다.json 형식으로 저장되고 사용된다. (non schema)데이터 CRUD 작업은 REST API를 통해 수행한다.index를 여러 shard로 나누어 data를 여러 node로 분산하는 접근 방식을 이용한다.구조: 클러스터로 구성되며, 클러스터 안에 노드, 노드 안에 인덱스, 인덱스 안에 샤드, 샤드 안에 세그먼트로 구성된다. 검색속도가 빠른 이유: 역색인 자료 구조로 인해 빠르다. (* 역색인: 키워드를 통해 무너를 찾아내는 방식) 구성Physical 구성Cluster > Node (검색서버) > Index (테이블) > Shard (데이터 분류) > documents (데이터)Lo.. 2022. 4. 10. 이전 1 다음 728x90 반응형
