Amikre érdemes még figyelni (ezekről lehet később írok külön postot): Az ES performanciájának egyik legfontosabb kulcsa az IOPS tehát, hogy másodpercenként mennyi IO műveletet tud végrehajtani a diszk környezet. Ennek kapcsán számtalan apró ötlet van (pl a több használata külön diszkeken, stb. ) amivel sokat lehet nyerni. Az indexing performanciára nagyon komoly hatást gyakorolhat a segment merge folyamat, tehát amikor az elemi index szegmenseket összefűzi az indexer. Ezt is lehet finomhangolni az index tartalma alapján. De teljesen máshogy kell paraméterezni a segment merget akkor ha SSD-n vagy ha hagyományos mozgó fejes diszken tároljuk az adatokat. Ha az adott index feltöltése "bulk import" elven történik, tehát nem folyamatosan szúrogatjuk be az új dokumentumokat, hanem időzítetten történik nagy mennyiségű adat bulk importja, akkor érdemes a bulk import előtt kikapcsolni a replikákat, majd utána vissza, ezzel megspórolhatjuk azt, hogy az összes replika egyszerre hajtsa végre a költséghatékony indexelést.
"Az Elasticsearch elosztott, ami azt jelenti, hogy az indexeket szilánkokra lehet osztani, és minden szilánknak lehet nulla vagy több replikája. Minden csomópont egy vagy több szilánkot tartalmaz, és koordinátorként jár el a műveletek megfelelő szilánk (ok) ra történő átruházásával. Az útválasztás automatikusan történik. " A kapcsolódó adatokat gyakran ugyanabban az indexben tárolják, amely egy vagy több elsődleges töredékből és nulla vagy több replikasorozatból áll. Az index létrehozása után az elsődleges szilánkok száma nem módosítható. Az Elasticsearch a Logstash adatgyűjtő és naplózó motor, a Kibana elemző és vizualizáló platform, valamint a Beats nevű könnyű adatszállító gyűjteménye mellett készült. A négy terméket integrált megoldásként való használatra tervezték, amelyet "rugalmas kötegnek" neveznek. (Korábban az "ELK stack", rövidítve: "Elasticsearch, Logstash, Kibana". ) Az Elasticsearch a Lucene -t használja, és minden funkcióját a JSON és a Java API -n keresztül próbálja elérhetővé tenni.
A fordulót a New Enterprise Associates (NEA) vezette. További finanszírozók a Benchmark Capital és az Index Ventures. Ez a forduló a teljes finanszírozást 104 millió dollárra hozta. 2015 márciusában az Elasticsearch cég megváltoztatta a nevét Elasticra. 2018 júniusában az Elastic benyújtott egy nyilvános ajánlatot, amelynek becsült értéke 1, 5 és 3 milliárd dollár között volt. 2018. október 5 -én az Elasticot a New York -i tőzsdén jegyzik. Kiadási előzmények Főbb kiadások: 1. 0. 0 - 2014. február 12 2. 0 - 2015. október 28 5. 0 - 2016. október 26 6. 0 - 2017. november 14 7. 0 - 2019. április 10 Engedélyezési változások 2021 januárjában az Elastic bejelentette, hogy a 7. 11-es verziótól kezdve újra engedélyezik Apache 2. 0 licencű kódjukat az Elasticsearch és a Kibana szolgáltatásban, hogy kettős licenccel rendelkezzenek a szerver oldali nyilvános licenc és az elasztikus licenc alapján, amelyek egyikét sem ismerik el nyílt forráskódú licencként.. Az Elastic az Amazon Web Services -t (AWS) okolta ezért a változtatásért, kifogásolta, hogy az AWS az Elasticsearch és a Kibana szolgáltatást kínálja közvetlenül a fogyasztók számára, és azt állítja, hogy az AWS nem megfelelően együttműködött az Elastic -szal.
Az analyze könnyedén kikapcsolható, amivel az indexelés gyorsítható "XXX": { "type": "text", "index": "not_analyzed", }, Ha egy mezőt nem analizálunk, akkor minden bizonnyal nem fogunk rá sortolni és aggregálni sem, ilyen esetben viszont érdemes felhívni arra az ES figyelmét, hogy ezeket a mezőket ne töltse be az in-memory bufferbe, hiszen az véges és nagy mennyiségű dokumentumoknál extra IO terhelést okozhat az aggregálandó adatok folyamatos ki/be töltögetése. Erre a célra találták ki a fielddata nevű mapping opciót, az így megjelölt típusú mezők adatai nem kerül betöltére az in-memory bufferbe a dokumentum betöltésekor. A fielddata opció egyébként alapértelmezetten ki van kapcsolva a text field typenál pont azért, hogy a nagy mennyiségű szövegek ne üssék ki folyamatosan a heapet. Kerüljük a multi-fields definíciókat! Személyes tapasztalatom alapján a legtöbb multi-fields használat esetén valójában arról van csak szó, hogy az eredeti field type rosszul lett megválasztva. Tipikusan jó példa erre az date type alá létrehozott text vagy keyword fields.
Központi loggyűjtő Logstash, Elasticsearch, Kibana 4 A jelenlegi leírás a telepítést csak felületesen érinti, a példában Debian 7 64bit Linuxot használtam. A leírás célja, hogy gondolatébresztő legyen egy központi loggyűjtő kiválasztása során. Amire jó ez a rendszer: Különböző forrásból érkező események feldolgozására, tárolására és megjelenítésére. Különösebb ismeretek és a parancssor ismerete nélküli logelemzésre Amire nem jó: Logok feldolgozása után riasztások kezelésére. Elkülönített logok és hozzájuk kapocslódó jogosultságok kezelésére A rendszer fő részei Syslog-ng Syslog-ng fogadja a logokat UDP és TCP 514-es porton, itt sok lehetőség van a logok módosítására, feldolgozásáre, stb. Ennek a leírásnak ez nem képezi tárgyát. Telepítés apt-get install syslog-ng Konfiguráció Az alábbi konfigurációval a sztenderd syslog-ng konfigurációt a jelenlegi példához szükséges beállításokkal kiegészíthetjük: cat /etc/syslog-ng/conf. d/ source s_network { tcp(); udp();}; destination d_logstash { udp("127.
Ha pl használjuk az _all fieldet, akkor valójában az összes dátum típusú mező analizálva és tagolva elérhető abban is. Másik példa, amikor analizált text alatt kerül létrehozásra keyword típus csak azért, hogy lehessen aggregálni az adott mezőre. Mindezt úgy, hogy valójában az adott text mező egy darab relatív statikus szöveges adatot tartalmaz. Ha már említésre került a "keyword" típus: Maga a típus nagyon hasznos, különösen, ha előre ismert és jellemzően valóban keyword felsorolásokat kap inputként. Ha viszont ez nem adott és változó hosszúságú maga az input, ami akár jelentős mennyiségű elemeket is tartalmazhat (pl. egy XML-t kell keywordökre bontani), akkor érdemes meghatározni a ignore_above paraméterrel azt, hogy maximum mennyi karakter hosszúságú szöveget bontson kulcsszavakra. Ezzel sokat lehet gyorsítani az indexelésen. Mindezek a tippek nyilvánvalóan csak a jéghegy csúcsait jelentik, de az ennél komolyabb tippekhez persze már érdemes pontosan ismerni a konkrét index jellemzőit, adatait, szerkezetét, stb.
A Logstash konfigját így tudjuk ellenőrizni: logstash --configtest -f /etc/logstash/conf. d/* Ezt érdemes minden módosítás után megtenni, mert az indulásakor nem jelez hibát, esetleg leáll a Java processz:-). 2. A logstash számára az ulimit értéket érdemes megnövelni a /etc/init. d/logstash init szkript ulimit sorának szerkesztésével: pl. : ulimit -n 32768 3. A konfiguráció elsőre elég összetettnek tűnik, de a fenti pattern remélem segít elindulni a saját készítésében. 4. A mutate hasznos eszköz, mert a logokon tudunk segítségével változtatni. Itt az add_tag és remove_tag lehetőségeit használjuk. 5. Az egyes bejegyzésekhez tetszőlegesen lehet tag-et adni és elvenni, így a Kibana-ban ez szerint könnyű elkülöníteni a logokat. 6. A patternek szintaktiákja így néz ki:%{BEJEGYZÉS_FAJTÁJA:bejegyzés neve} A BEJEGYZÉS_FAJTÁJA mező csak meghatározott értéket vehet fel. Pontos listát nem találtam, se a /opt/logstash/patterns alatti fájlokból lehet lesni. Mindenesetre a SYSLOGTIMESTAMP, IPORHOST, WORD, NUMBER értékekkel sokmindent le lehet fedni.
Ebben az épületben élt egy darabig Babits Mihály költő, irodalomtörténész, a XX. század egyik legjelentősebb magyar irodalmi alakja. Szintén itt hajtotta álomra a fejét a ház építtetője és tervezője, Vágó László is, aki a kontyolt tető mögött a hatodik emeleten egy nagy méretű tetőteraszos műteremlakást alakított ki, mai kifejezéssel élve penthouse-t. Evvel az úszómedencével, dús növényzettel megbolondított olasz stílusú tetőkertet közel egy tucat kisebb-nagyobb méretű szobor díszítette, amelyeket az építész jó nevű szobrász cimborái készítettek. Budapest ostrom utca 16 ans. A többnyire gipszből és bronzból készült műalkotások Strobl Alajos, Radnai Béla, Markup Béla és Istók János kezei alól kerültek ki. A Váralja utcára néző lakásból és a teraszról fenséges látvány nyílt. A pergolával kombinált kerítés felett kinézve ugyanis nemcsak a Tabán apró házacskái és a Gellérthegy nagy zöld monolitja bontakozott ki az ember szeme előtt, hanem a királyi várpalota és a Lovarda épülettömbje is. Babitson és Vágón kívül szintén ez a bérház volt az otthona Vass Elemérnek is, aki a zebegényi művészkolónia egyik kiemelkedő alakja volt.
Berlin és Sztálingrád után a magyar fővárost érte a legnagyobb veszteség. Magyarország ekkorra már elveszítette szuverenitását, a magyar katonáknak a német hadsereg vezetői parancsoltak, és különösen szégyenletes szerepet játszottak az ostrom alatt a nyilaskeresztes pártszolgálatosok - mutatott rá a politikus. Az ostromnak mintegy 100 ezer ember esett áldozatául, köztük 38 ezer civil. A civilek közül 15 ezren zsidó honfitársink voltak. Különösen fájdalmas annak a 7 ezer zsidó polgártársunknak a halála, akiket a nyilasok gyilkoltak meg, többnyire a Dunába lőttek - emlékeztetett Répássy Róbert. A második világháborúban, Budapest ostromakor elhunyt civil áldozatokra emlékezik a magyar Nemzeti Örökség Intézete - Education, culture, youth and sport - Conference on the Future of Europe. Ugyanakkor a budapesti házak pincéjébe zárt lakosság számára minden nap harc volt a túlélésért, a víz, az élelem hiánya, a kemény hideg és a betegségek tizedelték a lakosságot - tette hozzá. Arról is szólt, hogy az ostrom után újabb borzalmak következtek, mert a szovjetek "hadifogolynak" tekintették a magyar lakosságot. "A magyar emberek vagyona és élete, a nők méltósága nem ért semmit a szovjetek szemében, hadizsákmány lett" - fogalmazott Répássy Róbert.
/Fotó: Profimedia Légibombát hatástalanítanak Budapest központjában /Fotó: Profimedia Egy alezredes kitünteti Budapest melletti csatákban résztvevő katonákat /Fotó: Profimedia A Lánchídnál szétlőtt épületek /Fotó: Profimedia A szovjet tüzérség közeledik Budapesthez /Fotó: Profimedia A szovjet katonák hidat építenek a Dunán /Fotó: Profimedia Szovjet tüzérek harcolnak a Dunán /Fotó: Profimedia Budapestiek takarítják az utcákat az ostrom után /Fotó: Profimedia Budapest szovjet ostrom