ElasticSearch Curator5


Curator Reference: https://www.elastic.co/guide/en/elasticsearch/client/curator/current/
GitHub: https://github.com/elastic/curator

curator –config curator.YML close.YML
curator –config curator.YML delete_indices.YML

es_repo_mgr –config curator.YML show
path.repo: “C:\server\elasticsearch\elasticsearch-5.1.1\data\backup\snapshot”
snapshot.yml
options:
repository: repos
es_repo_mgr –config curator.YML create fs –repository “repos” –location “C:\server\elasticsearch\elasticsearch-5.1.1\data\backup\snapshot”
http://localhost:9200/_snapshot/repos/
es_repo_mgr –config curator.YML delete –repository repos

curator –config curator.YML snapshot.YML

CuratorによるElasticsearchのメンテナンス: http://dev.classmethod.jp/server-side/elasticsearch/elastic-curator/
elasticsearch-curatorを使って簡単に時系列インデックスを運用する: http://qiita.com/nagais/items/5580f77a8af6dd5e1856
Curator: 時系列インデックスの管理: http://blog.johtani.info/blog/2014/01/24/curator-tending-your-time-series-indices-in-japanese/

カテゴリー: Uncategorized | コメントをどうぞ

ElasticSearch Log Analysis


対象:ElasticSearch (Ver5.1.1)
前提環境:Java8以上、利用ツール:Curl

curl -x “” -XDELETE “http://localhost:9200/winlogbeat-*”

elasticsearch.yml以下設定
#クロスドメインでのアクセス許可
http.cors.enabled: true
http.cors.allow-origin: /.*/
#http.cors.allow-origin: /https?:\/\/localhost(:[0-9]+)?/

# Dev Env Setting
#index.number_of_shards: 1
#index.number_of_replicas: 0
# default Setting
#index.number_of_shards: 5
#index.number_of_replicas: 1
curl -x “” -XPUT “http://localhost:9200/winlogbeat-*/_settings” -d “{\”index\”:{ \”number_of_replicas\”: 0}}”
curl -x “” -XPUT “http://localhost:9200/.kibana/_settings” -d “{\”index\”:{ \”number_of_replicas\”: 0}}”
Kibana
conf\kibana.yml設定
logging.dest: “C:/server/elasticsearch/kibana-5.1.1-windows-x86/logs/kibana.log”
Logstash
bin\logstash -f conf/beat-to-es.conf –path.settings=/C:/server/elasticsearch/logstash-5.1.1/config –debug
bin\logstash -f conf/beat-to-es.conf –debug
bin\logstash -f conf/beat-to-es.conf –path.settings=/C:/server/elasticsearch/logstash-5.4.0/config –debug
永続化キュー:https://www.elastic.co/guide/en/logstash/current/persistent-queues.html

 

カテゴリー: ElasticSearch | コメントをどうぞ

Logstash


標準入力を標準出力に出す
bin\logstash -e “input { stdin { } } output { stdout {} }”
hello world

rubydebug コーデック(フォーマット)に変換、 Ruby の Hash 形式で表示
bin\logstash -e “input { stdin {}} output { stdout { codec => rubydebug }}”
bin\logstash -e “input { file { path => [‘c:/temp/myapp.log’]}} output { stdout { codec => rubydebug }} filter { csv { columns => [‘info’,’app’,’function’,’data’]}}”
bin\logstash -f conf/csvfile-2-es.conf –path.settings=/C:/server/elasticsearch/logstash-5.4.0/config –debug
Invoke-RestMethod -Method Put -InFile winlogbeat.template.json -Uri http://localhost:9200/_template/winlogbeat2
bin\logstash -f conf/beats-2-es.conf –path.settings=/C:/server/elasticsearch/logstash-5.4.0/config –debug
bin\logstash -f conf/beats-2-es.conf  –debug
bin\logstash -f conf/es-to-csv.conf  –debug

<技術情報>
http://qiita.com/qtwi/items/98c1184a8a6ce6e2a5e7

カテゴリー: ElasticSearch | コメントをどうぞ

ElasticSearch Tech Info


<インデックス>
★日付基準
UTC-9、ローテート、utc_index false
http://qiita.com/nagais/items/c7b4a55b3865ecacfab0

複数タイムゾーン: http://blog.yoslab.com/entry/2014/04/24/000317

★定期削除(過去分)
http://qiita.com/nagais/items/5580f77a8af6dd5e1856

<堅牢性向上>
Logstash 、キュー永続化、ファイルキュー
http://95.154.230.253/ip-1/encoded/Oi8vZGV2LmNsYXNzbWV0aG9kLmpwL3NlcnZlci1zaWRlL2VsYXN0aWNzZWFyY2gvbG9nc3Rhc2gtcXVldWUtcGVyc2lzdGVkLw%3D%3D

fluentd、ディスクバッファ
http://qiita.com/uzresk/items/3bfeeac82dfcb2a4300e

<Logstash>
CSV出力: https://github.com/logstash-plugins/logstash-filter-csv
5系CSV出力バグ: http://stackoverflow.com/questions/37007206/export-data-from-elasticsearch-to-csv-using-logstash
https://github.com/logstash-plugins/logstash-output-csv/issues/10
最新V3.3では修正されているらしい:https://github.com/logstash-plugins/logstash-output-csv/releases
Logstash最新5.32でも修正反映されているよう:https://www.elastic.co/guide/en/logstash/5.3/plugins-outputs-csv.html

 

 

 

カテゴリー: ElasticSearch | コメントをどうぞ

log analystic


前提環境
Java8以上
利用ツール:Curl, Git
[設定手順]
ダウンロード:https://curl.haxx.se/download.html(Win64 – Generic x86_64
インストール+環境変数Path設定(%Curl_HOME%\bin)
参照:http://techblo.hatenablog.com/entry/2015/08/06/214306

Beats:  https://www.elastic.co/jp/products/beats (Ver:5.3.2: 2017/5/3)

ElasticSearch (Ver5.1.1)
elasticsearch.yml以下追加修正(クロスドメインでのアクセス許可)
http.cors.enabled: true
http.cors.allow-origin: /.*/
#http.cors.allow-origin: /https?:\/\/localhost(:[0-9]+)?/
インデックス更新時間設定
変更前:curl -x “” -XGET “http://localhost:9200/_all/_settings?pretty&#8221; -d “{ “index:”}”
curl -x “” -XPUT “http://localhost:9200/_all/_settings?preserve_existing=true&#8221; -d “{\”index.refresh_interval\” : \”30s\”}”
インデックス一覧表示:http://localhost:9200/_cat/indices
インデックス削除:curl -x “” -XDELETE “http://localhost:9200/winlogbeat-*&#8221;

 curl -x “” -XPUT “http://localhost:9200/winlogbeat-*/_settings&#8221; -d “{\”index\”:{ \”number_of_replicas\”: 0}}”

elasticsearchのheadプラグイン
Git Bash
git clone http://github.com/mobz/elasticsearch-head.git
実行:index.htmlを直接Webブラウザーで開く
Kibana: https://www.elastic.co/jp/products/kibana
download: https://www.elastic.co/downloads/past-releases/kibana-5-1-1
所定場所に配置、logsフォルダ作成
conf\kibana.yml設定
ログ出力の設定
logging.dest: “C:\server\elasticsearch\kibana-5.1.1-windows-x86\logs\kibana.log”
Winlogbeat
winlogbeat.yml編集
winlogbeat.event_logs:
# – name: Application
# ignore_older: 72h
– name: Security
event_id: 4624,4634,4656,4659,4663,5145
# – name: System
processors:
– drop_event:
when:
or:
– contains:
event_data.SubjectUserName: [“SaApo0302”, “$”]
– and:
– or:
– equals:
event_id: 4624
– equals:
event_id: 4634
– contains:
event_data.TargetUserName: “$”
– and:
– or:
– equals:
event_id: 4656
– equals:
event_id: 4659
– equals:
event_id: 4663
– not:
contains:
event_data.ObjectName: “C:\\FS\\PUB”
– and:
– equals:
event_id: 5145
– not:
contains:
event_data.ShareName: “\\\\*\\PUB”
テンプレート(winlogbeat.template.json)編集、
“settings”: に”number_of_replicas” : “0” 追加
“settings”: {
“index.refresh_interval”: “5s”,
“number_of_replicas”: 0
文法チェック
.\winlogbeat.exe -c .\winlogbeat.yml -configtest -e
elasticsearchにテンプレート設定、
ElasticSearch起動中に以下Powershell実行
Invoke-WebRequest -Method Put -InFile winlogbeat.template.json -Uri http://localhost:9200/_template/winlogbeat?pretty
StatusCode:200を返却表示
カテゴリー: ElasticSearch, Uncategorized | コメントをどうぞ

Win2003R2でのDFS設定利用(1)


<名前空間種類>
ドメインベース名前空間: ADドメイン管理者権限がないと設定不能
スタンドアローン名前空間:  こちらを選択。

Win2003R2のDFSではスタンドアローン名前空間だとレプリケーションできないみたい。
レプリケーショングループ作成やリプリケーション設定において以下エラー。

ドメインに接続できません。ログイン失敗:ユーザー名を認識できないか、またはパスワードが間違っています。

2件目のターゲットフォルダを作成設定したとき以下のエラーが途中から出るようになった(最初は出なかったが)。

フォルダターゲットの追加の確認、この操作の影響を受ける1つまたは複数のフォルダのレプリケーション状態が不明です。考えられる理由には、ドメインでない参加アカウントに対する管理操作の実行、ネットワークまたはAD接続の欠如、及びADでDFSRF構成を読み取る権限の不足が挙げられます。エラー条件を解決し、名前空間を更新してください。この操作は続行できますが、影響を受けるフォルダがDFSレプリケーションでレプリケートされる場合、DFSレプリケーションで必要な、対応する変更は適用させません。

カテゴリー: DFS, FileServer, Windows2003 | コメントをどうぞ

Windows2008R2にADをインストール


http://blog.livedoor.jp/inventrix/archives/51986.html


Active Directory ドメイン サービス インストール ウィザードを実行する前にDNSを先にインストールしないといけないみたい。

カテゴリー: ActiveDirectory, microsoft | コメントをどうぞ