Elastic

执行LogStash 脚本时 报以下错误 Sending Logstash logs to /root/soft/logstash-6.4.0/logs which is now configured via log4j2.properties [2021-05-15T05:38:15,730][WARN ][logstash.config.source.multilocal] Ignoring the ''pipelines.yml'' file because modules or command line options are specified [2021-05-15T05:38:15,762][FATAL][logstash.runner ] Logstash could not be started because there is already another in

1、Es 索引类型中有个字段 EnteredDate date类型 format :yyyy-mm-dd HH:mm:ss 2、mysql 中EnteredDate 字段为 DateTime 类型 ，例：2021-05-02 09:06:25 3、通过 LogStash 从mysql 向 Es 中导数据时，报如下错误 [2021-05-13T23:35:50,539][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"100000436463", :_index=>"product_index", :_type=>"product", :_rou

在logstash 中添加下边的配置参数，即可不将大写转小写 lowercase_column_names => "false"

1、Logstash 下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.zip 2、解压LogStash unzip logstash-6.4.0.zip 注：如果未安装zip 解压工具，请执行 yum install -y unzip zip 命令 3、进入到logstash bin目录 cd logstash-6.4.0/bin 4、安装logstash-jdbc ./logstash-plugin install logstash-input-jdbc 执行本步骤时，需要java虚拟环境，如 未安装java虚拟环境，请参考以下链接安装 centos7安装配置java环境变量 5、编写配置文件（jdbc.sql和jdbc.conf，建议在bin目

背景： 还是对es用的不熟悉，将mysql中的一个日期类型的字段，以 字符串类型 的形式，写进了es中，由于磁盘空间有限，无法对索引进行重建。所以，只能将错就错，以字符串的形式进行排序，从es中获取数据。 然鹅，es 5.X 中，默认是不可以对字符串进行排序的，那这可怎么办呢？ 报错：Fielddata is disabled on text fields by default. 处理方法： 1、执行以下脚本，开启字符串字段的排序功能，执行完成后，再执行查询脚本，可以正常返回数据 { "properties": { "EnteredDate": { "type": "text", "fielddata": true } } }

接口：索引名称/_mapping/类型?include_type_name=true { "properties":{ "UpdatedDate":{ "type":"text", "fields":{ "keyword":{ "ignore_above":256, "type":"keyword" } } } } } 如下图：