failed to create elasticsearch client on Elasticsearch

[espinosa]

Bonjour David @dadoonet,
Peux-tu mettre à jour fscrawler sur docker hub avec le dernier commit (188d10d) ?
La dernière version sur docker hub utilise le client es 7.12 et non pas 7.13, d'où l'erreur.
Encore merci pour ton travail !

[dadoonet]

Peux-tu partager le message d'erreur complet ? Il ne devrait pas y avoir de problème avec le client 7.12.

[espinosa]

Merci pour ta rapide réponse.
J'utilise l'image docker.elastic.co/enterprise-search/enterprise-search:7.13.2 et dadoonet/fscrawler d'il y a 13 jours. Après avoir regardé le code, j'ai supposé que le client 7.12 n'est pas compatible avec le serveur 7.13 car l'exception à l'air de provenir de la fonction checkVersion().

Le message fscrawler est (j'ai remplacé l'ip par des x):

[f.p.e.c.f.c.v.ElasticsearchClientV7] failed to create elasticsearch client on Elasticsearch{nodes=[http://x.x.x.x:9200], index='fs_nas', indexFolder='fs_nas_folder', bulkSize=100, flushInterval=5s, byteSize=10mb, username='elastic', pipeline='null', pathPrefix='null', sslVerification='false'}, disabling crawler...
08:55:37,675 �[1;31mFATAL�[m [f.p.e.c.f.c.FsCrawlerCli] We can not start Elasticsearch Client. Exiting.
java.net.ConnectException: Timeout connecting to [/x.x.x.x:9200]
	at org.elasticsearch.client.RestClient.extractAndWrapCause(RestClient.java:880) ~[elasticsearch-rest-client-7.12.0.jar:7.12.0]

Pas de log trouvé sur le serveur elastic search.

[dadoonet]

Le problème est ici : "Timeout connecting to [/x.x.x.x:9200]".

La machine où tourne FSCrawler n'arrive pas à se connecter au noeud Elasticsearch.

Peux-tu lancer depuis la machine où tourne FSCrawler:

curl x.x.x.x:9200/

Est-ce que le serveur est sécurisé ? (login/password)? Est-ce qu'il tourne sur cloud.elastic.co?

Quel est le fichier de configuration exact ?

Peux-tu relancer avec l'option --trace STP?

[espinosa]

Il n'y a ni ping ni curl dans le container fscrawler et n'arrive pas à installer avec apt install. A creuser...
Le serveur elasticsearch (docker-compose d'enterprise-search) est sécurisé par défaut et tourne en local sur le même serveur que fscrawler.
Mon setting est:

name: "fs_nas"
elasticsearch:
  username: "elastic"
  password: "password"
  ssl_verification: false
  nodes:
  - url: "http://mon.ip:9200"

workplace_search:
  access_token: "mon_token"
  key: "ma_key"
  server: "http://mon.ip:3002"

Pour la trace, elle parait normale avec la surcharge des paramètres.

Je reviens vers vous dès que j'arrive à tester l'accès à es depuis le container. En tout cas, depuis le host c'est ok.

Encore merci pour votre aide. Quel est le meilleur moyen de vous contacter car je suis actuellement sur une étude d'opportunité sur le produit enterprise search pour le marché suisse romand ?

[dadoonet]

Peux-tu partager ton docker-compose ?

Quel est le meilleur moyen de vous contacter car je suis actuellement sur une étude d'opportunité sur le produit enterprise search pour le marché suisse romand ?

david at elastic dot co

[espinosa]

Merci pour l'adresse, je reviendrai vers toi plus tard pour me présenter ainsi que le projet. Pour info, j'ai une demande en cours de pricing chez elastic pour le produit workplace search.

Pour le serveur, j'ai utilisé une config que tu avais publié mais j'ai dû rajouter, de mémoire, l'env [ent_search.external_url] pour que cela fonctionne.

version: '3'
services:

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.13.2
    environment:
      - bootstrap.memory_lock=true
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g"
      - cluster.routing.allocation.disk.threshold_enabled=false
      - ELASTIC_PASSWORD=$ELASTIC_PASSWORD
      - xpack.security.enabled=true
      - xpack.security.authc.api_key.enabled=true
      - xpack.license.self_generated.type=trial
    ulimits:
      memlock:
        soft: -1
        hard: -1
    ports:
      - 9200:9200
    networks: ['stack']

  enterprisesearch:
    image: docker.elastic.co/enterprise-search/enterprise-search:7.13.2
    environment:
    - "ent_search.auth.source=standard"
    - "elasticsearch.username=elastic"
    - "elasticsearch.password=$ELASTIC_PASSWORD"
    - "elasticsearch.host=http://x.x.x.x:9200"
    - "ent_search.external_url='http://x.x.x.x:3002'"
    - "allow_es_settings_modification=true"
    - "secret_management.encryption_keys=[my_key]"
    - "ENT_SEARCH_DEFAULT_PASSWORD=$ELASTIC_PASSWORD"
    ports: ['3002:3002']
    networks: ['stack']
    links: ['elasticsearch']
    depends_on: ['elasticsearch']

networks:
  stack: {}

Pour fscrawler, je l'ai pour l'instant séparé:

version: '3'
services:
  fscrawler:
    image: dadoonet/fscrawler:2.7-SNAPSHOT-es7-fra
    container_name: fscrawler
    restart: always
    volumes:
      - /share/CACHEDEV1_DATA/homes/espinosa/docker/fscrawler/config:/root/.fscrawler
      - /share/CACHEDEV1_DATA/homes/espinosa/docker/fscrawler/logs:/usr/share/fscrawler/logs
      - /share/CACHEDEV1_DATA/homes/espinosa/docker:/tmp/es:ro
    command: fscrawler fs_nas

    networks: ['stack']

volumes:
  data:
    driver: local

networks:
  stack: {}

Je n'arrive pas à installer ping ou curl dans le container fscrawler.

root@583cdc20a1c1:/usr/share/fscrawler# ping
bash: ping: command not found
root@583cdc20a1c1:/usr/share/fscrawler# apt install ping
Reading package lists... Done
Building dependency tree       
Reading state information... Done
E: Unable to locate package ping

Où puis-je trouver le dockerfile original car sur docker hub j'ai l'instruction "ADD file:c855b3c65.." que je n'arrive pas à comprendre ?!

[dadoonet]

Où puis-je trouver le dockerfile original car sur docker hub j'ai l'instruction "ADD file:c855b3c65.." que je n'arrive pas à comprendre ?!

Je pense que c'est un truc du docker build qui recopie les fichiers compilés et les libs pour faire le container. Vu les 95Mo de taille ;)

https://github.com/dadoonet/fscrawler/blob/master/distribution/src/main/docker/Dockerfile