JDONREF Wiki - Contributions de l’utilisateur [fr]

JDONREFv4 Plugin BeginnersMode

2016-02-26T23:10:27Z

Julien2512 : /* Prérequis */

Cette page est destinée aux personnes qui souhaitent installer JDONREF mais qui ne disposent pas de compétences sur ElasticSearch.
Les utilisateurs aguerris de ElasticSearch préféreront [[JDONREFv4_plugin_GettingStarted|cette page]].

Des compétences d'administration système sont tout de même nécessaires pour certaines opérations.

==== Prérequis ====

* une ou plusieurs machines (virtuelles) sur le même réseau avec un minimum de :
** deux coeurs
** 8 à 64 Go de RAM (pas plus par machine)
** 20 Go DD pour indexer la France entière (éventuellement réparti sur vos différentes machines)
* installer java (7 de [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/_java_virtual_machine.html préférence]).
* installer [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html elasticsearch]
* paramétrer correctement l'usage de la [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html#heap-sizing mémoire]. Le tas (heap) ElasticSearch doit représenter 50% de votre RAM. Par défaut, vous serez restreint à 1 Go de RAM, ce qui reste toutefois valable pour de simples tests (mais dommage si vous en avez 8 Go ou plus !). Il y a plusieurs moyens de procéder. Le plus simple est de définir la variable ES_HEAP_SIZE à la moitié de la RAM de votre noeud, mais vous devrez le faire à chaque redémarrage ('export ES_HEAP_SIZE=4G' si vous disposez de 8 Go de RAM).

Si vous ne vous en sortez pas, vous nécessitez sans doute un administrateur système. Inutile d'aller plus loin.

==== Installation ====

Sur chacune de vos machines :

cd /usr/share/elasticsearch
bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

puis sur l'une d'elles :

curl -XPUT 'http://localhost:9200/poizon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/poizon/poizon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-poizon.json
curl -XPUT 'http://localhost:9200/adresse/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/adresse/adresse/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-adresse-beginner.json
curl -XPUT 'http://localhost:9200/voie/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/voie/voie/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-voie-beginner.json
curl -XPUT 'http://localhost:9200/troncon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/troncon/troncon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-troncon.json
curl -XPUT 'http://localhost:9200/commune/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/commune/commune/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-commune.json
curl -XPUT 'http://localhost:9200/departement/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/departement/departement/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-departement.json
curl -XPUT 'http://localhost:9200/pays/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/pays/pays/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-pays.json

==== Tests ====

Il est ensuite possible d'indexer du contenu, comme une commune :

curl -XPUT 'http://localhost:9200/jdonref/commune/1' -d '{
"code_insee" : "75056",
"code_departement" : "75",
"code_pays" : "1",
"commune" : "PARIS",
"code_postal" : "75000",
"ligne7" : "FRANCE",
"type" : "commune",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

ou une voie :

curl -XPUT 'http://localhost:9200/jdonref/voie/1' -d '{
"numero_min": "1",
"numero_max": "192",
"type_de_voie": "BOULEVARD",
"article": "DE",
"voie": "HOPITAL",
"code_insee_commune" : "75056",
"code_postal" : "75013",
"code_insee": "75113",
"code_departement" : "75",
"code_pays" : "FR1",
"commune" : "PARIS",
"ligne4" : "BOULEVARD DE L HOPITAL",
"ligne6" : "75013 PARIS",
"ligne7" : "FRANCE",
"type": "voie",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

puis de tenter de les rechercher :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"BOULEVARD HOPITAL"}}}'

ou via l'url de test 'http://localhost:9200/_plugin/jdonrefv4-0.5/JDONREFv4Test.html'

Vous pouvez aussi indexer des données en masse :

Le fichier simplebulksample.json n'est pas encore disponible, les données de l'IGN sont en opendata, mais je n'ai pas pris le temps d'effectuer ce traitement.

curl -s -XPOST 'http://localhost:9200/_bulk' --data-binary @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/simplebulksample.json
curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"24 BOULEVARD HOPITAL"}}}'

==== Amusez-vous ====

A ce stade, vous pouvez indexer ce qu'il vous plaît, en remplaçant le fichier simplebulksample.json par exemple !
Commencez par vider l'index :

curl -XDELETE 'http://localhost:9200/jdonref/_query' -d '{"query":{"match_all":{}}}'

puis réindexez votre propre fichier.
Il n'y a pas de règle sur le poids d'un fichier bulk, mais son nombre de lignes est directement lié aux performances. Il s'agit simplement de faire quelques tests.
Vous pouvez suivre la [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html documentation de ElasticSearch].

Toutes les autres [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html#query-dsl requêtes] de ElasticSearch peuvent être combinées avec celle de JDONREF.
Vous pouvez par exemple filtrer votre requête sur un département :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}'

Pour en savoir plus, vous pouvez lire [[JDONREFv4_Query|cette page]] et [[JDONREFv4_Mappings|celle ci]].

==== Passage en production ====

Si vous passez suffisamment de temps sur ce plugin, après quelques tests poussés vous constaterez que cette configuration ne convient pas tout à fait pour un usage en production.
Quelques optimisations sont nécessaires. Elles sont abordées dans la section [[JDONREFv4_plugin_GettingStarted|avancée]].

JDONREFv4 plugin GettingStarted

2016-02-26T23:10:01Z

Julien2512 : /* Un alias */

JDONREFv4 plugin GettingStarted

2016-02-26T23:09:19Z

Julien2512 : /* Création de l'index */

JDONREFv4 plugin GettingStarted

2016-02-26T23:05:51Z

Julien2512 : /* Création de l'index */

JDONREFv4 plugin GettingStarted

2016-02-26T23:03:52Z

Julien2512 : /* Optimisation */

JDONREFv4 plugin GettingStarted

2016-02-26T23:03:35Z

Julien2512 : /* Fréquences */

Cette page est destinée aux utilisateurs confirmés d'ElasticSearch qui souhaitent utiliser JDONREF.
Si des éléments vous échappent dans cette page, je vous invite à revoir la page des [[JDONREFv4_Plugin_BeginnersMode|débutants]].

L'utilisation du plugin JDONREFv4 nécessite :
* de disposer d'un cluster [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html elasticsearch] !
* d'installer le [[JDONREFv4_Plugin|plugin]] JDONREFv4 (voir [[JDONREFv4_Plugin#Installation_du_plugin| ici]])
* de créer le ou les index nécessaires
* de créer les mappings
* puis d'indexer le contenu

Vous êtes ensuite libre d'effectuer les recherches souhaitées ! L'API elasticsearch peut bien sûr être utilisée, mais le plugin jdonrefv4 fourni un moyen de chercher efficacement des adresses (c'est à dire avec les résultats auxquels on devrait s'attendre).
Cette page suppose que le cluster elasticsearch et que le plugin jdonref (et éventuelles dépendances) sont installés.

==== Création de l'index ====

La version débutant de la création de l'index propose :

curl -XPUT 'http://localhost:9200/jdonref/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.3/jdonrefv4-settings_beginner.json

Vous pouvez noter plusieurs choses au sujet de cette configuration d'index :
* Les analyzers jdonrefv4_synonyme et jdonrefv4_nGram sont des versions améliorées des analyzers correspondant d'Elasticsearch. Si vous souhaitez utiliser des synonymes ou des nGrams avec JDONREF, ces variantes doivent être utilisées. Elles sont simplement compatibles avec les payloads.
* A noter que le metaphone n'est plus utilisé pour le moment, car combiné au ngram, il introduit un trop grand nombre de faux positifs. Vous pouvez toutefois le mettre en place à votre guise.
* Le "french_keywords" peut être rétabli si vous notez quelques mots auxquels l'application du stemmer ne fournis pas de bons résultats.

Dans le reste de cette page, cette installation est plusieurs fois remise en cause. Lisez jusqu'au bout.

==== Un alias ====

Ces remarques signifient surtout que ce plugin n'est qu'un outil. Vous pouvez l'utiliser à votre guise, modifier le fichier de configuration fourni, et adapter les analyzers à votre propre cas de figure.

A titre d'exemple, vous souhaiterez sans doute effectuer des mises à jour de JDONREF. Si vous effectuez une mise à jour en masse de l'ensemble de vos adresses, vous aurez une interruption de service.
Plutôt que d'utiliser un index, elasticsearch vous propose d'utiliser un [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-aliases.html alias] :

curl -XPUT 'http://localhost:9200/jdonref_20141201/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.3/jdonrefv4-settings_beginner.json
... indexation ...
curl -XPOST 'http://localhost:9200/_aliases/' -d '{ "actions" : [ {"add" : {"index" : "jdonref_20141201", "alias" : "jdonref"}}]}'

Ce qui vous permettra d'utiliser l'alias "jdonref" tout comme un index, et de réindexer sous un autre nom pour effectuer une mise à jour :

curl -XPUT 'http://localhost:9200/jdonref_20141202/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.3/jdonrefv4-settings_beginner.json
... réindexation ...
curl -XPOST 'http://localhost:9200/_aliases/' -d '{ "actions" : [ {"add" : {"index":"jdonref_20141202", "alias":"jdonref"}}, {"remove" : {"index":"jdonref_20141201", "alias":"jdonref"}}]}'

Si vous avez bien compris, il va vous falloir doubler votre DD, soit 200 Go pour la France entière.

Bon. Cela dit j'avais présupposé dans l'introduction que vous étiez familiers de elasticsearch ... Vous ne m'y reprendrez plus. Passons aux choses sérieuses !

==== Optimisation ====

Le reste de cette page est en cours de rédaction

Pour utiliser le paramètre maxSizePerType de la requête JDONREF, il est conseillé (obligatoire) de répartir les types sur de multiples index.
D'une manière générale, il est même plus que conseillé de répartir les communes, départements et pays sur un unique shard (avec des réplicats, et potentiellement sur différents index).

A cet effet, et pour simplifier le fonctionnement de l'ensemble, il est possible d'utiliser des alias elasticsearch.
Un alias permet de "contenir" différent index.
Lorsqu'une requête est faite sur un alias, tous les index de l'alias sont requêtés (et le résultat aggrégé).

Les index de mon cluster sont répartis ainsi (via un batch) :

# alias jdonref
# index pays, 1 shard + 1 réplica
# index departement, 1 shard + 1 réplica
# index commune, 1 shard + 1 réplica
# index voie, 5 shards + 1 réplica
# index adresse, 5 shards + 1 réplica
# index poizon, 5 shards + 1 réplica
NB: Je n'indexe pas les troncons, je n'en ai pas l'usage.
NB: Notez que vous pourriez aussi choisir de regrouper pays, departement et commune. Il faut savoir que dans un même index, les fréquences des termes sont cumulés. Dans le même index, les communes auront donc une influence sur la fréquence des termes des pays. A vous de voir.

Cela me permet de définir maxSizePerType à 5000 (voir [[JDONREFv4_Query#Optimisation | optimisation]]), pour éviter de polluer certaines requêtes avec des résultats d'adresse superflus.
Bien sûr, il est nécessaire d'adapter les requêtes de création des index, des mappings, et d'ajouter la création d'un alias.

Par exemple pour les index de pays, departement, commune, il s'agit simplement d'ajouter "number_of_shards" et "number_of_replicas". Ici l'exemple incomplet de l'index des pays :

curl -XPUT 'http://localhost:9200/jdonref_pays/' -d '{
"index" : {
"number_of_shards" : 1,
"number_of_replicas" : 1,
"analysis" : {
"analyzer": {
"jdonrefv4_index" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["delimited_payload_filter", "lowercase", "french_elision", "french_stop", /*/"french_keywords",*/ "french_stemmer","jdonrefv4_synonyme", "jdonrefv4_nGram"]
},
"jdonrefv4_codes_index" : {
"type" : "custom",
"tokenizer" : "standard",
"filter" : ["standard", "lowercase"]
},
...

Le mapping du pays doit bien sûr être réalisé sur l'index du pays ...

$ curl -XPUT 'http://localhost:9200/jdonref_pays/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

et enfin le pays peut être rattaché à l'alias jdonref :

$ curl -XPOST 'http://localhost:9200/_aliases' -d '{
{"actions":[{"add":{"index":"jdonref_pays","alias":"jdonref"}}]}'

Idem pour les autres types (n'oubliez pas d'ajouter des shards pour les voies, adresses et poizon).

Vous êtes alors prêt à utiliser une requête avec maxSizePerType comme [[JDONREFv4_Query#Optimisation | ici]].

Pour être clair, avec maxSizePerType défini à 10 000, d'après les statistiques de fréquence fournies par elasticsearch sur la base IGN 2013, les adresses composées exclusivement des 84 termes suivant nécessiteront la saisie du code postal ou du code insee (sauf 6 communes pour lesquels le code insee est trop fréquent, voir la liste).
Chaque terme est présenté avec sa fréquence.

*france 18934777
*rue 12000419
*avenue 1520128
*saint 2726561
*chemin 1357589
*route 1289752
*bis 1068563
*mont 726556
*impasse 724520
*jean 557596
*boulevard 475745
*grand 430452
*chateau 409622
*place 399026
*arondi 284874
*pont 247505
*tour 223095
*paul 222773
*cour 217926
*moulin 215612
*fer 215394
*champ 212369
*ter 211768
*general 199648
*george 197359
*pari 194572
*loui 193026
*marti 176915
*mare 173454
*mars 168783
*eglis 163259
*bourg 162933
*fontain 157604
*petit 151460
*martin 148328
*gaul 140728
*marseil 132682
*henri 126197
*75056 126166
*toulo 124260
*marechal 121251
*13055 121706
*francoi 95722
*vileneuv 88587
*leclerc 86265
*michel 84657
*toulous 82922
*principal 79712
*cote 77054
*mauric 76601
*joseph 76017
*albert 75560
*rose 73350
*nation 72777
*national 70177
*germain 64366
*havr 63465
*33063 63202
*foret 62521
*76351 60353
*laure 60243
*verdun 60034
*robe 59093
*lauren 58637
*mine 58423
*provenc 58235
*claud 57540
*colomb 56648
*sabl 55834
*lyon 55469
*chatel 55437
*laurent 55078
*quai 53053
*44109 52810
*epi 52666
*aube 52162
*august 51570
*guy 51558
*parc 51553
*roue 51505
*jardin 51078
*gambeta 50623
*59350 50235
*roy 50131

JDONREFv4 Plugin BeginnersMode

2016-02-26T23:01:44Z

Julien2512 : /* Tests */

Cette page est destinée aux personnes qui souhaitent installer JDONREF mais qui ne disposent pas de compétences sur ElasticSearch.
Les utilisateurs aguerris de ElasticSearch préféreront [[JDONREFv4_plugin_GettingStarted|cette page]].

Des compétences d'administration système sont tout de même nécessaires pour certaines opérations.

==== Prérequis ====

* une ou plusieurs machines (virtuelles) sur le même réseau avec un minimum de :
** deux coeurs
** 8 à 64 Go de RAM (pas plus par machine)
** 100 Go DD pour indexer la France entière (éventuellement réparti sur vos différentes machines)
* installer java (7 de [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/_java_virtual_machine.html préférence]).
* installer [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html elasticsearch]
* paramétrer correctement l'usage de la [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html#heap-sizing mémoire]. Le tas (heap) ElasticSearch doit représenter 50% de votre RAM. Par défaut, vous serez restreint à 1 Go de RAM, ce qui reste toutefois valable pour de simples tests (mais dommage si vous en avez 8 Go ou plus !). Il y a plusieurs moyens de procéder. Le plus simple est de définir la variable ES_HEAP_SIZE à la moitié de la RAM de votre noeud, mais vous devrez le faire à chaque redémarrage ('export ES_HEAP_SIZE=4G' si vous disposez de 8 Go de RAM).

Si vous ne vous en sortez pas, vous nécessitez sans doute un administrateur système. Inutile d'aller plus loin.

==== Installation ====

Sur chacune de vos machines :

cd /usr/share/elasticsearch
bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

puis sur l'une d'elles :

curl -XPUT 'http://localhost:9200/poizon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/poizon/poizon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-poizon.json
curl -XPUT 'http://localhost:9200/adresse/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/adresse/adresse/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-adresse-beginner.json
curl -XPUT 'http://localhost:9200/voie/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/voie/voie/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-voie-beginner.json
curl -XPUT 'http://localhost:9200/troncon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/troncon/troncon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-troncon.json
curl -XPUT 'http://localhost:9200/commune/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/commune/commune/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-commune.json
curl -XPUT 'http://localhost:9200/departement/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/departement/departement/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-departement.json
curl -XPUT 'http://localhost:9200/pays/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/pays/pays/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-pays.json

==== Tests ====

Il est ensuite possible d'indexer du contenu, comme une commune :

curl -XPUT 'http://localhost:9200/jdonref/commune/1' -d '{
"code_insee" : "75056",
"code_departement" : "75",
"code_pays" : "1",
"commune" : "PARIS",
"code_postal" : "75000",
"ligne7" : "FRANCE",
"type" : "commune",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

ou une voie :

curl -XPUT 'http://localhost:9200/jdonref/voie/1' -d '{
"numero_min": "1",
"numero_max": "192",
"type_de_voie": "BOULEVARD",
"article": "DE",
"voie": "HOPITAL",
"code_insee_commune" : "75056",
"code_postal" : "75013",
"code_insee": "75113",
"code_departement" : "75",
"code_pays" : "FR1",
"commune" : "PARIS",
"ligne4" : "BOULEVARD DE L HOPITAL",
"ligne6" : "75013 PARIS",
"ligne7" : "FRANCE",
"type": "voie",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

puis de tenter de les rechercher :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"BOULEVARD HOPITAL"}}}'

ou via l'url de test 'http://localhost:9200/_plugin/jdonrefv4-0.5/JDONREFv4Test.html'

Vous pouvez aussi indexer des données en masse :

Le fichier simplebulksample.json n'est pas encore disponible, les données de l'IGN sont en opendata, mais je n'ai pas pris le temps d'effectuer ce traitement.

curl -s -XPOST 'http://localhost:9200/_bulk' --data-binary @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/simplebulksample.json
curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"24 BOULEVARD HOPITAL"}}}'

==== Amusez-vous ====

A ce stade, vous pouvez indexer ce qu'il vous plaît, en remplaçant le fichier simplebulksample.json par exemple !
Commencez par vider l'index :

curl -XDELETE 'http://localhost:9200/jdonref/_query' -d '{"query":{"match_all":{}}}'

puis réindexez votre propre fichier.
Il n'y a pas de règle sur le poids d'un fichier bulk, mais son nombre de lignes est directement lié aux performances. Il s'agit simplement de faire quelques tests.
Vous pouvez suivre la [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html documentation de ElasticSearch].

Toutes les autres [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html#query-dsl requêtes] de ElasticSearch peuvent être combinées avec celle de JDONREF.
Vous pouvez par exemple filtrer votre requête sur un département :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}'

Pour en savoir plus, vous pouvez lire [[JDONREFv4_Query|cette page]] et [[JDONREFv4_Mappings|celle ci]].

==== Passage en production ====

Si vous passez suffisamment de temps sur ce plugin, après quelques tests poussés vous constaterez que cette configuration ne convient pas tout à fait pour un usage en production.
Quelques optimisations sont nécessaires. Elles sont abordées dans la section [[JDONREFv4_plugin_GettingStarted|avancée]].

JDONREFv4 Plugin BeginnersMode

2016-02-26T23:00:15Z

Julien2512 : /* Installation */

Cette page est destinée aux personnes qui souhaitent installer JDONREF mais qui ne disposent pas de compétences sur ElasticSearch.
Les utilisateurs aguerris de ElasticSearch préféreront [[JDONREFv4_plugin_GettingStarted|cette page]].

Des compétences d'administration système sont tout de même nécessaires pour certaines opérations.

==== Prérequis ====

* une ou plusieurs machines (virtuelles) sur le même réseau avec un minimum de :
** deux coeurs
** 8 à 64 Go de RAM (pas plus par machine)
** 100 Go DD pour indexer la France entière (éventuellement réparti sur vos différentes machines)
* installer java (7 de [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/_java_virtual_machine.html préférence]).
* installer [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html elasticsearch]
* paramétrer correctement l'usage de la [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html#heap-sizing mémoire]. Le tas (heap) ElasticSearch doit représenter 50% de votre RAM. Par défaut, vous serez restreint à 1 Go de RAM, ce qui reste toutefois valable pour de simples tests (mais dommage si vous en avez 8 Go ou plus !). Il y a plusieurs moyens de procéder. Le plus simple est de définir la variable ES_HEAP_SIZE à la moitié de la RAM de votre noeud, mais vous devrez le faire à chaque redémarrage ('export ES_HEAP_SIZE=4G' si vous disposez de 8 Go de RAM).

Si vous ne vous en sortez pas, vous nécessitez sans doute un administrateur système. Inutile d'aller plus loin.

==== Installation ====

Sur chacune de vos machines :

cd /usr/share/elasticsearch
bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

puis sur l'une d'elles :

curl -XPUT 'http://localhost:9200/poizon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/poizon/poizon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-poizon.json
curl -XPUT 'http://localhost:9200/adresse/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/adresse/adresse/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-adresse-beginner.json
curl -XPUT 'http://localhost:9200/voie/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/voie/voie/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-voie-beginner.json
curl -XPUT 'http://localhost:9200/troncon/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/troncon/troncon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-troncon.json
curl -XPUT 'http://localhost:9200/commune/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/commune/commune/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-commune.json
curl -XPUT 'http://localhost:9200/departement/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/departement/departement/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-departement.json
curl -XPUT 'http://localhost:9200/pays/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/pays/pays/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-pays.json

==== Tests ====

Il est ensuite possible d'indexer du contenu, comme une commune :

curl -XPUT 'http://localhost:9200/jdonref/commune/1' -d '{
"code_insee" : "75056",
"code_departement" : "75",
"code_pays" : "1",
"commune" : "PARIS",
"code_postal" : "75000",
"ligne7" : "FRANCE",
"type" : "commune",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

ou une voie :

curl -XPUT 'http://localhost:9200/jdonref/voie/1' -d '{
"numero_min": "1",
"numero_max": "192",
"type_de_voie": "BOULEVARD",
"article": "DE",
"voie": "HOPITAL",
"code_insee_commune" : "75056",
"code_postal" : "75013",
"code_insee": "75113",
"code_departement" : "75",
"code_pays" : "FR1",
"commune" : "PARIS",
"ligne4" : "BOULEVARD DE L HOPITAL",
"ligne6" : "75013 PARIS",
"ligne7" : "FRANCE",
"type": "voie",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

puis de tenter de les rechercher :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"BOULEVARD HOPITAL"}}}'

ou via l'url de test 'http://localhost:9200/_plugin/jdonrefv4-0.3/JDONREFv3Test.html'

Vous pouvez aussi indexer des données en masse :

Le fichier simplebulksample.json n'est pas encore disponible, il me faut l'accord de l'IGN pour diffuser un échantillon de leur base.

curl -s -XPOST 'http://localhost:9200/_bulk' --data-binary @/usr/share/elasticsearch/plugins/jdonrefv4-0.3/simplebulksample.json
curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"24 BOULEVARD HOPITAL"}}}'

==== Amusez-vous ====

A ce stade, vous pouvez indexer ce qu'il vous plaît, en remplaçant le fichier simplebulksample.json par exemple !
Commencez par vider l'index :

curl -XDELETE 'http://localhost:9200/jdonref/_query' -d '{"query":{"match_all":{}}}'

puis réindexez votre propre fichier.
Il n'y a pas de règle sur le poids d'un fichier bulk, mais son nombre de lignes est directement lié aux performances. Il s'agit simplement de faire quelques tests.
Vous pouvez suivre la [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html documentation de ElasticSearch].

Toutes les autres [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html#query-dsl requêtes] de ElasticSearch peuvent être combinées avec celle de JDONREF.
Vous pouvez par exemple filtrer votre requête sur un département :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}'

Pour en savoir plus, vous pouvez lire [[JDONREFv4_Query|cette page]] et [[JDONREFv4_Mappings|celle ci]].

==== Passage en production ====

Si vous passez suffisamment de temps sur ce plugin, après quelques tests poussés vous constaterez que cette configuration ne convient pas tout à fait pour un usage en production.
Quelques optimisations sont nécessaires. Elles sont abordées dans la section [[JDONREFv4_plugin_GettingStarted|avancée]].

JDONREFv4 Plugin BeginnersMode

2016-02-26T22:56:09Z

Julien2512 : /* Installation */

Cette page est destinée aux personnes qui souhaitent installer JDONREF mais qui ne disposent pas de compétences sur ElasticSearch.
Les utilisateurs aguerris de ElasticSearch préféreront [[JDONREFv4_plugin_GettingStarted|cette page]].

Des compétences d'administration système sont tout de même nécessaires pour certaines opérations.

==== Prérequis ====

* une ou plusieurs machines (virtuelles) sur le même réseau avec un minimum de :
** deux coeurs
** 8 à 64 Go de RAM (pas plus par machine)
** 100 Go DD pour indexer la France entière (éventuellement réparti sur vos différentes machines)
* installer java (7 de [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/_java_virtual_machine.html préférence]).
* installer [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup.html elasticsearch]
* paramétrer correctement l'usage de la [http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html#heap-sizing mémoire]. Le tas (heap) ElasticSearch doit représenter 50% de votre RAM. Par défaut, vous serez restreint à 1 Go de RAM, ce qui reste toutefois valable pour de simples tests (mais dommage si vous en avez 8 Go ou plus !). Il y a plusieurs moyens de procéder. Le plus simple est de définir la variable ES_HEAP_SIZE à la moitié de la RAM de votre noeud, mais vous devrez le faire à chaque redémarrage ('export ES_HEAP_SIZE=4G' si vous disposez de 8 Go de RAM).

Si vous ne vous en sortez pas, vous nécessitez sans doute un administrateur système. Inutile d'aller plus loin.

==== Installation ====

Sur chacune de vos machines :

cd /usr/share/elasticsearch
bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

puis sur l'une d'elles :

curl -XPUT 'http://localhost:9200/jdonref/' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/jdonrefv4-settings.json
curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-poizon.json
curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-adresse-beginner.json
curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-voie-beginner.json
curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-troncon.json
curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-commune.json
curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-departement.json
curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d @/usr/share/elasticsearch/plugins/jdonrefv4-0.5/mapping-pays.json

==== Tests ====

Il est ensuite possible d'indexer du contenu, comme une commune :

curl -XPUT 'http://localhost:9200/jdonref/commune/1' -d '{
"code_insee" : "75056",
"code_departement" : "75",
"code_pays" : "1",
"commune" : "PARIS",
"code_postal" : "75000",
"ligne7" : "FRANCE",
"type" : "commune",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

ou une voie :

curl -XPUT 'http://localhost:9200/jdonref/voie/1' -d '{
"numero_min": "1",
"numero_max": "192",
"type_de_voie": "BOULEVARD",
"article": "DE",
"voie": "HOPITAL",
"code_insee_commune" : "75056",
"code_postal" : "75013",
"code_insee": "75113",
"code_departement" : "75",
"code_pays" : "FR1",
"commune" : "PARIS",
"ligne4" : "BOULEVARD DE L HOPITAL",
"ligne6" : "75013 PARIS",
"ligne7" : "FRANCE",
"type": "voie",
"t0" : "22/03/2014",
"geometrie" : {
"type": "multipolygon",
"coordinates" : [
[[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]],
[[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
[[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
]
}
}'

puis de tenter de les rechercher :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"BOULEVARD HOPITAL"}}}'

ou via l'url de test 'http://localhost:9200/_plugin/jdonrefv4-0.3/JDONREFv3Test.html'

Vous pouvez aussi indexer des données en masse :

Le fichier simplebulksample.json n'est pas encore disponible, il me faut l'accord de l'IGN pour diffuser un échantillon de leur base.

curl -s -XPOST 'http://localhost:9200/_bulk' --data-binary @/usr/share/elasticsearch/plugins/jdonrefv4-0.3/simplebulksample.json
curl -XGET 'http://localhost:9200/jdonref/_search' -d '{"query":{"jdonrefv4":{"value":"24 BOULEVARD HOPITAL"}}}'

==== Amusez-vous ====

A ce stade, vous pouvez indexer ce qu'il vous plaît, en remplaçant le fichier simplebulksample.json par exemple !
Commencez par vider l'index :

curl -XDELETE 'http://localhost:9200/jdonref/_query' -d '{"query":{"match_all":{}}}'

puis réindexez votre propre fichier.
Il n'y a pas de règle sur le poids d'un fichier bulk, mais son nombre de lignes est directement lié aux performances. Il s'agit simplement de faire quelques tests.
Vous pouvez suivre la [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html documentation de ElasticSearch].

Toutes les autres [http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html#query-dsl requêtes] de ElasticSearch peuvent être combinées avec celle de JDONREF.
Vous pouvez par exemple filtrer votre requête sur un département :

curl -XGET 'http://localhost:9200/jdonref/_search' -d '{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}'

Pour en savoir plus, vous pouvez lire [[JDONREFv4_Query|cette page]] et [[JDONREFv4_Mappings|celle ci]].

==== Passage en production ====

Si vous passez suffisamment de temps sur ce plugin, après quelques tests poussés vous constaterez que cette configuration ne convient pas tout à fait pour un usage en production.
Quelques optimisations sont nécessaires. Elles sont abordées dans la section [[JDONREFv4_plugin_GettingStarted|avancée]].

JDONREFv4 Query

2016-02-26T22:46:19Z

Julien2512 : /* Changer de requête en cours de calcul */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

Prenons la requête
numero:24 ou type_de_voie:24 ou type_de_voie:boulevard ou type_de_voie:hopital ou libelle:24 ou libelle:boulevard ou libelle:hopital
qui correspond à la recherche de 24 BD HOPITAL (en omettant les codes, la commune, et la répétition pour l'exemple).

Cette requête peut retourner plusieurs catégories de résultat.
# des documents contenant 24 : 300 000
# des documents contenant boulevard : 600 000
# des documents contenant hopital : 250 000
# des documents contenant 24 boulevard : 70 000
# des documents contenant 24 hopital : 35 000
# des documents contenant boulevard hopital : 80 000
# des documents contenant 24 boulevard hopital : 10 000

Il va sans dire que la catégorie la plus représentée est celle où les termes trouvés sont seuls, et la catégorie la moins représentée celle où les 3 termes sont trouvés.
Et pourtant, il est fort probable que le document cherché soit un de ceux où les 3 termes sont trouvés.
En laissant la requête telle quelle, les meilleurs résultats seront certes ceux attendus, mais au total, 1 150 000 documents auront été parcourus.

Les 300 000 documents contenant uniquement 24 sont-ils réellement utiles ?
JDONREFv4 fait le postulat que non, et que parmi ces 300 000 documents, l'utilisateur ne saura pas retrouver ceux qui l'intéresse. Par contre, il est peut-être utile dans laisser quelques uns.

L'algorithme suivi correspond ainsi à peut près à :
# je cherche 100 documents contenant 24 ou boulevard ou hopital
# puis je continue avec 100 document contenant 24 et boulevard ou 24 et hopital ou boulevard et hopital
# puis je continue avec 100 documents contenant 24 et boulevard et hopital

Cela ne donne que 300 documents ? Et le votre n'est pas dedans ?
C'est possible. Mais les 300 documents retournés sont légitimes.
Si vous avez assez de temps pour fouiller dans 300 documents, je pense que vous avez aussi le temps d'attendre que la requête complète soit exécutée.
Nous ne parlons donc pas de la même chose.

Il s'agit ensuite d'adapter le principe à la recherche avec faute d'orthographe et l'auto-complétion.

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Exemples de calcul=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête.
La note donnée ici est indicative.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut comme analyzer de la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut libelle, mais vous pouvez le modifier.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "libelle"
}
}
}

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T22:31:33Z

Julien2512 : /* Changer de champ pour la recherche */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Exemples de calcul=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête.
La note donnée ici est indicative.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut comme analyzer de la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut libelle, mais vous pouvez le modifier.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "libelle"
}
}
}

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T22:30:30Z

Julien2512 : /* Optimisation */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Exemples de calcul=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête.
La note donnée ici est indicative.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
Attention à ce que votre champ contienne bien les payloads attendus par les checkers de la requête.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "fullName"
}
}
}

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T22:29:36Z

Julien2512 : /* Exemples de calcul en mode bulk */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Exemples de calcul=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête.
La note donnée ici est indicative.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
Attention à ce que votre champ contienne bien les payloads attendus par les checkers de la requête.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "fullName"
}
}
}

=====Optimisation=====

Si vous avez réparti vos types sur de multiples index (ce qui est conseillé pour les communes, pays et départements qui nécessite un sharding de 1 pour éviter les effets de bords voir [[JDONREFv4_plugin_GettingStarted#Optimisation_.28une_fois_que_vous_vous_.C3.AAtes_sortis_du_reste.29|getting started]]), le paramètre "maxSizePerType" vous permettra de filtrer les requêtes sur les adresses ou les voies qui seraient en trop grand nombre.
Par exemple, une requête comme
{
"query": {
"jdonrefv4" : {
"value" : "RUE"
}
}
}
retourne un très grand nombre de documents sur l'ensemble des index. Dans la France entière, il y a environ 695 000 documents qui disposent du terme 'RUE'. La requête prend alors environ (sur mon environnement de test) 2 minutes de calcul, même une fois en cache. Ces performances sont liées au très grand nombre de document à parcourir et à traiter avant de retourner le résultat.
Toutefois, il existe des pays et des communes correspondant à ce terme, et il pourrait être utile d'obtenir ces réponses !

Si vous avez segmenté vos types par index, la requête :
{
"query": {
"jdonrefv4" : {
"value" : "RUE",
"maxSizePerType": 10000
}
}
}
ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (avec 5 shards, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.

Dans une requête multi-terme, c'est la fréquence du terme le moins fréquent qui est pris en compte.

J'insiste sur le fait que ce paramètre n'est valable que si les types sont répartis sur plusieurs index. Lorsqu'ils sont dans le même index, la requête n'est pas en mesure de faire la différence entre les types de manière efficace.

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T22:28:47Z

Julien2512 : /* Modes (mode bulk - en attente de réimplémentation) */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Exemples de calcul en mode bulk=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête en mode bulk.
La note donnée ici est indicative, car en réalité elle s'appuie sur la fréquence des termes recherchés et trouvés, suivant la logique du moteur à indexation inverse.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
Attention à ce que votre champ contienne bien les payloads attendus par les checkers de la requête.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "fullName"
}
}
}

=====Optimisation=====

Si vous avez réparti vos types sur de multiples index (ce qui est conseillé pour les communes, pays et départements qui nécessite un sharding de 1 pour éviter les effets de bords voir [[JDONREFv4_plugin_GettingStarted#Optimisation_.28une_fois_que_vous_vous_.C3.AAtes_sortis_du_reste.29|getting started]]), le paramètre "maxSizePerType" vous permettra de filtrer les requêtes sur les adresses ou les voies qui seraient en trop grand nombre.
Par exemple, une requête comme
{
"query": {
"jdonrefv4" : {
"value" : "RUE"
}
}
}
retourne un très grand nombre de documents sur l'ensemble des index. Dans la France entière, il y a environ 695 000 documents qui disposent du terme 'RUE'. La requête prend alors environ (sur mon environnement de test) 2 minutes de calcul, même une fois en cache. Ces performances sont liées au très grand nombre de document à parcourir et à traiter avant de retourner le résultat.
Toutefois, il existe des pays et des communes correspondant à ce terme, et il pourrait être utile d'obtenir ces réponses !

Si vous avez segmenté vos types par index, la requête :
{
"query": {
"jdonrefv4" : {
"value" : "RUE",
"maxSizePerType": 10000
}
}
}
ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (avec 5 shards, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.

Dans une requête multi-terme, c'est la fréquence du terme le moins fréquent qui est pris en compte.

J'insiste sur le fait que ce paramètre n'est valable que si les types sont répartis sur plusieurs index. Lorsqu'ils sont dans le même index, la requête n'est pas en mesure de faire la différence entre les types de manière efficace.

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T22:28:25Z

Julien2512 : /* Fonctionnement */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie sur un mélange de multiples sous-requêtes et de mécanismes de scoring.

Les sous-requêtes sont constituées :
# de chacun des tokens saisis pour chacun des termes cherchés
# sont spécifique à chaque index (adresse, voie, ...)
# évoluent au fil de la requête. Une requête très permissive est d'abord effectuée, puis moins permissive, puis encore moins ...

Le score est influencé par plusieurs éléments :
# la présence de plusieurs termes identiques
# l'absence de termes dans le document (notamment la repetition)
# divisé par le score maximum possible pour un document

J'explique ces choix dans le détail.

Elasticsearch (tout comme lucene) fourni un outil manipulant des index inversés.
Ce qui est très efficace lorsque le scoring s'appuie sur la somme des notes associées au termes cherchés. Pour être très simplificateur, l'algorithme consiste alors à faire la somme des valeurs d'un tableau.
Néanmoins, un tableau de 5 000 éléments reste différent d'un tableau de 5 000 000 d'éléments, et le parcourir est généralement 1000 fois plus long.
Suivant la fréquence des termes, il est facile de voire passer une requête de 1ms à 1s.

Deux principes ont alors été appliqués à notre requête :
# utiliser des filtres efficaces pour limiter la taille des tableaux
# faire évoluer la requête en cours de calcul

=====Des filtres efficaces=====

Le premier point est facile à comprendre. Je prends un exemple.
Une recherche sur une adresse n'a pas de sens si le numéro n'est pas saisi.
Dans le cas contraire, la recherche d'une voie serait encombrée de l'ensemble des adresses de cette voie !
Peut-être que quelques numéros sont pertinents, mais certainement pas tous.
Un exemple de filtre efficace est alors, uniquement pour les adresses, d'imposer le numéro.

Comment imposer un numéro pour une adresse ?
Le meilleur endroit est au niveau du parser de la requête. A ce niveau, nous pouvons détecter l'index sur lequel la requête est en cours d'exécution et adapter la requête en conséquence.
Il aurait aussi été possible de modifier la requête dans la requête elle-même, au niveau de sa réécriture (rewrite). Mais quitte à être modifiée, autant la modifier le plus tôt possible.
Dans le code, c'est
if (matchesIndices(parseContext.index().name(), "*adresse*")
&& terms.stream().filter((i)->isInteger(i)).count()>0 // au moins un numéro dans la requête
&& terms.size()>1) // et deux éléments saisis

Les types suivant ne sont ainsi retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 doit être présent
|-
| adresse
| le numéro exact et l'éventuelle répétition exacte doivent être présent
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune parente
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

=====Changer de requête en cours de calcul=====

=====L'influence sur le score=====

Les filtres qui sont décrit ici n'apporte rien en terme de performances, et peuvent être potentiellement challengés si des solutions plus efficaces existent. Il s'agit uniquement de mettre les documents dans le bon ordre, ou de filtrer les résultats.

Elasticsearch comme lucene ne permettent pas de savoir si une répétition est présente ou pas dans le document sous forme de requête.
En effet, la requête générée consiste à chercher les documents qui ne matchent aucun des termes présent dans l'index !
Ce n'est efficace que pour un nombre réduit de valeurs. Mais les répétitions sont une trentaine (les lettres plus les versions longues).
Le challenge, c'est de savoir identifier si la requête n'a pas matché une répétition mais que le document en a une.
Le type de chaque sous-requête étant connu, il est simple de faire la liste des types qui ont matché.
Le code suivant est alors utilisé dans le Scorer de la requête :
if (((getTypeMask()&2)==0) && isRepetitionInDoc(doc))
this.score = 0;

Il est facile de savoir si un terme saisi n'a pas été trouvé dans le document.
Et d'influencer le score en conséquence. C'est fait ainsi :
this.score *= ((ICountable)innerScorer).count();
this.score /= this.maxCoord;
Mais il est plus difficile de savoir combien de termes dans le document aurait pu être trouvés pour influencer le score.
Par exemple, par défaut, elasticsearch (comme lucene) retourne le même score pour la recherche
9 BD PALAIS
sur les documents
9 BD PALAIS
9 BD PALAIS ROYAL
car seul les termes saisis ont une influence sur le code.
J'ai testé deux méthodes :
# associer des payloads aux termes pour fournir l'information manquante (par exemple le nombre de termes)
# utiliser la valeur d'un autre terme
La première méthode prend beaucoup de place mémoire, et ralenti le processus.
Les deux méthodes nécessitant un précalcul, je me suis tourné vers la deuxième, plus légère.
Le terme choisi est un champ "score". Il contient le score maximal à laquelle une recherche peut aboutir pour un document.
Il s'agit d'un choix. Le numéro vaut 30. La répétition vaut 30. Un toke de libelle 50. etc ...
Pour que l'absence d'un terme dans la requête influence le score, on prend le total, on le divise par le score du document, ... et c'est tout.
Ainsi, si le score des documents est :
9 BD PALAIS => 100
9 BD PALAIS ROYAL => 150
et que la recherche aurait conduit au score :
9 BD PALAIS => 100
Les résultats pour chaque document deviennent :
9 BD PALAIS => 100 %
9 BD PALAIS ROYAL => 66 %
et le premier document a maintenant un meilleur score.

Par défaut, elasticsearch (et lucene) privilégient les documents dans lequel le terme cherché apparaît plusieurs fois.
C'est très gênant pour les adresses. De nombreuses adresses disposent d'un terme présent à la fois dans le libellé et dans le nom de commune par exemple.
Il faudrait déjà savoir que le terme est trouvé plusieurs fois !
Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
this.score -= countBits(multiTokenMatch())*20;

=====Modes (mode bulk - en attente de réimplémentation)=====

Le mode bulk s'active simplement en utilisant le paramètre "mode" avec la valeur "bulk" de la sorte :

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"mode": "bulk"
}
}
}

Le paramètre mode prend deux valeurs actuellement.
#"autocomplete", il s'agit du mode par défaut, le calcul de la note correspond à la somme de la note des termes trouvés
#"bulk", la note de l'autocomplete est divisée par la somme des termes qui auraient pu être trouvés, rapporté sur 200.

=====Exemples de calcul en mode bulk=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête en mode bulk.
La note donnée ici est indicative, car en réalité elle s'appuie sur la fréquence des termes recherchés et trouvés, suivant la logique du moteur à indexation inverse.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
Attention à ce que votre champ contienne bien les payloads attendus par les checkers de la requête.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "fullName"
}
}
}

=====Optimisation=====

Si vous avez réparti vos types sur de multiples index (ce qui est conseillé pour les communes, pays et départements qui nécessite un sharding de 1 pour éviter les effets de bords voir [[JDONREFv4_plugin_GettingStarted#Optimisation_.28une_fois_que_vous_vous_.C3.AAtes_sortis_du_reste.29|getting started]]), le paramètre "maxSizePerType" vous permettra de filtrer les requêtes sur les adresses ou les voies qui seraient en trop grand nombre.
Par exemple, une requête comme
{
"query": {
"jdonrefv4" : {
"value" : "RUE"
}
}
}
retourne un très grand nombre de documents sur l'ensemble des index. Dans la France entière, il y a environ 695 000 documents qui disposent du terme 'RUE'. La requête prend alors environ (sur mon environnement de test) 2 minutes de calcul, même une fois en cache. Ces performances sont liées au très grand nombre de document à parcourir et à traiter avant de retourner le résultat.
Toutefois, il existe des pays et des communes correspondant à ce terme, et il pourrait être utile d'obtenir ces réponses !

Si vous avez segmenté vos types par index, la requête :
{
"query": {
"jdonrefv4" : {
"value" : "RUE",
"maxSizePerType": 10000
}
}
}
ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (avec 5 shards, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.

Dans une requête multi-terme, c'est la fréquence du terme le moins fréquent qui est pris en compte.

J'insiste sur le fait que ce paramètre n'est valable que si les types sont répartis sur plusieurs index. Lorsqu'ils sont dans le même index, la requête n'est pas en mesure de faire la différence entre les types de manière efficace.

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 Query

2016-02-26T21:22:45Z

Julien2512 : /* Requête et résultat */

La requête jdonrefv4 du [[JDONREFv4_Plugin|plugin]] éponyme permet de chercher efficacement des adresses correspondant aux [[JDONREFv4_Mappings|types]] de JDONREFv4.

===== Requête et résultat =====

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
}
}

Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings|index]].

Avec une requête POST du type :
curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75005 PARIS"
}
}
}'

le résultat est de la forme :
{
"_shards":{
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits":{
"total" : 1,
"hits" : [
{
"_index" : "jdonref",
"_type" : "adresse",
"_id" : "1",
"_score" : 200.0,
"_source" : {
"adr_id" : "123456789X",
"code_insee" : "75105",
"code_departement": "75",
"numero" : "24",
"type_de_voie" : "BOULEVARD",
"article" : "DE L",
"libelle" : "HOPITAL",
"commune" : "PARIS",
"code_postal" : "75005",
"ligne4": "24 BOULEVARD DE L HOPITAL",
"ligne6": "75005 PARIS",
"ligne7": "FRANCE",
"geometrie": { "type" :"point", "coordinates": [123, 456] }
}
}
]
}
}

Les types "voie", "commune", "departement", "pays" peuvent aussi être retournés.
Les coordonnées sont en WGS84 par défaut dans la version 0.2, une version ultérieure permettra de le transformer à la volée en Lambert 93.

=====Filtres=====

Il est possible de la combiner avec des filtres, par exemple pour limiter les résultats à un département précis :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter": {
"term" : { "code_departement" : "75" }
}
}
}

Ou de restreindre la recherche à une zone géographique :

{
"filtered" : {
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS"
}
},
"filter" : {
"geo_shape": {
"geometrie" : {
"shape" : {
"type" : "enveloppe",
"coordinates": [[13,53],[14,52]]
}
}
}
}
}
}

=====Fonctionnement=====

JDONREFv4Query s'appuie intégralement sur la requête [[PayloadCheckerSpanQuery]] avec le paramétrage décrit ci-après.
Outre ce paramètrage, il découpe simplement la requête qui lui est donnée en token suivant l'analyzer de recherche du champ qui lui est donné (par défaut fullName).
Si vous avez suivi [[JDONREFv4_plugin_GettingStarted]] votre analyzer de recherche sera alors jdonrefv4_search.

{ "type": "And", "checkers" : [
{ "type" : "Grouped" },
{ "type" : "Switch", "field": "_type", "clauses": {
"poizon" : { "type": "And", "checkers" : [ // pour le poizon :
{ "type": "Or" , "checkers" : [
{ "type" : "One", "payload" : 1}, // ligne1 ou
{ "type" : "One", "payload" : 2}, // ligne4
]
},
{ "type" : "BeforeAnother", "payloadbefore": 11, "another" : 2} // et numero avant ligne4
]
},
"adresse" : { "type": "And", "checkers" : [ // pour les adresses :
{ "type" : "All", "payload": 11}, // numero complet
{ "type" : "One", "payload" : 2}, // un élément de ligne4
{ "type" : "BeforeAnother", "payloadbefore": 11, "another" : 2} // numero avant ligne4
]
},
"voie" : { "type": "And", "checkers" : [ // pour les voies :
{ "type" : "One", "payload" : 2}, // un élément de ligne4
]
},
"commune" : { "type": "And", "checkers" : [ // pour les communes :
{ "type": "Or" , "checkers" : [
{ "type" : "One", "payload" : 5}, // un élément de la commune ou
{ "type": "Or" , "checkers" : [
{ "type" : "One", "payload" : 8}, // un code département ou
{ "type" : "One", "payload" : 4}, // un code arrondissement ou
{ "type" : "One", "payload" : 3}, // un code postal ou
{ "type" : "One", "payload" : 7}, // un code insee ou
{ "type" : "One", "payload" : 6} // un code insee de la commune ou
]
}
]
}
]
}
"departement" : { "type": "And", "checkers" : [ // pour les départements :
{ "type" : "One", "payload" : 8} // un élément du code département
]
}
"pays" : { "type": "And", "checkers" : [ // pour les départements :
{ "type" : "One", "payload" : 9} // un élément de la ligne7
]
}
}
}
]
}

Ce qui signifie plus clairement que les types suivant ne sont retournés en résultat que lorsque les filtres spécifiés sont vérifiés :

{| border="1"
| '''type'''
| '''filtres'''
|-
| poizon
| un élément de la ligne1 ou un élément de la ligne 4
|-
| adresse
| le numéro exact présent devant un ou des éléments de la ligne 4
|-
| voie
| un élement de la ligne 4
|-
| commune
| un élément de la commune ou un code postal, insee, département, arrondissement voire le code insee de la commune
|-
| departement
| le code département
|-
| pays
| un élément de la ligne7
|}

Et que seuls les résultats dont les éléments sont regroupés sont retournés.
Par exemple, la recherche de "230 RUE DE L HOPITAL" ne retournera pas "230 BIS RUE DE L HOPITAL" car le numéro exact n'a pas été spécifié.
La recherche de "PARIS" ne retournera jamais "BOULEVARD DE L HOPITAL 75013 PARIS" car aucun élément de la ligne4 n'a été spécifié.
etc ...

A noter que les payloads utilisés dans ces checkers sont ceux correspondant à la clause "transform" des [[JDONREFv4_Mappings|mappings]] proposés.

=====Modes (mode bulk - en attente de réimplémentation)=====

Le mode bulk s'active simplement en utilisant le paramètre "mode" avec la valeur "bulk" de la sorte :

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"mode": "bulk"
}
}
}

Le paramètre mode prend deux valeurs actuellement.
#"autocomplete", il s'agit du mode par défaut, le calcul de la note correspond à la somme de la note des termes trouvés
#"bulk", la note de l'autocomplete est divisée par la somme des termes qui auraient pu être trouvés, rapporté sur 200.

=====Exemples de calcul en mode bulk=====

Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête en mode bulk.
La note donnée ici est indicative, car en réalité elle s'appuie sur la fréquence des termes recherchés et trouvés, suivant la logique du moteur à indexation inverse.

{| border="1"
| '''requête'''
| '''résultat'''
| '''note indicative'''
| '''calcul'''
|-
| 130 RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY DUHEM 59 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4 et commune sont présents. Le code de département est correct. Le pays est absent, mais son poids est de 0.
|-
| 130 RUE REMY 59500 DOUAI DUHEM
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 166 = ((50 + 50 + 50 + 50)*0.5/4 + 50 + 50 + 0)*200/150
| Tous les éléments de ligne4 (50+50+50+50), code postal et commune (50+50) sont présents. Le pays est absent, mais son poids est de 0. L'ordre des éléments de la ligne 4 n'est pas respecté (*0.5). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY DUHEM 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 200
| Tous les éléments de ligne4, code postal, et commune sont présents. Le pays est absent, mais son poids est de 0.
|-
| RUE REMY DUHEM 59500 DOUAI
| 130 RUE REMY DUHEM 59500 DOUAI FRANCE
| 0
| Tous les éléments du code postal et commune sont présents. Le pays est absent, mais son poids est de 0. Un malus est toutefois appliqué du fait de l'absence du numéro d'adresse dans la requête, ce qui attribue une note de 0 au total.
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REMY 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 177 = ((50 + 50)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4 ((50 + 50)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| RUE REM DUH 59 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 163 = ((50*75/100 + 50*60/100)/3 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50 + 50). Le pays est absent, mais son poids est de 0. Seuls 2 termes sur 3 sont présents dans la ligne 4, et partiels ((50*75/100 + 50*60/100)/3). Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59500 DOUAI
| 59500 DOUAI FRANCE
| 200
| Le code postal et la commune sont présent. Le pays est absent, mais son poids est de 0.
|-
| 59500 DOUAI
| RUE REMY DUHEM 59500 DOUAI FRANCE
| 133 = (0 + 50 + 50 + 0) * 200 / 150
| Le code postal et la commune sont présent (50+50). La ligne 4 est absente (0). Le pays est absent, mais son poids est de 0. Le tout pondéré (/150) et ramené à 200 (*200).
|-
| 59505 DOUAI
| 59500 DOUAI FRANCE
| 100 = (0 + 50 + 0) * 200 /100
| La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
|-
| 59
| 59 FRANCE
| 200
| Le code département est présent.
|-
| FRANCE
| FRANCE
| 200
| La ligne 7 est présente.
|}

Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

=====Changer de champ pour la recherche=====
Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
Attention à ce que votre champ contienne bien les payloads attendus par les checkers de la requête.

{
"query": {
"jdonrefv4" : {
"value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
"default_field" : "fullName"
}
}
}

=====Optimisation=====

Si vous avez réparti vos types sur de multiples index (ce qui est conseillé pour les communes, pays et départements qui nécessite un sharding de 1 pour éviter les effets de bords voir [[JDONREFv4_plugin_GettingStarted#Optimisation_.28une_fois_que_vous_vous_.C3.AAtes_sortis_du_reste.29|getting started]]), le paramètre "maxSizePerType" vous permettra de filtrer les requêtes sur les adresses ou les voies qui seraient en trop grand nombre.
Par exemple, une requête comme
{
"query": {
"jdonrefv4" : {
"value" : "RUE"
}
}
}
retourne un très grand nombre de documents sur l'ensemble des index. Dans la France entière, il y a environ 695 000 documents qui disposent du terme 'RUE'. La requête prend alors environ (sur mon environnement de test) 2 minutes de calcul, même une fois en cache. Ces performances sont liées au très grand nombre de document à parcourir et à traiter avant de retourner le résultat.
Toutefois, il existe des pays et des communes correspondant à ce terme, et il pourrait être utile d'obtenir ces réponses !

Si vous avez segmenté vos types par index, la requête :
{
"query": {
"jdonrefv4" : {
"value" : "RUE",
"maxSizePerType": 10000
}
}
}
ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (avec 5 shards, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.

Dans une requête multi-terme, c'est la fréquence du terme le moins fréquent qui est pris en compte.

J'insiste sur le fait que ce paramètre n'est valable que si les types sont répartis sur plusieurs index. Lorsqu'ils sont dans le même index, la requête n'est pas en mesure de faire la différence entre les types de manière efficace.

=====Effets de bord=====

Les exemples présentés ci-dessus induisent nécessairement des effets de bords compréhensibles sur certaines recherches.

Par exemple :
#Il ne faut pas s'attendre à trouver comme meilleur résultat l'avenue de France en effectuant une recherche sur le seul mot clé "FRANCE". C'est bien entendu le pays qui aura la meilleure note ...

JDONREFv4 introduction

2016-02-26T21:20:43Z

Julien2512 : /* JDONREFv4 */

=== JDONREFv4 : Introduction ===

NB : La documentation décrite dans ce wiki est en cours de rédaction, et l'ensemble des services décrit n'est pas encore implémenté.

== JDONREFv4v3 ==

[[JDONREFv4v3]] est un simple proxy d'ElasticSearch qui peut être utilisé avec JDONREFv3. Il permet ainsi à un système d'information dans lequel l'usage de JDONREFv3 est répandu de profiter des fonctionnalités apportées par JDONREFv4.

A noter qu'à l'heure actuelle la couverture fonctionnelle complète de JDONREFv3 n'est pas assurée par JDONREFv4.
Le périmètre de JDONREF est actuellement plus étendu que celui de ElasticSearch car il est spécialisé dans le traitement d'adresses. Il s'agit des fonctions :
* de normalisation ;
* de restructuration ;
* de découpage ;
* de géocodage (ElasticSearch proposant l'indexation géographique, mais pas le calcul de l'interpolation du tronçon) ;

JDONREFv4v3 s'appuie donc sur les traitements existants de JDONREF pour ces 4 fonctions, mais utilise les fonctionnalités de ElasticSearch pour la validation et le géocodage inverse de centroïde d'adresse.

== JDONREFv4 ==

Le [[JDONREFv4_Plugin|plugin JDONREFv4 pour ElasticSearch]] permet une indexation efficace des adresses permettant de les rechercher avec une pertinence accrue.
Il passe par la définition de [[JDONREFv4_Mappings|index]] spécifiques, et une [[JDONREFv4_Query|requête]].

JDONREFv4 Mappings

2016-02-26T21:19:24Z

Julien2512 : /* Champs "obligatoires" */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoires pour travailler avec la requête JDONREF.
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert de multiples champs pour sa recherche, il est donc important de respecter le nom de ces champs. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect des indexs est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent de mettre en place une requête dédiée à chaque index.
* Le champ 'score' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en données, il va les piocher dans code_postal, code_departement, ... L'attribut "transforme" est utilisé à cet effet.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4.
Ces informations varient suivant l'index concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

JDONREFv4 Mappings

2016-02-26T21:18:33Z

Julien2512 : /* Quelques informations à lire avant de commencer */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoires pour travailler avec la requête JDONREF.
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert de multiples champs pour sa recherche, il est donc important de respecter le nom de ces champs. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect des indexs est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent de mettre en place une requête dédiée à chaque index.
* Le champ 'score' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en données, il va les piocher dans code_postal, code_departement, ... L'attribut "transforme" est utilisé à cet effet.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

JDONREFv4 Mappings

2016-02-26T21:15:25Z

Julien2512 : /* définir son propre mapping */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

JDONREFv4 Mappings

2016-02-26T21:14:59Z

Julien2512 : /* Le mapping pays */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:14:31Z

Julien2512 : /* Le mapping departement */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:13:53Z

Julien2512 : /* Le mapping commune */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:13:20Z

Julien2512 : /* Le mapping voie */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "index":"no"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:12:48Z

Julien2512 : /* Le mapping troncon */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:12:11Z

Julien2512 : /* Le mapping adresse */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"no"},
"voi_id" : { "type" : "string", "index":"no"},
"article" : { "type" : "string", "index":"no"},
"libelle" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"type_de_voie" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"code_pays" : { "type" : "string", "index":"no"},
"pays" : { "type" : "string" , "index": "no"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"commune" : { "type" : "string" , "analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"repetition" : { "type" : "string", "analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector": "yes","index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['numero']!=null) { def tokens= ctx._source['numero'].split(' '); for(x in tokens) ctx._source['numero'] += ' ' + x + '|1'; }; if (ctx._source['repetition']!=null) { def tokens= ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|2'; }; if (ctx._source['type_de_voie']!=null) { def tokens= ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|3'; }; if (ctx._source['libelle']!=null) { def tokens= ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens= ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|5'; }; if (ctx._source['code_departement']!=null) { def tokens= ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|6'; }; if (ctx._source['code_arrondissement']!=null) { def tokens= ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|7'; }; if (ctx._source['code_insee']!=null) { def tokens= ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|8'; }; if (ctx._source['code_insee_commune']!=null) { def tokens= ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|9'; }; if (ctx._source['commune']!=null) { def tokens= ctx._source['commune'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|10'; }; "
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:11:25Z

Julien2512 : /* Le mapping poizon */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:11:09Z

Julien2512 : /* Le mapping poizon */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"codes" : { "type" : "string", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search"},
"numero" : { "type" : "string", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"score" : { "type" : "string", "term_vector":"yes", "index":"analyzed" , "analyzer":"jdonrefv4_score_analyzer"}
},
"transform": {
"lang" : "groovy",
"script" : "ctx._source['score']= ''; if (ctx._source['ligne1']!=null) { def tokens= ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|11'; }; if (ctx._source['ligne4']!=null) { def tokens= ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|12'; }; if (ctx._source['ligne6']!=null) { def tokens= ctx._source['ligne6'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|13'; }; if (ctx._source['ligne7']!=null) { def tokens= ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['score'] += ' ' + x + '|14'; };"
}
}

}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:09:45Z

Julien2512 : /* Champs "obligatoires" */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
| au moins 1
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['ligne1']!=null) { def tokens = ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|1'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Mappings

2016-02-26T21:08:59Z

Julien2512 : /* Champs "obligatoires" */

JDONREFv4 introduit différents mapping permettant de gérer des adresses.

C'est le POI ou la Zone qui dispose de la plus grande richesse d'information, mais les autres mappings peuvent disposer d'informations qui leurs sont propres (notamment leur géométrie).

Ils sont fournis dans le plugin sous la forme de fichiers json.

===== Quelques informations à lire avant de commencer =====

Les mappings proposés dans cette page ne sont pas obligatoire pour travailler avec la requête JDONREF (voir [[JDONREFv4_Mappings#son propre mapping|définir son propre mapping]]).
Toutefois, si vous débutez avec elasticsearch, il sera sans doute plus simple de commencer avec les mappings fournis.

Le mapping du type "poizon" peut être appliqué à tous les types, car il est le plus générique (si un champ n'est pas utilisé, cela ne prend pas de place).
Toutefois, pour plus de lisibilité, les mappings de chaque type sont fournis de manière allégée.

Les mappings qui suivent disposent aussi de quelques particularités à connaître pour leur bonne lecture.

* JDONREFv4 se sert d'un unique champ pour sa recherche, mais les mappings proposés le construit à partir des champs stockés (store:true). Il est donc important de respecter le nom de ces champs. [[JDONREFv4_Query|requête]]. Les autres sont aussi généralement associés à une adresse mais ne lui sont pas indispensables.
* Le respect du type est nécessaire pour le bon usage de la [[JDONREFv4_Query|requête]]. Ils permettent un calcul de règles métier associées à chaque type.
* Le champ 'codes' est un champ calculé à partir d'autres. Il n'est donc pas nécessaire de l'alimenter en donnée, il va les piocher dans code_postal, code_departement, ... L'attribut copyTo est utilisé à cet effet.
* Le champ 'fullName' est lui aussi calculé à partir de l'ensemble des champs indexés concernant une adresse. C'est sur ce champ qu'est calculé la requête. Il s'appuie sur l'attribut "transform" pour sa construction.
* La plupart des champs ne sont pas stockés dans l'index, mais peuvent toujours être obtenus au travers du champ spécial _source (hormis la géométrie). Cela permet d'alléger le poids de l'index.
* Le champ géométrie est exclus du champ _source pour éviter de surcharger la base. Les géométries des communes sont particulièrement gourmandes. Leur géométrie n'est donc pas du tout accessible (ni même en spécifiant le champ), mais uniquement utilisée à titre de requêtage spatial (topologique). Par contre, une géométrie "pin" est conservée comme géocodage au centroïde et toujours présent dans le champ _source (et lui aussi requêtable).
* Les champs qui sont marqués "index":"not_analyzed" peuvent être utilisés dans des requêtes avec des valeurs brutes (ils ne sont pas analysés). Cela semble pertinent pour les codes, les identifiants, tout ce qui n'est pas du langage naturel en somme. Dans un champ comme "ligne4", la distinction des termes ne pourra donc pas être réalisée.
* Vous pouvez bien sûr ajouter autant de champs que vous le souhaitez, construire des requêtes avec, ... la requête jdonrefv4 n'est qu'un outil comme un autre !

===== Glossaire =====

Les champs utilisés dans chacun des mappings sont décrit dans ce tableau.
Même si la plupart des informations qu'il présente sont évidente, ce tableau m'a été demandé. Il permet de lever l'ambiguité sur l'usage de certain terme de manière synthétique.
Il reprend aussi par conséquent tous les champs du mapping poizon.

Tous ces champs peuvent ne pas être remplis ! Par contre, si les mappings proposés sont utilisés, il faut respecter leur orthographe.

{| border="1"
| '''terme'''
| '''description'''
|-
| poizon_id
| identifiant métier du poi ou de la zone considéré
|-
| adr_id
| identifiant métier de l'adresse (du poi ou de la zone, lorsqu'il s'agit d'un poi ou d'une zone)
|-
| tro_id
| identifiant métier du troncon (auquel appartient l'adresse, lorsqu'il y a une adresse)
|-
| voi_id
| identifiant métier de la voie (auquel appartient le troncon, lorsqu'il y a un troncon)
|-
| code_insee
| code insee de la voie
|-
| code_insee_commune
| code insee de la commune au cas où code insee représente un arrondissement
|-
| code_postal
| code postal de la voie
|-
| code_departement
| code du département où se situe l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| code_pays
| code du pays où se situe le département, la commune, l'adresse, la voie, le troncon, le poi ou la zone ...
|-
| codes
| Il s'agit d'un champ calculé qui contient tous les codes qui permettent de trouver une commune (du département au code postal, en passant par le code insee, d'arrondissement, ou de la commune)
|-
| code_arrondissement
| code de l'arrondissement si cette notion existe
|-
| numero
| numero de l'adresse
|-
| repetition
| BIS, TER, QUATER, QUINQUIES, A, B, C, ...
|-
| type_de_voie
| RUE, BOULEVARD, ... le type de voie de l'adresse ou de la voie
|-
| article
| le petit article qui se trouve entre le type de voie et le libelle. Comme dans BOULEVARD DE L HOPITAL : "DE L".
|-
| libelle
| le libelle complet de la voie (sans article)
|-
| commune
| lol
|-
| pays
| généralement FRANCE, mais le type pays permet de tous les indexer
|-
| t0 et t1
| respectivement le début (inclus) et la fin (exclus) de validité de l'adresse
|-
| poizon_service
| les poi et les zones sont généralement décomposés en plusieurs entités. Il pourrait très bien s'agir de type elasticsearch, mais j'ai pour le moment choisi de les distinguer dans ce champ.
|-
| ligne 1, ligne2, ligne3, ...
| les lignes au sens de la norme postale. Seule la ligne1 et la ligne7 est utilisée actuellement dans le mapping (sans doute la ligne3 à l'avenir). Les autres champs sont donc laissés pour information, et disponible dans les résultats dans le champ _source.
|-
| pin
| généralement le centroïde de l'objet considéré
|-
| geometrie
| la géométrie exacte de l'objet considéré. Elle est confondu avec le pin pour les ponctuels. Elle n'est pas stockée, mais indexée pour les requêtes topologiques.
|-
| fullName
| ce champ est calculé à partir des autres pour permettre une recherche sur une seule ligne. Le champ "transform" est utilisé à cet effet.
|}

===== Champs "obligatoires" =====

Aucun champ n'est réellement obligatoire dans le sens où s'il est absent il n'est simplement pas pris en compte.
Toutefois, il reste important de savoir quels champs sont réellement utiles ou pas.

Le tableau qui suit présente les informations qui sont actuellement utilisées par la requête jdonrefv4 via le champ "transform".
Ces informations varient suivant le type concerné.

{| border="1"
| '''terme'''
| '''poizon'''
| '''adresse'''
| '''voie'''
| '''commune'''
| '''departement'''
| '''pays'''
|-
| ligne1,numero, repetition, type_de_voie, article, libelle
| au moins 1
|
|
|
|
|
|-
| numero
|
| obligatoire
|
|
|
|
|-
| repetition
|
| optionnel
|
|
|
|
|-
| type_de_voie, article, libelle
|
| au moins 1
|
|
|
|
|-
| code_postal, code_insee, code_departement, code_arrondissement, commune
| optionnel
|
|
| au moins 1
|
|
|-
| code_departement
|
|
|
|
| obligatoire
|
|-
| ligne7
| optionnel
| optionnel
| optionnel
| optionnel
| optionnel
| obligatoire
|-
| code_pays
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
| inutilisé
|}

===== Le mapping poizon =====

Un POIZON est un POI (point d'intérêt) ou une Zone (géographique).
Leur géométrie est différente : un POI est un point, tandis qu'une zone est généralement un polygone (ou multi-polygone).
Le type geo_shape est alors employé pour leur géométrie commune.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/poizon/_mapping' -d '{
"poizon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"poizon_id" : { "type" : "string", "index":"not_analyzed"},
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"poizon_service" : { "type" : "integer", "index":"not_analyzed"},
"ligne1" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['ligne1']!=null) { def tokens = ctx._source['ligne1'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|1'; };"
}
}
}'

===== Le mapping adresse =====

Après les type poizon, le type adresse est le plus complet. Sa géométrie est un point, mais pour des raisons pratiques, le type geo_shape est employé. Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/adresse/_mapping' -d '{
"adresse": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"adr_id" : { "type" : "string", "index":"not_analyzed"},
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero" : { "type" : "integer", "index":"not_analyzed"},
"repetition" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne2" : { "type" : "string", "index":"no"},
"ligne3" : { "type" : "string", "index":"no"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['numero']!=null) { ctx._source['fullName'] += ' ' + ctx._source['numero'] + '|11'; }; if (ctx._source['repetition']!=null) { def tokens = ctx._source['repetition'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|11'; }; if (ctx._source['type_de_voie']!=null) { def tokens = ctx._source['type_de_voie'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['article']!=null) { def tokens = ctx._source['article'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; }; if (ctx._source['libelle']!=null) { def tokens = ctx._source['libelle'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping troncon =====

Le mapping troncon correspond à une portion de voie. Sa géométrie est une linestring.
Il dispose de bornes de début et de fin. Mais contrairement à la base de donnée PostgreSQL de JDONREF, il n'a pas de bornes pour chaque coté du troncon (2 troncons sont créés).
Il n'est pas utilisé par la [[JDONREFv4_Query|requête]] mais pourrait l'être ultérieurement pour fournir une interpolation métrique du géocodage.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/troncon/_mapping' -d '{
"troncon": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"tro_id" : { "type" : "string", "index":"not_analyzed"},
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_debut" : { "type" : "integer", "index":"not_analyzed"},
"numero_fin" : { "type" : "integer", "index":"not_analyzed"},
"repetition_debut" : { "type" : "string", "index":"not_analyzed"},
"repetition_fin" : { "type" : "string", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping voie =====

Le mapping voie correspond à une adresse sans numéro. Sa géométrie est une linestring (en attendant l'implémentation du multilinestring par elasticsearch).
Elle dispose d'un numéro de début et de fin.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/voie/_mapping' -d '{
"voie": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"voi_id" : { "type" : "string", "index":"not_analyzed"},
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"numero_min" : { "type" : "integer", "index":"not_analyzed"},
"numero_max" : { "type" : "integer", "index":"not_analyzed"},
"type_de_voie" : { "type" : "string", "index":"not_analyzed"},
"article" : { "type" : "string", "index":"not_analyzed"},
"libelle" : { "type" : "string", "index":"not_analyzed"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes","fullName"]},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne4" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; }; if (ctx._source['ligne4']!=null) { def tokens = ctx._source['ligne4'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|2'; };"
}
}
}'

===== Le mapping commune =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/commune/_mapping' -d '{
"commune": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_insee" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_departement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_insee_commune" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"commune" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"code_arrondissement" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"code_postal" : { "type" : "string", "index":"not_analyzed", "copy_to": ["codes"]},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne5" : { "type" : "string", "index":"no"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; }; if ( ctx._source['code_insee']!=null) { def tokens = ctx._source['code_insee'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|7'; }; if (ctx._source['code_insee_commune']!=null) { def tokens = ctx._source['code_insee_commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|6'; }; if (ctx._source['commune']!=null) { def tokens = ctx._source['commune'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|5'; }; if (ctx._source['code_arrondissement']!=null) { def tokens = ctx._source['code_arrondissement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|4'; }; if (ctx._source['code_postal']!=null) { def tokens = ctx._source['code_postal'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|3'; };"
}
}
}'

===== Le mapping departement =====

Le mapping commune a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/departement/_mapping' -d '{
"departement": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_departement" : { "type" : "string", "term_vector" : "with_positions_offsets", "index":"not_analyzed", "copy_to": ["codes"]},
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"codes" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne6" : { "type" : "string", "index": "no"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; }; if (ctx._source['code_departement']!=null) { def tokens = ctx._source['code_departement'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|8'; };"
}
}
}'

===== Le mapping pays =====

Le mapping pays a pour géométrie un multipolygon, sans extrusion.
Son mapping est défini de la manière suivante :

$ curl -XPUT 'http://localhost:9200/jdonref/pays/_mapping' -d '{
"pays": {
"_type": {"store": true},
"_source": {"excludes": ["geometrie"]},
"properties" : {
"code_pays" : { "type" : "string" , "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_codes_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pays" : { "type" : "string" , "index": "no"},
"t0" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"t1" : { "type" : "date", "format": "YYYY-MM-dd HH:mm:ss", "index":"not_analyzed"},
"ligne7" : { "type" : "string", "term_vector" : "with_positions_offsets", "index_analyzer":"jdonrefv4_index","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"},
"pin" : { "properties" : { "centroide" : { "type" : "geo_point" , "fielddata" : { "format" : "compressed" , "precision" : "1cm"}}}},
"geometrie" : { "type" : "geo_shape", "precision": "1cm", "tree": "quadtree"},
"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"jdonrefv4_index_token_count","search_analyzer":"jdonrefv4_search", "similarity":"jdonrefv4"}
},
"transform" : {
"lang" : "groovy",
"script" : "ctx._source['fullName'] = ''; if (ctx._source['ligne7']!=null) { def tokens = ctx._source['ligne7'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|9'; }; if (ctx._source['code_pays']!=null) { def tokens = ctx._source['code_pays'].split(' '); for(x in tokens) ctx._source['fullName'] += ' ' + x + '|10'; };"
}
}
}'

===== définir son propre mapping =====

JDONREFv4 n'attend qu'un unique champ de recherche (qui est personnalisable). Prenons l'exemple du champ de recherche fullName.
Le minimum pour faire fonctionner la requête jdonrefv4 est :
#un unique champ de recherche. Il s'agit de fullName par défaut, mais il est personnalisable.
#le respect des types poizon, adresse, voie, commune, departement, pays (et troncon). Pour le moment, ils ne peuvent pas être personnalisés
#l'utilisation des payloads appropriés. Il doit s'agir d'entier. Le séparateur reste personnalisable dans les settings de votre index.

Outre le champ de recherche, la requête jdonrefv4 n'est pas personnalisable. Il ne vous est donc pas possible actuellement (sans développement) d'ajouter de nouveau payloads. Les payloads suivant doivent donc être utilisés :
* 10 = code_pays
* 9 = ligne7
* 8 = code_departement
* 7 = code_insee
* 6 = code_insee_commune
* 5 = commune
* 4 = code_arrondissement
* 3 = code_postal
* 11 = numero, repetition
* 2 = type_de_voie, article, libelle
* 1 = ligne1

JDONREFv4 Plugin

2016-02-26T21:05:07Z

Julien2512 : /* Includes */

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

Hercule had better watch out !

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.7'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.5/JDONREFv4Test.html

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5beta
| 1.7.X
| 2016-02-26
| Performances. Need a big tuning by now !
|-
| 0.5
| 1.7.X
| 2016-06-31
| final wildcard, fuzzyness, general performances
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed for now).
|-
| [[PayloadCheckerSpanFilter|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads, not used by jdonrefv4 any more).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies, not used by jdonrefv4 any more).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| [[jdonrefv4-settings.json]]
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support, not used by jdonrefv4 any more)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support, not used by jdonrefv4 any more).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|-
| JDONREFv4Test.html
| site
| since 0.4. Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

JDONREFv4 Plugin

2016-02-26T20:58:46Z

Julien2512 : /* Releases */

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

Hercule had better watch out !

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.7'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.5/JDONREFv4Test.html

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5beta
| 1.7.X
| 2016-02-26
| Performances. Need a big tuning by now !
|-
| 0.5
| 1.7.X
| 2016-06-31
| final wildcard, fuzzyness, general performances
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed for now).
|-
| [[PayloadCheckerSpanFilter|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads, not used by jdonrefv4 any more).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies, not used by jdonrefv4 any more).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| jdonrefv4-settings.json
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support, not used by jdonrefv4 any more)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support, not used by jdonrefv4 any more).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|-
| JDONREFv4Test.html
| site
| since 0.4. Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

JDONREFv4 Plugin

2016-02-26T20:58:20Z

Julien2512 : v4.0.5beta

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

Hercule had better watch out !

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.7'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.5 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.5.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.5/JDONREFv4Test.html

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5beta
| 1.7.X
| 2016-02-26
| Performances. Need a big tuning by now !
|-
| 0.5
| 1.3.X
| 2016-06-31
| final wildcard, fuzzyness, general performances
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed for now).
|-
| [[PayloadCheckerSpanFilter|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads, not used by jdonrefv4 any more).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies, not used by jdonrefv4 any more).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| jdonrefv4-settings.json
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support, not used by jdonrefv4 any more)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support, not used by jdonrefv4 any more).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|-
| JDONREFv4Test.html
| site
| since 0.4. Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

JDONREFv4 Plugin

2015-07-08T20:56:54Z

Julien2512 :

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

Hercule had better watch out !

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.3+'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.3 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.3.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.
The same will arise soon for PayloadCheckerSpanQuery.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.3/JDONREFv3Test.html

It only supports index named 'jdonref' for now.
Of course there is no such limitation for jdonrefv4 nor PayloadCheckerSpanQuery.

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5
| 1.3.X
| 2016-06-31
| explain, score tuning & fuzzy match
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed). Read [[PayloadCheckerSpanQuery|PayloadCheckerSpanQuery]].<br> 0.3beta introduce usage of UnsplitFilter
|-
| [[PayloadCheckerSpanFilter|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads used by jdonrefv4).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| jdonrefv4-settings.json
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

Accueil

2015-07-08T20:53:15Z

Julien2512 :

Bienvenue dans le wiki de JDONREF.
Ce wiki est en cours de documentation dans le cadre du portage de JDONREF pour ElasticSearch.

Cette documentation et les livrables correspondant sont soumis à licence. Vous trouverez un exemplaire de cette licence [[JDONREFv4_licence|ici]].

Hercule n'a qu'à bien se tenir.

== Documentation ==

[[JDONREFv4_Plugin_BeginnersMode|Prêt à démarrer (débutant)]] avec le plugin JDONREFv4 pour ElasticSearch.

[[JDONREFv4_plugin_GettingStarted|Prêt à démarrer (advanced mode)]] avec le plugin JDONREFv4 pour ElasticSearch.

[[JDONREFv4_Plugin|Plugin JDONREFv4 pour ElasticSearch (expert mode)]]

[[JDONREFv4]] (en cours de rédaction).

[[JDONREFv4v3|JDONREFv4v3 API]] (en cours de rédaction).

L'accès aux documentations existantes de JDONREFv3 au format PDF est disponible ici : [https://adullact.net/frs/?group_id=632]

Accueil

2015-07-08T20:47:11Z

Julien2512 :

Bienvenue dans le wiki de JDONREF.
Ce wiki est en cours de documentation dans le cadre du portage de JDONREF pour ElasticSearch.

Cette documentation et les livrables correspondant sont soumis à licence. Vous trouverez un exemplaire de cette licence [[JDONREFv4_licence|ici]].

Hercule n'a plus qu'à bien se tenir.

== Documentation ==

[[JDONREFv4_Plugin_BeginnersMode|Prêt à démarrer (débutant)]] avec le plugin JDONREFv4 pour ElasticSearch.

[[JDONREFv4_plugin_GettingStarted|Prêt à démarrer (advanced mode)]] avec le plugin JDONREFv4 pour ElasticSearch.

[[JDONREFv4_Plugin|Plugin JDONREFv4 pour ElasticSearch (expert mode)]]

[[JDONREFv4]] (en cours de rédaction).

[[JDONREFv4v3|JDONREFv4v3 API]] (en cours de rédaction).

L'accès aux documentations existantes de JDONREFv3 au format PDF est disponible ici : [https://adullact.net/frs/?group_id=632]

Fichier:.wgLogo.png

2015-07-08T20:40:21Z

Julien2512 : Hydre de Lerne

Hydre de Lerne

UnsplitFilter

2015-05-09T01:18:06Z

Julien2512 : /* Features */

Detokenize tokens in order to reduce term query frequencies for performance consideration, that is call an unsplit token filter for elasticsearch.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD PARIS 07 HOPITAL" }

with the following mapping :

"fullName" : {"type": "string", "index_analyzer":"myAnalyzer", "search_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["lowercase", "unsplit_filter"]
}
},
"filter" : {
"unsplit_filter" : {
"type": "unsplit",
"min_words_unsplitted" : 3,
"keep_originals" : false
}
}
}
}
}

will index these terms :
* 07BOULEVARDHOPITALPARIS
* 07BOULEVARDHOPITAL
* 07BOULEVARDPARIS
* 07HOPITALPARIS
* BOULEVARDHOPITALPARIS

so that the request :

{
"query_string" :
{
"default_field":"fullName",
"query":"BOULEVARD PARIS 07",
"analyzer" : "myAnalyzer"
}
}

will match the document.

Note that 07BOULEVARDPARIS got a very lower frequency than 07, BOULEVARD, and PARIS.

===== How it works =====

For each token given to the unsplit filter, all ordered combinations are considered.
That mean unsplit filter can be used with synonyms and ngrams, and nearly all other token filters ([https://adullact.net/forum/forum.php?forum_id=2429 tell me] which one does not works !).

The combination tokens got an 'UNSPLITED' token type.

The unsplit token filter sort tokens in each combination (as strings).

There is a few parameters in order to control theses combinations.

===== Features =====

{| border="1"
| '''Setting'''
| '''description'''
|-
| keep_originals
| (true) Keep original tokens in token stream (so that they remain searchable)
|-
| frequent_terms_only
| (true) Uses path parameter as a filter on tokens that are involved in combinations. Set to false only when path is not used.
|-
| path
| (/usr/share/elasticsearch/plugins/jdonrefv4-0.2/word84.txt) path to the file in which the unsplit token filter will find tokens involved in combinations. See word84.txt in the plugin as an example.
|-
| min_words_unsplitted
| (2) Minimum number of tokens in each combination. Set it to 1 with keep_originals to true will index each original token twice (with different token types). 0 is a special value that mean the maximum value for each token stream. In other words, only 07BOULEVARDHOPITALPARIS will be generated. min_words_unsplitted can be a percentage like "70%".
|-
| max_subwords
| (1) Set the maximum number of subwords in each combination. Tokens within the same position and the token type "NGRAM" are considered to be subwords. With max_subwords=1 (default value), that means 07BOULEPAR won't be indexed, but 07BOULEVARDPAR and 07BOULEPARIS will.
|-
| subwords_types
| (NGRAM) Since 0.4. You might change the subwords's token type that max_subwords parameter tell about.
|-
| required_payloads
| (none) Since 0.4. Tokens with these payloads will appear in each combination. With "required_payloads":[11], that mean each combination from 24|11 BOULEVARD|2 PARIS|2 07|3 HOPITAL|5 will include 24 because token 24 is associate with the payload 11. These token can't be alone (alone_payloads) at the same time for now.
|-
| ordered_payloads
| (none) Since 0.4. Groups of tokens with the same payload are taken in order, so that only the last can be a subword. With "ordered_payloads":[2], that mean 07BOULEHOPITAL won't be indexed, but 07BOULEVARDHOP will because HOPITAL is the last word from tokens with payload 2.
|-
| alone_payloads
| (none) Since 0.4. Only one token by group with the same payload appear in each combination. With "alone_payloads":[2], that mean the combination BOULEHOPITAL won't be indexed because BOULE et HOPITAL got the same payload that is 2. These token can't be required (required_payloads) at the same time for now.
|-
| at_least_one_payloads
| (none) Since 0.4. One or more token by group with the same payload appear in each combination. With "at_least_one_payloads":[2], that mean the combination 07PARIS won't be indexed because BOULE or HOPITAL got the same payload that is 2 and at least one is mandatory.
|-
| span_payload
| (none) Each combination token will be given that payload.
|-
| span_score_payload
| (false) Since 0.4. Make a score for each combination as their payloads. Score formula is made of score_items and score_value. It is a relative score, that mean it
|-
| score_maximum
| (200) Since 0.4. The score made by span_score_payload is absolute, that mean if it reach the maximum, the combination match 100% the query.
|-
| score_items
| (none) Since 0.4. score_items & score_value works together. For each score_items a payload integer value is associated with a score in score_value. Formula follow alone_payloads and at_least_one_payloads and required_payloads. That mean for payloads referenced in alone_payloads you only nead one token to get the score_value. Combinations without required payloads won't be generated, that mean a score of 0. Other payloads are cumulative : that mean one score_value by token of each payload. The total score is calculated by cross_multiplication.
|-
| score_value
| (none) Since 0.4. See score_items.
|-
| frequent_terms_limit
| (0) Since 0.4. Combination mades of tokens from path file only are limited with the frequent_terms_limit parameter. That means no more than frequent_terms_limit combination made of tokens from path file only will be indexed. 0 value means no limit.
|-
| minimum_score
| (100) Since 0.4. Used with span_score_payload only. Combination of score under minimum_score won't be indexed.
|-
| delimiter
| (none) Tokens inside a combination will be separated by this one character wide delimiter.
|}

UnsplitFilter

2015-05-03T19:39:35Z

Julien2512 : /* Features */

Detokenize tokens in order to reduce term query frequencies for performance consideration, that is call an unsplit token filter for elasticsearch.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD PARIS 07 HOPITAL" }

with the following mapping :

"fullName" : {"type": "string", "index_analyzer":"myAnalyzer", "search_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["lowercase", "unsplit_filter"]
}
},
"filter" : {
"unsplit_filter" : {
"type": "unsplit",
"min_words_unsplitted" : 3,
"keep_originals" : false
}
}
}
}
}

will index these terms :
* 07BOULEVARDHOPITALPARIS
* 07BOULEVARDHOPITAL
* 07BOULEVARDPARIS
* 07HOPITALPARIS
* BOULEVARDHOPITALPARIS

so that the request :

{
"query_string" :
{
"default_field":"fullName",
"query":"BOULEVARD PARIS 07",
"analyzer" : "myAnalyzer"
}
}

will match the document.

Note that 07BOULEVARDPARIS got a very lower frequency than 07, BOULEVARD, and PARIS.

===== How it works =====

For each token given to the unsplit filter, all ordered combinations are considered.
That mean unsplit filter can be used with synonyms and ngrams, and nearly all other token filters ([https://adullact.net/forum/forum.php?forum_id=2429 tell me] which one does not works !).

The combination tokens got an 'UNSPLITED' token type.

The unsplit token filter sort tokens in each combination (as strings).

There is a few parameters in order to control theses combinations.

===== Features =====

{| border="1"
| '''Setting'''
| '''description'''
|-
| keep_originals
| (true) Keep original tokens in token stream (so that they remain searchable)
|-
| frequent_terms_only
| (true) Uses path parameter as a filter on tokens that are involved in combinations. Set to false only when path is not used.
|-
| path
| (/usr/share/elasticsearch/plugins/jdonrefv4-0.2/word84.txt) path to the file in which the unsplit token filter will find tokens involved in combinations. See word84.txt in the plugin as an example.
|-
| min_words_unsplitted
| (2) Minimum number of tokens in each combination. Set it to 1 with keep_originals to true will index each original token twice (with different token types). 0 is a special value that mean the maximum value for each token stream. In other words, only 07BOULEVARDHOPITALPARIS will be generated. min_words_unsplitted can be a percentage like "70%".
|-
| max_subwords
| (1) Set the maximum number of subwords in each combination. Tokens within the same position and the token type "NGRAM" are considered to be subwords. With max_subwords=1 (default value), that means 07BOULEPAR won't be indexed, but 07BOULEVARDPAR and 07BOULEPARIS will.
|-
| subwords_types
| (NGRAM) Since 0.4. You might change the subwords's token type that max_subwords parameter tell about.
|-
| required_payloads
| (none) Since 0.4. Tokens with these payloads will appear in each combination. With "required_payloads":[11], that mean each combination from 24|11 BOULEVARD|2 PARIS|2 07|3 HOPITAL|5 will include 24 because token 24 is associate with the payload 11. These token can't be alone (alone_payloads) at the same time for now.
|-
| ordered_payloads
| (none) Since 0.4. Groups of tokens with the same payload are taken in order, so that only the last can be a subword. With "ordered_payloads":[2], that mean 07BOULEHOPITAL won't be indexed, but 07BOULEVARDHOP will because HOPITAL is the last word from tokens with payload 2.
|-
| alone_payloads
| (none) Since 0.4. Only one token by group with the same payload appear in each combination. With "alone_payloads":[2], that mean the combination BOULEHOPITAL won't be indexed because BOULE et HOPITAL got the same payload that is 2. These token can't be required (required_payloads) at the same time for now.
|-
| at_least_one_payloads
| (none) Since 0.4. One or more token by group with the same payload appear in each combination. With "at_least_one_payloads":[2], that mean the combination 07PARIS won't be indexed because BOULE or HOPITAL got the same payload that is 2 and at least one is mandatory.
|-
| span_payload
| (none) Each combination token will be given that payload.
|-
| span_score_payload
| (false) Since 0.4. Make a score for each combination as their payloads. Score formula is made of score_items and score_value. It is a relative score, that mean it
|-
| score_maximum
| (200) Since 0.4. The score made by span_score_payload is absolute, that mean if it reach the maximum, the combination match 100% the query.
|-
| score_items
| (none) Since 0.4. score_items & score_value works together. For each score_items a payload integer value is associated with a score in score_value. Formula follow alone_payloads and at_least_one_payloads and required_payloads. That mean for payloads referenced in alone_payloads you only nead one token to get the score_value. Combinations without required payloads won't be generated, that mean a score of 0. Other payloads are cumulative : that mean one score_value by token of each payload. The total score is calculated by cross_multiplication.
|-
| score_value
| (none) Since 0.4. See score_items.
|-
| delimiter
| (none) Tokens inside a combination will be separated by this one character wide delimiter.
|}

UnsplitFilter

2015-05-03T19:07:27Z

Julien2512 : /* Features */

Detokenize tokens in order to reduce term query frequencies for performance consideration, that is call an unsplit token filter for elasticsearch.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD PARIS 07 HOPITAL" }

with the following mapping :

"fullName" : {"type": "string", "index_analyzer":"myAnalyzer", "search_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["lowercase", "unsplit_filter"]
}
},
"filter" : {
"unsplit_filter" : {
"type": "unsplit",
"min_words_unsplitted" : 3,
"keep_originals" : false
}
}
}
}
}

will index these terms :
* 07BOULEVARDHOPITALPARIS
* 07BOULEVARDHOPITAL
* 07BOULEVARDPARIS
* 07HOPITALPARIS
* BOULEVARDHOPITALPARIS

so that the request :

{
"query_string" :
{
"default_field":"fullName",
"query":"BOULEVARD PARIS 07",
"analyzer" : "myAnalyzer"
}
}

will match the document.

Note that 07BOULEVARDPARIS got a very lower frequency than 07, BOULEVARD, and PARIS.

===== How it works =====

For each token given to the unsplit filter, all ordered combinations are considered.
That mean unsplit filter can be used with synonyms and ngrams, and nearly all other token filters ([https://adullact.net/forum/forum.php?forum_id=2429 tell me] which one does not works !).

The combination tokens got an 'UNSPLITED' token type.

The unsplit token filter sort tokens in each combination (as strings).

There is a few parameters in order to control theses combinations.

===== Features =====

{| border="1"
| '''Setting'''
| '''description'''
|-
| keep_originals
| (true) Keep original tokens in token stream (so that they remain searchable)
|-
| frequent_terms_only
| (true) Uses path parameter as a filter on tokens that are involved in combinations. Set to false only when path is not used.
|-
| path
| (/usr/share/elasticsearch/plugins/jdonrefv4-0.2/word84.txt) path to the file in which the unsplit token filter will find tokens involved in combinations. See word84.txt in the plugin as an example.
|-
| min_words_unsplitted
| (2) Minimum number of tokens in each combination. Set it to 1 with keep_originals to true will index each original token twice (with different token types). 0 is a special value that mean the maximum value for each token stream. In other words, only 07BOULEVARDHOPITALPARIS will be generated. min_words_unsplitted can be a percentage like "70%".
|-
| max_subwords
| (1) Set the maximum number of subwords in each combination. Tokens within the same position and the token type "NGRAM" are considered to be subwords. With max_subwords=1 (default value), that means 07BOULEPAR won't be indexed, but 07BOULEVARDPAR and 07BOULEPARIS will.
|-
| subwords_types
| (NGRAM) Since 0.4. You might change the subwords's token type that max_subwords parameter tell about.
|-
| required_payloads
| (none) Since 0.4. Tokens with these payloads will appear in each combination. With "required_payloads":[11], that mean each combination from 24|11 BOULEVARD|2 PARIS|2 07|3 HOPITAL|5 will include 24 because token 24 is associate with the payload 11.
|-
| ordered_payloads
| (none) Since 0.4. Groups of tokens with the same payload are taken in order, so that only the last can be a subword. With "ordered_payloads":[2], that mean 07BOULEHOPITAL won't be indexed, but 07BOULEVARDHOP will because HOPITAL is the last word from tokens with payload 2.
|-
| alone_payloads
| (none) Since 0.4. Only one token by group with the same payload appear in each combination. With "alone_payloads":[2], that mean the combination BOULEHOPITAL won't be indexed because BOULE et HOPITAL got the same payload that is 2.
|-
| at_least_one_payloads
| (none) Since 0.4. One or more token by group with the same payload appear in each combination. With "at_least_one_payloads":[2], that mean the combination 07PARIS won't be indexed because BOULE or HOPITAL got the same payload that is 2 and at least one is mandatory.
|-
| span_payload
| (none) Each combination token will be given that payload.
|-
| span_score_payload
| (false) Since 0.4. Make a score for each combination as their payloads. Score formula is made of score_items and score_value. It is a relative score, that mean it
|-
| score_maximum
| (200) Since 0.4. The score made by span_score_payload is absolute, that mean if it reach the maximum, the combination match 100% the query.
|-
| score_items
| (none) Since 0.4. score_items & score_value works together. For each score_items a payload integer value is associated with a score in score_value. Formula follow alone_payloads and at_least_one_payloads and required_payloads. That mean for payloads referenced in alone_payloads you only nead one token to get the score_value. Combinations without required payloads won't be generated, that mean a score of 0. Other payloads are cumulative : that mean one score_value by token of each payload. The total score is calculated by cross_multiplication.
|-
| score_value
| (none) Since 0.4. See score_items.
|-
| delimiter
| (none) Tokens inside a combination will be separated by this one character wide delimiter.
|}

UnsplitFilter

2015-05-03T19:02:41Z

Julien2512 : /* Features */

Detokenize tokens in order to reduce term query frequencies for performance consideration, that is call an unsplit token filter for elasticsearch.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD PARIS 07 HOPITAL" }

with the following mapping :

"fullName" : {"type": "string", "index_analyzer":"myAnalyzer", "search_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["lowercase", "unsplit_filter"]
}
},
"filter" : {
"unsplit_filter" : {
"type": "unsplit",
"min_words_unsplitted" : 3,
"keep_originals" : false
}
}
}
}
}

will index these terms :
* 07BOULEVARDHOPITALPARIS
* 07BOULEVARDHOPITAL
* 07BOULEVARDPARIS
* 07HOPITALPARIS
* BOULEVARDHOPITALPARIS

so that the request :

{
"query_string" :
{
"default_field":"fullName",
"query":"BOULEVARD PARIS 07",
"analyzer" : "myAnalyzer"
}
}

will match the document.

Note that 07BOULEVARDPARIS got a very lower frequency than 07, BOULEVARD, and PARIS.

===== How it works =====

For each token given to the unsplit filter, all ordered combinations are considered.
That mean unsplit filter can be used with synonyms and ngrams, and nearly all other token filters ([https://adullact.net/forum/forum.php?forum_id=2429 tell me] which one does not works !).

The combination tokens got an 'UNSPLITED' token type.

The unsplit token filter sort tokens in each combination (as strings).

There is a few parameters in order to control theses combinations.

===== Features =====

{| border="1"
| '''Setting'''
| '''description'''
|-
| keep_originals
| (true) Keep original tokens in token stream (so that they remain searchable)
|-
| frequent_terms_only
| (true) Uses path parameter as a filter on tokens that are involved in combinations. Set to false only when path is not used.
|-
| path
| (/usr/share/elasticsearch/plugins/jdonrefv4-0.2/word84.txt) path to the file in which the unsplit token filter will find tokens involved in combinations. See word84.txt in the plugin as an example.
|-
| min_words_unsplitted
| (2) Minimum number of tokens in each combination. Set it to 1 with keep_originals to true will index each original token twice (with different token types). 0 is a special value that mean the maximum value for each token stream. In other words, only 07BOULEVARDHOPITALPARIS will be generated. min_words_unsplitted can be a percentage like "70%".
|-
| max_subwords
| (1) Set the maximum number of subwords in each combination. Tokens within the same position and the token type "NGRAM" are considered to be subwords. With max_subwords=1 (default value), that means 07BOULEPAR won't be indexed, but 07BOULEVARDPAR and 07BOULEPARIS will.
|-
| subwords_types
| (NGRAM) Since 0.4. You might change the subwords's token type that max_subwords parameter tell about.
|-
| required_payloads
| (none) Since 0.4. Tokens with these payloads will appear in each combination. With "required_payloads":[11], that mean each combination from 24|11 BOULEVARD|2 PARIS|2 07|3 HOPITAL|5 will include 24 because token 24 is associate with the payload 11.
|-
| ordered_payloads
| (none) Since 0.4. Groups of tokens with the same payload are taken in order, so that only the last can be a subword. With "ordered_payloads":[2], that mean 07BOULEHOPITAL won't be indexed, but 07BOULEVARDHOP will because HOPITAL is the last word from tokens with payload 2.
|-
| alone_payloads
| (none) Since 0.4. Only one token by group with the same payload appear in each combination. With "required_payloads":[2], that mean the combination BOULEHOPITAL won't be indexed because BOULE et HOPITAL got the same payload that is 2.
|-
| span_payload
| (none) Each combination token will be given that payload.
|-
| span_score_payload
| (false) Since 0.4. Make a score for each combination as their payloads. Score formula is made of score_items and score_value. It is a relative score, that mean it
|-
| score_maximum
| (200) Since 0.4. The score made by span_score_payload is absolute, that mean if it reach the maximum, the combination match 100% the query.
|-
| score_items
| (none) Since 0.4. score_items & score_value works together. For each score_items a payload integer value is associated with a score in score_value. Formula follow alone_payloads and required_payloads. That mean for payloads referenced in alone_payloads you only nead one token to get the score_value. Combinations without required payloads won't be generated, that mean a score of 0. Other payloads are cumulative : that mean one score_value by token of each payload. The total score is calculated by cross_multiplication.
|-
| score_value
| (none) Since 0.4. See score_items.
|-
| delimiter
| (none) Tokens inside a combination will be separated by this one character wide delimiter.
|}

UnsplitFilter

2015-05-03T18:50:09Z

Julien2512 : /* Features */

PayloadCheckerSpanFilter

2015-05-03T06:33:11Z

Julien2512 : /* Checkers */

Check results for grammar rules according to payloads values.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD|1 DE|1 PARIS|1 07|2 L|3 HOPITAL|3" }

with the following mapping :

"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["delimited_payload_filter", "lowercase", "tokencount_payload_filter"]
}
},
"filter" : {
"delimited_payload_filter" : {
"type": "delimited_payload_filter",
"delimiter" : "|",
"encoding" : "int"
},
"tokencount_payload_filter" : {
"type": "tokencountpayloads",
"factor": 1000
}
}
}

will match the query :

{
"span_payloadchecker" : {
"clauses": [
{ "span_multipayloadterm" : { "fullName": "BOULEVARD" } },
{ "span_multipayloadterm" : { "fullName": "PARIS" } },
{ "span_multipayloadterm" : { "fullName": "HOPITAL" } }
],
"checker": { "type":"Grouped" }
}
}

but not match the following :

{
"span_payloadchecker" : {
"clauses": [
{ "span_multipayloadterm" : { "fullName": "BOULEVARD" } },
{ "span_multipayloadterm" : { "fullName": "HOPITAL" } }
{ "span_multipayloadterm" : { "fullName": "PARIS" } },
],
"checker": { "type":"Grouped" }
}
}

because eventhough they got the same payload BOULEVARD and PARIS are not grouped together in the second request.

===== Checkers =====

Notice the following checkers :

{| border="1"
| '''checker type'''
| '''description'''
| '''sample'''
|-
| And
| All the given checkers from data array must validate to validate the document
| { "type":"And", "checkers" : [ ... ] }
|-
| Or
| One of the given checkers from data array must validate to validate the document
| { "type":"Or", "checkers" : [ ... ] }
|-
| Xor
| Only one of the given checkers from data array must validate to validate the document
| { "type":"Xor", "checkers" : [ ... ] }
|-
| Not
| The given checker 'data' must not validate to validate the document
| { "type":"Not", "checker" : { ... } }
|-
| All
| All the tokens with the given payload (bytes[] or int) must match to validate the document. You will need tokencountpayloads token filter for that.
| { "type":"All", "payload" : "AAAD8Q==" }
|-
| One
| One token with the given payload (bytes[] or int) must match to validate the document
| { "type":"One", "payload" : "AAAD8Q==" }
|-
| Field
| Field value (default to _type) must match to validate the document
| { "type":"Field", "field" : "type_de_voie", "value" : "BOULEVARD" }
|-
| Grouped
| Groups of tokens by payloads must not interlace to validate the document
| { "type":"Grouped" }
|-
| BeforeAnother
| Check whether tokens with a given payload are just before another group of payloads
| { "type":"BeforeAnother", "payloadbefore" : "AAAD8Q==", "another" : "AAAD8Q==" }
|-
| If
| If the condition match, the then clause must match to validate the document. Otherwise it matches. Be aware of performances.
| { "type":"If", "condition" : {...}, "then" : {...} }
|-
| IfElse
| If the condition match, the then clause must match to validate the document. If the condition does not match, the else clause must match to validate the document. Be aware of performances (see Switch)
| { "type":"IfElse", "condition" : {...}, "then" : {...}, "else" : {...} }
|-
| Switch
| If a switch condition clause match, the switch clause must match to validate the document. Default not customizable set to true (Null).
| { "type":"Switch", "field" : "_type", "clauses" : { "adresse": { ... }, "commune": { ... } } }
|-
| Limit
| No more available (>=0.4). Validate the "limit" first documents.
| { "type":"Limit", "limit" : 100 }
|-
| Null
| Validate all documents
| { "type":"Null" }
|}

=====How it works=====

Elasticsearch is a flat inverted index document, it does not natively make a difference between one term or another. As an example, it uses frequencies to seek for terms in a corpus.

However, in a simple sentence, like an adress, terms might be very differents. Frequency might not be usable in such cases.

For example for the request :
57 BD DE L HOPITAL 75 PARIS

We are not intend to get such results :
75 BD DE L HOPITAL 75013 PARIS (75 as the number of the adress)
75 rue de paris 57 L HOPITAL (the town L HOPITAL in Moselle, it do not exists in real life, it's an example)

The exactitude of the number of the adresse is here more important than its frequency in the corpus.

To get the most pertinent results, ElasticSearch uses lucene engine to get a score for each results. PayloadCheckerSpanQuery overload that scorer with a new score for each results. Actually, it descores bad results.

=====Performance consideration=====

Notice check for span may result slower than a simple match query !
Although the result will match your working rules, the query will scan over ever document matching your query terms.
Here is two tips to gain performances :
#terms are internally set in order of term frequencies. That mean if your request is 'RUE EIFFEL', the internal request will be 'EIFFEL RUE'. The number of document checked for 'RUE' term will be down to 'EIFFEL' count. Of course, GroupedPayload and OneBeforeAnother checkers support this.
#you can reduce fonctionnality when terms are too frequent. That mean a request for 'RUE' whom results are about 600 000 documents in FRANCE, will bypass payload checker to give a null response. With more terms (like RUE EIFFEL), the checker will be on again. The query got a "limit" parameter to set the number of documents not to reach. This parameter is usefull when you request over multiple indexes with differents level of details.

=====Scoring (soon)=====

Scoring System of PayloadCheckerSpanQuery got two objectives :
#give the most representative results
#get an absolute notation , than mean an AI would pick the good choice between the results (see bulk mode)

The scoring concept follows the SpanScorer and the BooleanScorer, and is inspired by scoring in JDONREFv2 and JDONREFv3 (adapted to inversed index).
It was necessary to change the DefaultSimilarity class.

The bulk mode is a mode where score get a ceiling. The ceiling for a result is the maximum score it is possible to get with it. So the bulk mode is simply the score divided by the maximum score. Then it's applying a rule of three to the ceiling for commodity (something like 100% or 20/20).

The bulk mode is less performant than traditionnal way, so it is not recommended for autocomplete, and it is made like an option mode.
It is not necessary when a human being can choose between results. But an IA can choose automatically a result when the score is for example over 19/20.

=====Customise Scoring=====

(soon)

===== See also =====

[[EdgeNGramWithPayloadsFilter]]

[[TokenCountPayloadFilter]]

JDONREFv4 Plugin

2015-05-03T06:32:33Z

Julien2512 : /* Includes */

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.3+'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.3 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.3.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.
The same will arise soon for PayloadCheckerSpanQuery.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.3/JDONREFv3Test.html

It only supports index named 'jdonref' for now.
Of course there is no such limitation for jdonrefv4 nor PayloadCheckerSpanQuery.

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5
| 1.3.X
| 2016-06-31
| explain, score tuning & fuzzy match
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed). Read [[PayloadCheckerSpanQuery|PayloadCheckerSpanQuery]].<br> 0.3beta introduce usage of UnsplitFilter
|-
| [[PayloadCheckerSpanFilter|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads used by jdonrefv4).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| jdonrefv4-settings.json
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

PayloadCheckerSpanFilter

2015-05-03T06:32:14Z

Julien2512 : Julien2512 a déplacé la page PayloadCheckerSpanQuery vers PayloadCheckerSpanFilter

Check results for grammar rules according to payloads values.

===== Sample =====

For example, the document :

{ "fullName": "BOULEVARD|1 DE|1 PARIS|1 07|2 L|3 HOPITAL|3" }

with the following mapping :

"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["delimited_payload_filter", "lowercase", "tokencount_payload_filter"]
}
},
"filter" : {
"delimited_payload_filter" : {
"type": "delimited_payload_filter",
"delimiter" : "|",
"encoding" : "int"
},
"tokencount_payload_filter" : {
"type": "tokencountpayloads",
"factor": 1000
}
}
}

will match the query :

{
"span_payloadchecker" : {
"clauses": [
{ "span_multipayloadterm" : { "fullName": "BOULEVARD" } },
{ "span_multipayloadterm" : { "fullName": "PARIS" } },
{ "span_multipayloadterm" : { "fullName": "HOPITAL" } }
],
"checker": { "type":"Grouped" }
}
}

but not match the following :

{
"span_payloadchecker" : {
"clauses": [
{ "span_multipayloadterm" : { "fullName": "BOULEVARD" } },
{ "span_multipayloadterm" : { "fullName": "HOPITAL" } }
{ "span_multipayloadterm" : { "fullName": "PARIS" } },
],
"checker": { "type":"Grouped" }
}
}

because eventhough they got the same payload BOULEVARD and PARIS are not grouped together in the second request.

===== Checkers =====

Notice the following checkers :

{| border="1"
| '''checker type'''
| '''description'''
| '''sample'''
|-
| And
| All the given checkers from data array must validate to validate the document
| { "type":"And", "checkers" : [ ... ] }
|-
| Or
| One of the given checkers from data array must validate to validate the document
| { "type":"Or", "checkers" : [ ... ] }
|-
| Xor
| Only one of the given checkers from data array must validate to validate the document
| { "type":"Xor", "checkers" : [ ... ] }
|-
| Not
| The given checker 'data' must not validate to validate the document
| { "type":"Not", "checker" : { ... } }
|-
| All
| All the tokens with the given payload (bytes[] or int) must match to validate the document. You will need tokencountpayloads token filter for that.
| { "type":"All", "payload" : "AAAD8Q==" }
|-
| One
| One token with the given payload (bytes[] or int) must match to validate the document
| { "type":"One", "payload" : "AAAD8Q==" }
|-
| Field
| Field value (default to _type) must match to validate the document
| { "type":"Field", "field" : "type_de_voie", "value" : "BOULEVARD" }
|-
| Grouped
| Groups of tokens by payloads must not interlace to validate the document
| { "type":"Grouped" }
|-
| BeforeAnother
| Check whether tokens with a given payload are just before another group of payloads
| { "type":"BeforeAnother", "payloadbefore" : "AAAD8Q==", "another" : "AAAD8Q==" }
|-
| If
| If the condition match, the then clause must match to validate the document. Otherwise it matches. Be aware of performances.
| { "type":"If", "condition" : {...}, "then" : {...} }
|-
| IfElse
| If the condition match, the then clause must match to validate the document. If the condition does not match, the else clause must match to validate the document. Be aware of performances (see Switch)
| { "type":"IfElse", "condition" : {...}, "then" : {...}, "else" : {...} }
|-
| Switch
| If a switch condition clause match, the switch clause must match to validate the document. Default not customizable set to true (Null).
| { "type":"Switch", "field" : "_type", "clauses" : { "adresse": { ... }, "commune": { ... } } }
|-
| Limit
| Validate the "limit" first documents.
| { "type":"Limit", "limit" : 100 }
|-
| Null
| Validate all documents
| { "type":"Null" }
|}

=====How it works=====

Elasticsearch is a flat inverted index document, it does not natively make a difference between one term or another. As an example, it uses frequencies to seek for terms in a corpus.

However, in a simple sentence, like an adress, terms might be very differents. Frequency might not be usable in such cases.

For example for the request :
57 BD DE L HOPITAL 75 PARIS

We are not intend to get such results :
75 BD DE L HOPITAL 75013 PARIS (75 as the number of the adress)
75 rue de paris 57 L HOPITAL (the town L HOPITAL in Moselle, it do not exists in real life, it's an example)

The exactitude of the number of the adresse is here more important than its frequency in the corpus.

To get the most pertinent results, ElasticSearch uses lucene engine to get a score for each results. PayloadCheckerSpanQuery overload that scorer with a new score for each results. Actually, it descores bad results.

=====Performance consideration=====

Notice check for span may result slower than a simple match query !
Although the result will match your working rules, the query will scan over ever document matching your query terms.
Here is two tips to gain performances :
#terms are internally set in order of term frequencies. That mean if your request is 'RUE EIFFEL', the internal request will be 'EIFFEL RUE'. The number of document checked for 'RUE' term will be down to 'EIFFEL' count. Of course, GroupedPayload and OneBeforeAnother checkers support this.
#you can reduce fonctionnality when terms are too frequent. That mean a request for 'RUE' whom results are about 600 000 documents in FRANCE, will bypass payload checker to give a null response. With more terms (like RUE EIFFEL), the checker will be on again. The query got a "limit" parameter to set the number of documents not to reach. This parameter is usefull when you request over multiple indexes with differents level of details.

=====Scoring (soon)=====

Scoring System of PayloadCheckerSpanQuery got two objectives :
#give the most representative results
#get an absolute notation , than mean an AI would pick the good choice between the results (see bulk mode)

The scoring concept follows the SpanScorer and the BooleanScorer, and is inspired by scoring in JDONREFv2 and JDONREFv3 (adapted to inversed index).
It was necessary to change the DefaultSimilarity class.

The bulk mode is a mode where score get a ceiling. The ceiling for a result is the maximum score it is possible to get with it. So the bulk mode is simply the score divided by the maximum score. Then it's applying a rule of three to the ceiling for commodity (something like 100% or 20/20).

The bulk mode is less performant than traditionnal way, so it is not recommended for autocomplete, and it is made like an option mode.
It is not necessary when a human being can choose between results. But an IA can choose automatically a result when the score is for example over 19/20.

=====Customise Scoring=====

(soon)

===== See also =====

[[EdgeNGramWithPayloadsFilter]]

[[TokenCountPayloadFilter]]

PayloadCheckerSpanQuery

2015-05-03T06:32:14Z

Julien2512 : Julien2512 a déplacé la page PayloadCheckerSpanQuery vers PayloadCheckerSpanFilter

#REDIRECTION [[PayloadCheckerSpanFilter]]

JDONREFv4 Plugin

2015-05-03T06:31:57Z

Julien2512 : /* Includes */

The JDONREF plugin provides a way to index adresses compatible with french format and search them in a single line format, with 100% accurate results and great order.

It works over the provided PayloadCheckerSpanQuery that target to combines whatever work rules you want (not only adresses) to search data in a single line format, with 100% accurate results and great order.
Scorers are adaptable for human or computer uses.

===== Plugin installation =====

Simply run at the root of your ''ElasticSearch v1.3+'' installation :

bin/plugin --install elasticsearch-jdonrefv4-0.3 --url http://sourceforge.net/p/jdonref/code/HEAD/tree/Dev/JDONREFv4/dist/elasticsearch-jdonrefv4-0.3.zip?format=raw

This will download the last beta version plugin from sourceforge.

Don't forget restart elasticsearch.

You can follow [[JDONREFv3ES_plugin_GettingStarted|the getting started guide]] for jdonref plugin.
The same will arise soon for PayloadCheckerSpanQuery.

There is an embedded site in order to test the query like this :

http://url_elasticsearch:port/_plugin/jdonrefv4-0.3/JDONREFv3Test.html

It only supports index named 'jdonref' for now.
Of course there is no such limitation for jdonrefv4 nor PayloadCheckerSpanQuery.

===== Releases =====

{| border="1"
| '''JDONREF plugin'''
| '''elasticsearch'''
| '''release date'''
| '''detail'''
|-
| 0.1beta
| 1.0.0.RC1
| 2014-04-30
| POC
|-
| 0.2beta
| 1.1.X
| 2014-08-25
| adress based score with integration tests
|-
| 0.2
| '''1.3.X'''
| 2014-11-15
| production version : adress based score with production tests. human validation only. miss bulk scorer and explain.
|-
| 0.3
| 1.3.X
| 2015-12-15
| reduce high frequency term frequencies (improve performances)
|-
| 0.4beta
| 1.3.X
| 2015-05-15
| minimum_should_match
|-
| 0.4
| 1.3.X
| 2015-12-31
| bulk scorer & minimum_should_match. Performance Problems need to be solved again ! Waiting for ES support.
|-
| 0.5
| 1.3.X
| 2016-06-31
| explain, score tuning & fuzzy match
|}

===== Includes =====

{| border="1"
| '''name'''
| '''type'''
| '''disponibilité'''
|-
| [[JDONREFv3ES_Query|jdonrefv4]]
| query/scorer
| since 0.2beta (weights and term can't be changed). Read [[PayloadCheckerSpanQuery|PayloadCheckerSpanQuery]].<br> 0.3beta introduce usage of UnsplitFilter
|-
| [[PayloadCheckerSpanQuery|PayloadCheckerSpanFilter]]
| filter
| since 0.4beta (grammar filter based on payloads used by jdonrefv4).
|-
| [[UnsplitFilter|UnsplitFilter]]
| token filter
| since 0.3beta (reduce tokens frequencies).
|-
| [[JDONREFv4_Mappings#Le_mapping_poizon|POI et Zones]], [[JDONREFv4_Mappings#Le_mapping_adresse|adresse]], [[JDONREFv4_Mappings#Le_mapping_troncon|troncon]], [[JDONREFv4_Mappings#Le_mapping_voie|voie]], [[JDONREFv4_Mappings#Le_mapping_commune|commune]], [[JDONREFv4_Mappings#Le_mapping_departement|departement]], [[JDONREFv4_Mappings#Le_mapping_pays|pays]]
| mapping
| since 0.2beta
|-
| [[JDONREFv4_synonymes|jdonrefv3es_synonym.fr.txt]]
| French Synonyms'file
| since 0.1beta
|-
| jdonrefv4-settings.json
| settings
| since 0.2beta jdonrefv4_index, jdonrefv4_search, jdonrefv4_codes_index
|-
| JDONREFv4TermSimilarity
| similarity
| since 0.2beta
|-
| [[EdgeNGramWithPayloadsFilter]]
| token filter
| since 0.2beta (edgengram with payloads support)
|-
| [[TokenCountPayloadFilter]]
| token filter
| since 0.2beta (insert the number of token with given payload in each such payload - used by PayloadCheckerSpanQuery#All).
|-
| [[SynonymWithPayloadsFilter]]
| token filter
| since 0.2beta (synonym with payloads support).
|-
| JDONREFv3Test.html
| site
| since 0.2beta (site for jdonrefv3es and index jdonref) Set 10000 for maxSizePerType with dedicated index of 5 shards for each type !
|}

See also [[JDONREFv3ES_TODO|todo list]].

UnsplitFilter

2015-05-03T00:32:47Z

Julien2512 : /* Features */

TokenCountPayloadFilter

2015-05-02T23:30:39Z

Julien2512 :

Include in integer payloads the count of tokens with the same payload within the same field.

===== Sample =====

For example, the document :
{ "fullName": "BOULEVARD|1 DE|1 PARIS|1 L|2 HOPITAL|2" }

indexed with a mapping like :

"fullName" : {"type": "string", "term_vector" : "with_positions_offsets_payloads", "index_analyzer":"myAnalyzer"}

and settings like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["delimited_payload_filter", "lowercase", "tokencount_payload_filter"]
},
"filter" : {
"delimited_payload_filter" : {
"type": "delimited_payload_filter",
"delimiter" : "|",
"encoding" : "int"
},
"tokencount_payload_filter" : {
"type": "tokencountpayloads",
"factor": 1000
}
}
}

will index the tokens BOULEVARD, DE, PARIS, L, HOPITAL with the respective payloads : 3001, 3001, 3001, 2002, 2002.

* 3001 means there is 3 tokens with payload 1 ( 3*factor +1 ).
* 2002 means there is 2 tokens with payload 2 ( 2*factor +2 ).

These factored tokens can be used with the checker All from [[PayloadCheckerSpanQuery]].

===== Features =====

{| border="1"
| '''Setting'''
| '''description'''
|-
| factor
| (Mandatory) The factor by which the count of tokens with a given payload will be multiplied.
|-
| ignored_types
| (none) The token's payload associated with these types won't be modified. Others will.
|}

SynonymWithPayloadsFilter

2015-05-02T23:21:21Z

Julien2512 : Page créée avec « Similar to SynonymFilter, with type "payloadsynonym". Payloads from original tokens are kept. ===== Sample ===== Settings are like : { "index" : { "analys... »

Similar to SynonymFilter, with type "payloadsynonym". Payloads from original tokens are kept.

===== Sample =====

Settings are like :

{
"index" : {
"analysis" : {
"analyzer": {
"myAnalyzer" : {
"type" : "custom",
"tokenizer" : "whitespace",
"filter" : ["lowercase", "synonym"]
}
},
"filter" : {
"synonym" : {
"type": "payloadsynonym",
"synonyms_path": "/usr/share/elasticsearch/plugins/jdonrefv4-0.3/jdonrefv4_synonym.fr_FR.txt"
}
}
}
}
}