Add dotfiles and scripts
This commit is contained in:
Jonas Zeunert
69
dotfiles/awesm.service
Normal file
69
dotfiles/awesm.service
Normal file
@@ -0,0 +1,69 @@
|
|||||||
|
[Unit]
|
||||||
|
Description=Awesome search service
|
||||||
|
After=network.target
|
||||||
|
|
||||||
|
[Service]
|
||||||
|
Type=simple
|
||||||
|
User=awesm
|
||||||
|
Group=awesm
|
||||||
|
Environment="RUST_LOG=info
|
||||||
|
ExecStart=/var/www/awesm/awesm-server/target/release/awesm
|
||||||
|
StandardOutput=append:/var/log/awesm/awesm.log
|
||||||
|
StandardError=inherit
|
||||||
|
|
||||||
|
# Specifies the maximum file descriptor number that can be opened by this process
|
||||||
|
LimitNOFILE=1000
|
||||||
|
|
||||||
|
# Specifies the maximum number of processes
|
||||||
|
LimitNPROC=100
|
||||||
|
|
||||||
|
# Specifies the maximum size of virtual memory
|
||||||
|
LimitAS=infinity
|
||||||
|
|
||||||
|
# Specifies the maximum file size
|
||||||
|
LimitFSIZE=infinity
|
||||||
|
|
||||||
|
# Disable timeout logic and wait until process is stopped
|
||||||
|
TimeoutStopSec=0
|
||||||
|
|
||||||
|
KillSignal=SIGTERM
|
||||||
|
|
||||||
|
# Allow a slow startup before the systemd notifier module kicks in to extend the timeout
|
||||||
|
TimeoutStartSec=900
|
||||||
|
|
||||||
|
# Sandboxing options to harden security
|
||||||
|
# Depending on specificities of your service/app, you may need to tweak these
|
||||||
|
# .. but this should be a good baseline
|
||||||
|
# Details for these options: https://www.freedesktop.org/software/systemd/man/systemd.exec.html
|
||||||
|
NoNewPrivileges=yes
|
||||||
|
PrivateTmp=yes
|
||||||
|
PrivateDevices=yes
|
||||||
|
RestrictAddressFamilies=AF_UNIX AF_INET AF_INET6 AF_NETLINK
|
||||||
|
RestrictNamespaces=yes
|
||||||
|
RestrictRealtime=yes
|
||||||
|
DevicePolicy=closed
|
||||||
|
ProtectClock=yes
|
||||||
|
ProtectHostname=yes
|
||||||
|
ProtectProc=invisible
|
||||||
|
ProtectSystem=full
|
||||||
|
ProtectControlGroups=yes
|
||||||
|
ProtectKernelModules=yes
|
||||||
|
ProtectKernelTunables=yes
|
||||||
|
LockPersonality=yes
|
||||||
|
SystemCallArchitectures=native
|
||||||
|
SystemCallFilter=~@clock @debug @module @mount @obsolete @reboot @setuid @swap @cpu-emulation @privileged
|
||||||
|
|
||||||
|
# Denying access to capabilities that should not be relevant for webapps
|
||||||
|
# Doc: https://man7.org/linux/man-pages/man7/capabilities.7.html
|
||||||
|
CapabilityBoundingSet=~CAP_RAWIO CAP_MKNOD
|
||||||
|
CapabilityBoundingSet=~CAP_AUDIT_CONTROL CAP_AUDIT_READ CAP_AUDIT_WRITE
|
||||||
|
CapabilityBoundingSet=~CAP_SYS_BOOT CAP_SYS_TIME CAP_SYS_MODULE CAP_SYS_PACCT
|
||||||
|
CapabilityBoundingSet=~CAP_LEASE CAP_LINUX_IMMUTABLE CAP_IPC_LOCK
|
||||||
|
CapabilityBoundingSet=~CAP_BLOCK_SUSPEND CAP_WAKE_ALARM
|
||||||
|
CapabilityBoundingSet=~CAP_SYS_TTY_CONFIG
|
||||||
|
CapabilityBoundingSet=~CAP_MAC_ADMIN CAP_MAC_OVERRIDE
|
||||||
|
CapabilityBoundingSet=~CAP_NET_ADMIN CAP_NET_BROADCAST CAP_NET_RAW
|
||||||
|
CapabilityBoundingSet=~CAP_SYS_ADMIN CAP_SYS_PTRACE CAP_SYSLOG
|
||||||
|
|
||||||
|
[Install]
|
||||||
|
WantedBy=multi-user.target
|
||||||
214
dotfiles/fscrawler/_default/6/_settings.json
Executable file
214
dotfiles/fscrawler/_default/6/_settings.json
Executable file
@@ -0,0 +1,214 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"number_of_shards": 1,
|
||||||
|
"index.mapping.total_fields.limit": 2000,
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"dynamic_templates": [
|
||||||
|
{
|
||||||
|
"raw_as_text": {
|
||||||
|
"path_match": "meta.raw.*",
|
||||||
|
"mapping": {
|
||||||
|
"type": "text",
|
||||||
|
"fields": {
|
||||||
|
"keyword": {
|
||||||
|
"type": "keyword",
|
||||||
|
"ignore_above": 256
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"properties": {
|
||||||
|
"attachment": {
|
||||||
|
"type": "binary",
|
||||||
|
"doc_values": false
|
||||||
|
},
|
||||||
|
"attributes": {
|
||||||
|
"properties": {
|
||||||
|
"group": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"owner": {
|
||||||
|
"type": "keyword"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"content": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
},
|
||||||
|
"extension": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filesize": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexed_chars": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexing_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"last_modified": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"last_accessed": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"checksum": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"url": {
|
||||||
|
"type": "keyword",
|
||||||
|
"index": false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"meta": {
|
||||||
|
"properties": {
|
||||||
|
"author": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"keywords": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"title": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"language": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"format": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"identifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"contributor": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"coverage": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"modifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"creator_tool": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"publisher": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"relation": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rights": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"source": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"type": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"description": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"print_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"metadata_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"latitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"longitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"altitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rating": {
|
||||||
|
"type": "byte"
|
||||||
|
},
|
||||||
|
"comments": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
64
dotfiles/fscrawler/_default/6/_settings_folder.json
Executable file
64
dotfiles/fscrawler/_default/6/_settings_folder.json
Executable file
@@ -0,0 +1,64 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"properties" : {
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
214
dotfiles/fscrawler/_default/7/_settings.json
Executable file
214
dotfiles/fscrawler/_default/7/_settings.json
Executable file
@@ -0,0 +1,214 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"number_of_shards": 1,
|
||||||
|
"index.mapping.total_fields.limit": 2000,
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"dynamic_templates": [
|
||||||
|
{
|
||||||
|
"raw_as_text": {
|
||||||
|
"path_match": "meta.raw.*",
|
||||||
|
"mapping": {
|
||||||
|
"type": "text",
|
||||||
|
"fields": {
|
||||||
|
"keyword": {
|
||||||
|
"type": "keyword",
|
||||||
|
"ignore_above": 256
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"properties": {
|
||||||
|
"attachment": {
|
||||||
|
"type": "binary",
|
||||||
|
"doc_values": false
|
||||||
|
},
|
||||||
|
"attributes": {
|
||||||
|
"properties": {
|
||||||
|
"group": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"owner": {
|
||||||
|
"type": "keyword"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"content": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
},
|
||||||
|
"extension": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filesize": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexed_chars": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexing_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"last_modified": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"last_accessed": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"checksum": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"url": {
|
||||||
|
"type": "keyword",
|
||||||
|
"index": false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"meta": {
|
||||||
|
"properties": {
|
||||||
|
"author": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"keywords": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"title": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"language": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"format": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"identifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"contributor": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"coverage": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"modifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"creator_tool": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"publisher": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"relation": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rights": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"source": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"type": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"description": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"print_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"metadata_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "dateOptionalTime"
|
||||||
|
},
|
||||||
|
"latitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"longitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"altitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rating": {
|
||||||
|
"type": "byte"
|
||||||
|
},
|
||||||
|
"comments": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
64
dotfiles/fscrawler/_default/7/_settings_folder.json
Executable file
64
dotfiles/fscrawler/_default/7/_settings_folder.json
Executable file
@@ -0,0 +1,64 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"properties" : {
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
80
dotfiles/fscrawler/_default/7/_wpsearch_settings.json
Executable file
80
dotfiles/fscrawler/_default/7/_wpsearch_settings.json
Executable file
@@ -0,0 +1,80 @@
|
|||||||
|
{
|
||||||
|
"name": "SOURCE_NAME",
|
||||||
|
"schema": {
|
||||||
|
"title": "text",
|
||||||
|
"name": "text",
|
||||||
|
"body": "text",
|
||||||
|
"url": "text",
|
||||||
|
"author": "text",
|
||||||
|
"keywords": "text",
|
||||||
|
"language": "text",
|
||||||
|
"comments": "text",
|
||||||
|
"mime_type": "text",
|
||||||
|
"extension": "text",
|
||||||
|
"size": "number",
|
||||||
|
"text_size": "number",
|
||||||
|
"last_modified": "date",
|
||||||
|
"created_at": "date",
|
||||||
|
"path": "text"
|
||||||
|
},
|
||||||
|
"display": {
|
||||||
|
"title_field": "title",
|
||||||
|
"subtitle_field": "name",
|
||||||
|
"description_field": "body",
|
||||||
|
"url_field": "url",
|
||||||
|
"media_type_field": "mime_type",
|
||||||
|
"created_by_field": "author",
|
||||||
|
"detail_fields": [
|
||||||
|
{
|
||||||
|
"field_name": "author",
|
||||||
|
"label": "Author"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "keywords",
|
||||||
|
"label": "Keywords"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "language",
|
||||||
|
"label": "Language"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "last_modified",
|
||||||
|
"label": "Last Modification Date"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "created_at",
|
||||||
|
"label": "Creation date"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "comments",
|
||||||
|
"label": "Comments"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "mime_type",
|
||||||
|
"label": "Mime Type"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "extension",
|
||||||
|
"label": "Extension"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "size",
|
||||||
|
"label": "File size"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "text_size",
|
||||||
|
"label": "Extracted text size"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "path",
|
||||||
|
"label": "Path"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "body",
|
||||||
|
"label": "Content"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"color": "#000000"
|
||||||
|
},
|
||||||
|
"is_searchable": true
|
||||||
|
}
|
||||||
214
dotfiles/fscrawler/_default/8/_settings.json
Executable file
214
dotfiles/fscrawler/_default/8/_settings.json
Executable file
@@ -0,0 +1,214 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"number_of_shards": 1,
|
||||||
|
"index.mapping.total_fields.limit": 2000,
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"dynamic_templates": [
|
||||||
|
{
|
||||||
|
"raw_as_text": {
|
||||||
|
"path_match": "meta.raw.*",
|
||||||
|
"mapping": {
|
||||||
|
"type": "text",
|
||||||
|
"fields": {
|
||||||
|
"keyword": {
|
||||||
|
"type": "keyword",
|
||||||
|
"ignore_above": 256
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"properties": {
|
||||||
|
"attachment": {
|
||||||
|
"type": "binary",
|
||||||
|
"doc_values": false
|
||||||
|
},
|
||||||
|
"attributes": {
|
||||||
|
"properties": {
|
||||||
|
"group": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"owner": {
|
||||||
|
"type": "keyword"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"content": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
},
|
||||||
|
"extension": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filesize": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexed_chars": {
|
||||||
|
"type": "long"
|
||||||
|
},
|
||||||
|
"indexing_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"last_modified": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"last_accessed": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"checksum": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"url": {
|
||||||
|
"type": "keyword",
|
||||||
|
"index": false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"meta": {
|
||||||
|
"properties": {
|
||||||
|
"author": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"keywords": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"title": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"language": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"format": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"identifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"contributor": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"coverage": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"modifier": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"creator_tool": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"publisher": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"relation": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rights": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"source": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"type": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"description": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"created": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"print_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"metadata_date": {
|
||||||
|
"type": "date",
|
||||||
|
"format": "date_optional_time"
|
||||||
|
},
|
||||||
|
"latitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"longitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"altitude": {
|
||||||
|
"type": "text"
|
||||||
|
},
|
||||||
|
"rating": {
|
||||||
|
"type": "byte"
|
||||||
|
},
|
||||||
|
"comments": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
64
dotfiles/fscrawler/_default/8/_settings_folder.json
Executable file
64
dotfiles/fscrawler/_default/8/_settings_folder.json
Executable file
@@ -0,0 +1,64 @@
|
|||||||
|
{
|
||||||
|
"settings": {
|
||||||
|
"analysis": {
|
||||||
|
"analyzer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"tokenizer": "fscrawler_path"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"tokenizer": {
|
||||||
|
"fscrawler_path": {
|
||||||
|
"type": "path_hierarchy"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"mappings": {
|
||||||
|
"properties" : {
|
||||||
|
"file": {
|
||||||
|
"properties": {
|
||||||
|
"content_type": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"filename": {
|
||||||
|
"type": "keyword",
|
||||||
|
"store": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"path": {
|
||||||
|
"properties": {
|
||||||
|
"real": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"root": {
|
||||||
|
"type": "keyword"
|
||||||
|
},
|
||||||
|
"virtual": {
|
||||||
|
"type": "keyword",
|
||||||
|
"fields": {
|
||||||
|
"tree": {
|
||||||
|
"type": "text",
|
||||||
|
"analyzer": "fscrawler_path",
|
||||||
|
"fielddata": true
|
||||||
|
},
|
||||||
|
"fulltext": {
|
||||||
|
"type": "text"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
80
dotfiles/fscrawler/_default/8/_wpsearch_settings.json
Executable file
80
dotfiles/fscrawler/_default/8/_wpsearch_settings.json
Executable file
@@ -0,0 +1,80 @@
|
|||||||
|
{
|
||||||
|
"name": "SOURCE_NAME",
|
||||||
|
"schema": {
|
||||||
|
"title": "text",
|
||||||
|
"name": "text",
|
||||||
|
"body": "text",
|
||||||
|
"url": "text",
|
||||||
|
"author": "text",
|
||||||
|
"keywords": "text",
|
||||||
|
"language": "text",
|
||||||
|
"comments": "text",
|
||||||
|
"mime_type": "text",
|
||||||
|
"extension": "text",
|
||||||
|
"size": "number",
|
||||||
|
"text_size": "number",
|
||||||
|
"last_modified": "date",
|
||||||
|
"created_at": "date",
|
||||||
|
"path": "text"
|
||||||
|
},
|
||||||
|
"display": {
|
||||||
|
"title_field": "title",
|
||||||
|
"subtitle_field": "name",
|
||||||
|
"description_field": "body",
|
||||||
|
"url_field": "url",
|
||||||
|
"media_type_field": "mime_type",
|
||||||
|
"created_by_field": "author",
|
||||||
|
"detail_fields": [
|
||||||
|
{
|
||||||
|
"field_name": "author",
|
||||||
|
"label": "Author"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "keywords",
|
||||||
|
"label": "Keywords"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "language",
|
||||||
|
"label": "Language"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "last_modified",
|
||||||
|
"label": "Last Modification Date"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "created_at",
|
||||||
|
"label": "Creation date"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "comments",
|
||||||
|
"label": "Comments"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "mime_type",
|
||||||
|
"label": "Mime Type"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "extension",
|
||||||
|
"label": "Extension"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "size",
|
||||||
|
"label": "File size"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "text_size",
|
||||||
|
"label": "Extracted text size"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "path",
|
||||||
|
"label": "Path"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"field_name": "body",
|
||||||
|
"label": "Content"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"color": "#000000"
|
||||||
|
},
|
||||||
|
"is_searchable": true
|
||||||
|
}
|
||||||
34
dotfiles/fscrawler/awesm/_settings.yaml
Executable file
34
dotfiles/fscrawler/awesm/_settings.yaml
Executable file
@@ -0,0 +1,34 @@
|
|||||||
|
---
|
||||||
|
name: "awesm"
|
||||||
|
fs:
|
||||||
|
url: "/home/awesm/data/awesome-awesomeness/readmes"
|
||||||
|
update_rate: "15m"
|
||||||
|
json_support: false
|
||||||
|
includes:
|
||||||
|
- "*.md"
|
||||||
|
excludes:
|
||||||
|
- "index.md"
|
||||||
|
filename_as_id: true
|
||||||
|
add_filesize: true
|
||||||
|
remove_deleted: false
|
||||||
|
add_as_inner_object: true
|
||||||
|
store_source: true
|
||||||
|
index_content: true
|
||||||
|
attributes_support: false
|
||||||
|
raw_metadata: false
|
||||||
|
xml_support: false
|
||||||
|
index_folders: true
|
||||||
|
lang_detect: true
|
||||||
|
continue_on_error: true
|
||||||
|
ocr:
|
||||||
|
language: "eng"
|
||||||
|
enabled: true
|
||||||
|
pdf_strategy: "ocr_and_text"
|
||||||
|
follow_symlinks: false
|
||||||
|
elasticsearch:
|
||||||
|
nodes:
|
||||||
|
- url: "http://127.0.0.1:9200"
|
||||||
|
bulk_size: 100
|
||||||
|
flush_interval: "5s"
|
||||||
|
byte_size: "10mb"
|
||||||
|
ssl_verification: true
|
||||||
6
dotfiles/fscrawler/awesm/_status.json
Executable file
6
dotfiles/fscrawler/awesm/_status.json
Executable file
@@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"name" : "awesm",
|
||||||
|
"lastrun" : "2024-04-24T00:23:46.417072",
|
||||||
|
"indexed" : 2,
|
||||||
|
"deleted" : 0
|
||||||
|
}
|
||||||
34
dotfiles/fscrawler/awesome/_settings.yaml
Executable file
34
dotfiles/fscrawler/awesome/_settings.yaml
Executable file
@@ -0,0 +1,34 @@
|
|||||||
|
---
|
||||||
|
name: "awesome"
|
||||||
|
fs:
|
||||||
|
url: "/home/awesm/data/awesome-awesomeness/readmes"
|
||||||
|
update_rate: "15m"
|
||||||
|
excludes:
|
||||||
|
- "*/~*"
|
||||||
|
includes:
|
||||||
|
- "*.md"
|
||||||
|
json_support: false
|
||||||
|
filename_as_id: false
|
||||||
|
add_filesize: true
|
||||||
|
remove_deleted: true
|
||||||
|
add_as_inner_object: true
|
||||||
|
store_source: false
|
||||||
|
index_content: true
|
||||||
|
attributes_support: false
|
||||||
|
raw_metadata: false
|
||||||
|
xml_support: false
|
||||||
|
index_folders: true
|
||||||
|
lang_detect: false
|
||||||
|
continue_on_error: false
|
||||||
|
ocr:
|
||||||
|
language: "eng"
|
||||||
|
enabled: true
|
||||||
|
pdf_strategy: "ocr_and_text"
|
||||||
|
follow_symlinks: false
|
||||||
|
elasticsearch:
|
||||||
|
nodes:
|
||||||
|
- url: "http://127.0.0.1:9200"
|
||||||
|
bulk_size: 100
|
||||||
|
flush_interval: "5s"
|
||||||
|
byte_size: "10mb"
|
||||||
|
ssl_verification: true
|
||||||
6
dotfiles/fscrawler/awesome/_status.json
Executable file
6
dotfiles/fscrawler/awesome/_status.json
Executable file
@@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"name" : "awesome",
|
||||||
|
"lastrun" : "2024-04-22T22:33:26.713382",
|
||||||
|
"indexed" : 0,
|
||||||
|
"deleted" : 0
|
||||||
|
}
|
||||||
52
dotfiles/nginx.conf
Normal file
52
dotfiles/nginx.conf
Normal file
@@ -0,0 +1,52 @@
|
|||||||
|
# Include before server
|
||||||
|
#map $term $root {
|
||||||
|
# 1 /var/www/awesm/terminal;
|
||||||
|
# default /var/www/awesm/html;
|
||||||
|
#}
|
||||||
|
#
|
||||||
|
#map $http_user_agent $autoindex_type {
|
||||||
|
# "~*curl*" jsonp;
|
||||||
|
# default html;
|
||||||
|
#}
|
||||||
|
|
||||||
|
#sub_path_only rewrite ^/$ / permanentm
|
||||||
|
location = /lists o
|
||||||
|
alias $root;
|
||||||
|
autoindex on;
|
||||||
|
|
||||||
|
autoindex_format jsonp;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
location /stats {
|
||||||
|
autoindex off;
|
||||||
|
alias /var/www/awesm/stats;
|
||||||
|
}
|
||||||
|
|
||||||
|
location /style {
|
||||||
|
autoindex off;
|
||||||
|
alias /var/www/awesm/style;
|
||||||
|
}
|
||||||
|
|
||||||
|
location = / {
|
||||||
|
root $root;
|
||||||
|
|
||||||
|
try_files /index /index.html;
|
||||||
|
}
|
||||||
|
|
||||||
|
#location ~* ^/lists {
|
||||||
|
location / {
|
||||||
|
root $root;
|
||||||
|
|
||||||
|
try_files $uri $uri.html /redirect?q=$uri;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
location /search {
|
||||||
|
set $args $args&pretty;
|
||||||
|
proxy_pass http://[::1]:9876;
|
||||||
|
}
|
||||||
|
|
||||||
|
location /redirect {
|
||||||
|
proxy_pass http://[::1]:9876;
|
||||||
|
}
|
||||||
3
scripts/delete_index.sh
Executable file
3
scripts/delete_index.sh
Executable file
@@ -0,0 +1,3 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
|
||||||
|
curl -XDELETE "http://127.0.0.1:9200/$1"
|
||||||
3
scripts/get_indices.sh
Executable file
3
scripts/get_indices.sh
Executable file
@@ -0,0 +1,3 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
|
||||||
|
curl -XGET "http://127.0.0.1:9200/_cat/indices"
|
||||||
18
scripts/update
Executable file
18
scripts/update
Executable file
@@ -0,0 +1,18 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
|
||||||
|
set -eux
|
||||||
|
cd data/awesome-awesomeness
|
||||||
|
git stash && git pull
|
||||||
|
|
||||||
|
~/update_fscrawler.sh
|
||||||
|
|
||||||
|
rm -rf /var/www/awesm/html /var/www/awesm/terminal
|
||||||
|
mv html terminal /var/www/awesm/
|
||||||
|
|
||||||
|
cd /var/www/awesm
|
||||||
|
chown -R :www-data html terminal
|
||||||
|
|
||||||
|
date -ur html > stats/updated.txt
|
||||||
|
ls html | wc -l > stats/sites.txt
|
||||||
|
|
||||||
|
chmod -R o-rwx ./*
|
||||||
3
scripts/update_fscrawler.sh
Executable file
3
scripts/update_fscrawler.sh
Executable file
@@ -0,0 +1,3 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
|
||||||
|
~/data/fscrawler-distribution-2.10-SNAPSHOT/bin/fscrawler --loop 1 --trace awesm
|
||||||
Reference in New Issue
Block a user