Zoekmachine aangepast
- Beheer
- Berichten: 15.202
Zoekmachine aangepast
De migratie van 2 maanden geleden had als probleem dat de zoekfunctie niet meer werkte, zie ook hier.
Daar is toen een work-around voor toegepast. Daarmee kregen we de zoekfunctie weer snel werkend, maar met als nadeel dat die manier wel een grotere belasting voor de server is en het bovendien een trage zoekfunctie tot gevolg had.
We zijn bezig om weer de functionaliteit die we eerder hadden te activeren. Onderdeel daarvan is dat alle berichten weer opnieuw geïndexeerd moeten worden. Als het goed is, is dat inmiddels gelukt en werkt het weer! Mocht je problemen signaleren, meld het dan even!
Daar is toen een work-around voor toegepast. Daarmee kregen we de zoekfunctie weer snel werkend, maar met als nadeel dat die manier wel een grotere belasting voor de server is en het bovendien een trage zoekfunctie tot gevolg had.
We zijn bezig om weer de functionaliteit die we eerder hadden te activeren. Onderdeel daarvan is dat alle berichten weer opnieuw geïndexeerd moeten worden. Als het goed is, is dat inmiddels gelukt en werkt het weer! Mocht je problemen signaleren, meld het dan even!
- Berichten: 17.659
Re: Zoekmachine aangepast
viewtopic.php?p=1155992#p1155992
Indexeren lijkt nog niet goed te verlopen? Deze reacties komen nog niet terug bij de egosearch (zoek Je berichten). Wel in de reguliere zoekfunctie.
Indexeren lijkt nog niet goed te verlopen? Deze reacties komen nog niet terug bij de egosearch (zoek Je berichten). Wel in de reguliere zoekfunctie.
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -
- Jimi Hendrix -
- Beheer
- Berichten: 15.202
Re: Zoekmachine aangepast
Je bedoelt deze:Ger schreef: ↑do 17 jun 2021, 19:29 viewtopic.php?p=1155992#p1155992
Indexeren lijkt nog niet goed te verlopen? Deze reacties komen nog niet terug bij de egosearch (zoek Je berichten). Wel in de reguliere zoekfunctie.
Code: Selecteer alles
https://www.wetenschapsforum.nl/search.php?author_id=[userid]&sr=posts
search.php?author_id=4085&sr=posts
Hmm, ik zie het. Ook je bovenstaande post niet inderdaad.
Wel bijzonder dat die dan wel in de reguliere search terugkomt, toch?
Iedere nacht om 3 uur draait de main, de delta draait iedere 5 minuten.
Toevallig een idee waar het aan kan liggen / wat we kunnen doen?
- Berichten: 17.659
Re: Zoekmachine aangepast
Gebruik je weer Sphinx? In dat geval zou ik even terugzoeken in de topic in het technisch forum, daar heb ik destijds opgeschreven wat nodig is om het te laten werken.
Volgens mij gebruikt Sphinx aparte indexen hiervoor. Die moeten terugkomen in de config waarbij de juiste SQL wordt gebruikt. Is die config aangepast toevallig? Kloppen de uid's van de searches nog wel?
Volgens mij gebruikt Sphinx aparte indexen hiervoor. Die moeten terugkomen in de config waarbij de juiste SQL wordt gebruikt. Is die config aangepast toevallig? Kloppen de uid's van de searches nog wel?
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -
- Jimi Hendrix -
- Beheer
- Berichten: 15.202
Re: Zoekmachine aangepast
Bedankt voor het meedenken maar weer
. Idd terug op Sphinx. Had je topic ook gebruikt, al waren een aantal aanpassingen in de config die phpBB geeft (commenten van regels) niet meer nodig. (kennelijk al bijgewerkt in deze versie van phpBB).
Config verder amper aangepast. Hij staat zo in ACP:
Enige aanpassing is 127.0.0.1 vervangen door localhost.
Er loopt 1 delta iedere 5 minuten, 1 main iedere nacht. Sphinx log files bevestigen dat die netjes worden gestart, net als bestanden/modify dates in de sphinx-folder.
Het valt me wel op dat als ik nu zoek (op deze pagina rechts boven) op "delta" (heb ik in de vorige post gebruikt) ik dan de melding krijg:
Zoeken mislukt: received zero-sized searchd response
Maar als ik daar nu nog een keer op zoek werkt het wel.
Een paar dagen geleden had ik precies hetzelfde bij een andere zoekopdracht.
![Lach :)](./images/smilies/icon_e_smile.gif)
Config verder amper aangepast. Hij staat zo in ACP:
Code: Selecteer alles
source source_phpbb_6bwyhhip89l25sq2_main
{
type = mysql # mysql or pgsql
sql_host = 127.0.0.1 # SQL server host sphinx connects to
sql_user = [dbuser]
sql_pass = [dbpassword]
sql_db = wetensch_phpbb
sql_port = # optional, default is 3306 for mysql and 5432 for pgsql
sql_query_pre = SET NAMES 'utf8'
sql_query_pre = UPDATE phpbb_sphinx SET max_doc_id = (SELECT MAX(post_id) FROM phpbb_posts) WHERE counter_id = 1
sql_query_range = SELECT MIN(post_id), MAX(post_id) FROM phpbb_posts
sql_range_step = 5000
sql_query = SELECT \
p.post_id AS id, \
p.forum_id, \
p.topic_id, \
p.poster_id, \
p.post_visibility, \
CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, \
p.post_time, \
p.post_subject, \
p.post_subject as title, \
p.post_text as data, \
t.topic_last_post_time, \
0 as deleted \
FROM phpbb_posts p, phpbb_topics t \
WHERE \
p.topic_id = t.topic_id \
AND p.post_id >= $start AND p.post_id <= $end
sql_query_post =
sql_query_post_index = UPDATE phpbb_sphinx SET max_doc_id = $maxid WHERE counter_id = 1
sql_attr_uint = forum_id
sql_attr_uint = topic_id
sql_attr_uint = poster_id
sql_attr_uint = post_visibility
sql_attr_bool = topic_first_post
sql_attr_bool = deleted
sql_attr_timestamp = post_time
sql_attr_timestamp = topic_last_post_time
sql_attr_string = post_subject
}
source source_phpbb_6bwyhhip89l25sq2_delta : source_phpbb_6bwyhhip89l25sq2_main
{
sql_query_pre = SET NAMES 'utf8'
sql_query_range =
sql_range_step =
sql_query = SELECT \
p.post_id AS id, \
p.forum_id, \
p.topic_id, \
p.poster_id, \
p.post_visibility, \
CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, \
p.post_time, \
p.post_subject, \
p.post_subject as title, \
p.post_text as data, \
t.topic_last_post_time, \
0 as deleted \
FROM phpbb_posts p, phpbb_topics t \
WHERE \
p.topic_id = t.topic_id \
AND p.post_id >= ( SELECT max_doc_id FROM phpbb_sphinx WHERE counter_id=1 )
sql_query_post_index =
}
index index_phpbb_6bwyhhip89l25sq2_main
{
path = /home/wetensch/phpbb_sphinx/index_phpbb_6bwyhhip89l25sq2_main
source = source_phpbb_6bwyhhip89l25sq2_main
docinfo = extern
morphology = none
stopwords =
wordforms = # optional, specify path to wordforms file. See ./docs/sphinx_wordforms.txt for example
exceptions = # optional, specify path to exceptions file. See ./docs/sphinx_exceptions.txt for example
min_word_len = 2
charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z, A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6, U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101, U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109, U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F, U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, U+0116->U+0117, U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D, U+011D, U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, U+0134->U+0135, U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, U+013C, U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, U+0143->U+0144, U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, U+014B, U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, U+0152->U+0153, U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159, U+0159, U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, U+0160->U+0161, U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, U+0167, U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, U+016E->U+016F, U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175, U+0175, U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, U+017B->U+017C, U+017C, U+017D->U+017E, U+017E, U+0410..U+042F->U+0430..U+044F, U+0430..U+044F, U+4E00..U+9FFF
ignore_chars = U+0027, U+002C
min_prefix_len = 3 # Minimum number of characters for wildcard searches by prefix (min 1). Default is 3. If specified, set min_infix_len to 0
min_infix_len = 0 # Minimum number of characters for wildcard searches by infix (min 2). If specified, set min_prefix_len to 0
html_strip = 1
index_exact_words = 0 # Set to 1 to enable exact search operator. Requires wordforms or morphology
blend_chars = U+23, U+24, U+25, U+26, U+40
}
index index_phpbb_6bwyhhip89l25sq2_delta : index_phpbb_6bwyhhip89l25sq2_main
{
path = /home/wetensch/phpbb_sphinx/index_phpbb_6bwyhhip89l25sq2_delta
source = source_phpbb_6bwyhhip89l25sq2_delta
}
indexer
{
mem_limit = 1024M
}
searchd
{
listen = localhost:9312
log = /home/wetensch/phpbb_sphinx/log/searchd.log
query_log = /home/wetensch/phpbb_sphinx/log/sphinx-query.log
read_timeout = 5
max_children = 30
pid_file = /home/wetensch/phpbb_sphinx/searchd.pid
binlog_path = /home/wetensch/phpbb_sphinx/
}
Er loopt 1 delta iedere 5 minuten, 1 main iedere nacht. Sphinx log files bevestigen dat die netjes worden gestart, net als bestanden/modify dates in de sphinx-folder.
Het valt me wel op dat als ik nu zoek (op deze pagina rechts boven) op "delta" (heb ik in de vorige post gebruikt) ik dan de melding krijg:
Zoeken mislukt: received zero-sized searchd response
Maar als ik daar nu nog een keer op zoek werkt het wel.
Een paar dagen geleden had ik precies hetzelfde bij een andere zoekopdracht.
- Berichten: 17.659
Re: Zoekmachine aangepast
Hm, bijzonder. Dit topic en het eerder genoemde topic komt nu ook naar voren bij "Je berichten". Lijkt er haast op dat de searchd niet liep ofzo?
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -
- Jimi Hendrix -
- Berichten: 1.450
Re: Zoekmachine aangepast
Je kunt Ger wel uit de technici halen, maar de technicus niet uit Ger;)
- Beheer
- Berichten: 15.202
Re: Zoekmachine aangepast
Zoiets dacht ik op een gegeven moment ook. Maar ik doe er in de tussentijd verder helemaal niets aan, sinds vorige week nog niet 1x searchd handmatig op hoeven starten...
Btw: In de instructie op phpBB las ik "Sphinx Search server 3.x has introduced major changes and does not work.", dus heb ik uit het Sphinx-archief Sphinx-2.3.2-1.rhel7.x86_64.rpm geinstalleerd.
![Zeer gelukkig :D](./images/smilies/icon_e_biggrin.gif)
![Zeer gelukkig :D](./images/smilies/icon_e_biggrin.gif)
- Berichten: 17.659
Re: Zoekmachine aangepast
Hm, nou ja, dan maar eens goed in de gaten houden zou ik zeggen
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -
- Jimi Hendrix -