Zoekmachine aangepast

Reageer
Gebruikersavatar
Beheer
Berichten: 15.202

Zoekmachine aangepast

De migratie van 2 maanden geleden had als probleem dat de zoekfunctie niet meer werkte, zie ook hier.

Daar is toen een work-around voor toegepast. Daarmee kregen we de zoekfunctie weer snel werkend, maar met als nadeel dat die manier wel een grotere belasting voor de server is en het bovendien een trage zoekfunctie tot gevolg had.

We zijn bezig om weer de functionaliteit die we eerder hadden te activeren. Onderdeel daarvan is dat alle berichten weer opnieuw geïndexeerd moeten worden. Als het goed is, is dat inmiddels gelukt en werkt het weer! Mocht je problemen signaleren, meld het dan even!

Gebruikersavatar
Berichten: 778

Re: Zoekmachine aangepast

Top! Weer hartelijk dank!

Gebruikersavatar
Berichten: 17.652

Re: Zoekmachine aangepast

viewtopic.php?p=1155992#p1155992

Indexeren lijkt nog niet goed te verlopen? Deze reacties komen nog niet terug bij de egosearch (zoek Je berichten). Wel in de reguliere zoekfunctie.
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -

Gebruikersavatar
Beheer
Berichten: 15.202

Re: Zoekmachine aangepast

Ger schreef: do 17 jun 2021, 19:29 viewtopic.php?p=1155992#p1155992

Indexeren lijkt nog niet goed te verlopen? Deze reacties komen nog niet terug bij de egosearch (zoek Je berichten). Wel in de reguliere zoekfunctie.
Je bedoelt deze:

Code: Selecteer alles

https://www.wetenschapsforum.nl/search.php?author_id=[userid]&sr=posts
dus in jouw geval:
search.php?author_id=4085&sr=posts

Hmm, ik zie het. Ook je bovenstaande post niet inderdaad.
Wel bijzonder dat die dan wel in de reguliere search terugkomt, toch?

Iedere nacht om 3 uur draait de main, de delta draait iedere 5 minuten.

Toevallig een idee waar het aan kan liggen / wat we kunnen doen?

Gebruikersavatar
Berichten: 17.652

Re: Zoekmachine aangepast

Gebruik je weer Sphinx? In dat geval zou ik even terugzoeken in de topic in het technisch forum, daar heb ik destijds opgeschreven wat nodig is om het te laten werken.

Volgens mij gebruikt Sphinx aparte indexen hiervoor. Die moeten terugkomen in de config waarbij de juiste SQL wordt gebruikt. Is die config aangepast toevallig? Kloppen de uid's van de searches nog wel?
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -

Gebruikersavatar
Beheer
Berichten: 15.202

Re: Zoekmachine aangepast

Bedankt voor het meedenken maar weer :). Idd terug op Sphinx. Had je topic ook gebruikt, al waren een aantal aanpassingen in de config die phpBB geeft (commenten van regels) niet meer nodig. (kennelijk al bijgewerkt in deze versie van phpBB).

Config verder amper aangepast. Hij staat zo in ACP:

Code: Selecteer alles

source source_phpbb_6bwyhhip89l25sq2_main 
{
	type = mysql # mysql or pgsql 
	sql_host = 127.0.0.1 # SQL server host sphinx connects to 
	sql_user = [dbuser] 
	sql_pass = [dbpassword] 
	sql_db = wetensch_phpbb 
	sql_port =  # optional, default is 3306 for mysql and 5432 for pgsql 
	sql_query_pre = SET NAMES 'utf8' 
	sql_query_pre = UPDATE phpbb_sphinx SET max_doc_id = (SELECT MAX(post_id) FROM phpbb_posts) WHERE counter_id = 1 
	sql_query_range = SELECT MIN(post_id), MAX(post_id) FROM phpbb_posts 
	sql_range_step = 5000 
	sql_query = SELECT \
						p.post_id AS id, \
						p.forum_id, \
						p.topic_id, \
						p.poster_id, \
						p.post_visibility, \
						CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, \
						p.post_time, \
						p.post_subject, \
						p.post_subject as title, \
						p.post_text as data, \
						t.topic_last_post_time, \
						0 as deleted \
					FROM phpbb_posts p, phpbb_topics t \
					WHERE \
						p.topic_id = t.topic_id \
						AND p.post_id >= $start AND p.post_id <= $end 
	sql_query_post =  
	sql_query_post_index = UPDATE phpbb_sphinx SET max_doc_id = $maxid WHERE counter_id = 1 
	sql_attr_uint = forum_id 
	sql_attr_uint = topic_id 
	sql_attr_uint = poster_id 
	sql_attr_uint = post_visibility 
	sql_attr_bool = topic_first_post 
	sql_attr_bool = deleted 
	sql_attr_timestamp = post_time 
	sql_attr_timestamp = topic_last_post_time 
	sql_attr_string = post_subject 
}
source source_phpbb_6bwyhhip89l25sq2_delta : source_phpbb_6bwyhhip89l25sq2_main 
{
	sql_query_pre = SET NAMES 'utf8' 
	sql_query_range =  
	sql_range_step =  
	sql_query = SELECT \
						p.post_id AS id, \
						p.forum_id, \
						p.topic_id, \
						p.poster_id, \
						p.post_visibility, \
						CASE WHEN p.post_id = t.topic_first_post_id THEN 1 ELSE 0 END as topic_first_post, \
						p.post_time, \
						p.post_subject, \
						p.post_subject as title, \
						p.post_text as data, \
						t.topic_last_post_time, \
						0 as deleted \
					FROM phpbb_posts p, phpbb_topics t \
					WHERE \
						p.topic_id = t.topic_id \
						AND p.post_id >=  ( SELECT max_doc_id FROM phpbb_sphinx WHERE counter_id=1 ) 
	sql_query_post_index =  
}
index index_phpbb_6bwyhhip89l25sq2_main 
{
	path = /home/wetensch/phpbb_sphinx/index_phpbb_6bwyhhip89l25sq2_main 
	source = source_phpbb_6bwyhhip89l25sq2_main 
	docinfo = extern 
	morphology = none 
	stopwords =  
	wordforms =   # optional, specify path to wordforms file. See ./docs/sphinx_wordforms.txt for example 
	exceptions =   # optional, specify path to exceptions file. See ./docs/sphinx_exceptions.txt for example 
	min_word_len = 2 
	charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z, A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6, U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101, U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109, U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F, U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, U+0116->U+0117, U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D, U+011D, U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, U+0134->U+0135, U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, U+013C, U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, U+0143->U+0144, U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, U+014B, U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, U+0152->U+0153, U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159, U+0159, U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, U+0160->U+0161, U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, U+0167, U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, U+016E->U+016F, U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175, U+0175, U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, U+017B->U+017C, U+017C, U+017D->U+017E, U+017E, U+0410..U+042F->U+0430..U+044F, U+0430..U+044F, U+4E00..U+9FFF 
	ignore_chars = U+0027, U+002C 
	min_prefix_len = 3 # Minimum number of characters for wildcard searches by prefix (min 1). Default is 3. If specified, set min_infix_len to 0 
	min_infix_len = 0 # Minimum number of characters for wildcard searches by infix (min 2). If specified, set min_prefix_len to 0 
	html_strip = 1 
	index_exact_words = 0 # Set to 1 to enable exact search operator. Requires wordforms or morphology 
	blend_chars = U+23, U+24, U+25, U+26, U+40 
}
index index_phpbb_6bwyhhip89l25sq2_delta : index_phpbb_6bwyhhip89l25sq2_main 
{
	path = /home/wetensch/phpbb_sphinx/index_phpbb_6bwyhhip89l25sq2_delta 
	source = source_phpbb_6bwyhhip89l25sq2_delta 
}
indexer 
{
	mem_limit = 1024M 
}
searchd 
{
	listen = localhost:9312 
	log = /home/wetensch/phpbb_sphinx/log/searchd.log 
	query_log = /home/wetensch/phpbb_sphinx/log/sphinx-query.log 
	read_timeout = 5 
	max_children = 30 
	pid_file = /home/wetensch/phpbb_sphinx/searchd.pid 
	binlog_path = /home/wetensch/phpbb_sphinx/ 
}
Enige aanpassing is 127.0.0.1 vervangen door localhost.

Er loopt 1 delta iedere 5 minuten, 1 main iedere nacht. Sphinx log files bevestigen dat die netjes worden gestart, net als bestanden/modify dates in de sphinx-folder.

Het valt me wel op dat als ik nu zoek (op deze pagina rechts boven) op "delta" (heb ik in de vorige post gebruikt) ik dan de melding krijg:
Zoeken mislukt: received zero-sized searchd response

Maar als ik daar nu nog een keer op zoek werkt het wel.
Een paar dagen geleden had ik precies hetzelfde bij een andere zoekopdracht.

Gebruikersavatar
Berichten: 17.652

Re: Zoekmachine aangepast

Hm, bijzonder. Dit topic en het eerder genoemde topic komt nu ook naar voren bij "Je berichten". Lijkt er haast op dat de searchd niet liep ofzo?
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -

Gebruikersavatar
Berichten: 1.447

Re: Zoekmachine aangepast

Je kunt Ger wel uit de technici halen, maar de technicus niet uit Ger;)

Gebruikersavatar
Beheer
Berichten: 15.202

Re: Zoekmachine aangepast

Ger schreef: vr 18 jun 2021, 10:51 Hm, bijzonder. Dit topic en het eerder genoemde topic komt nu ook naar voren bij "Je berichten". Lijkt er haast op dat de searchd niet liep ofzo?
Zoiets dacht ik op een gegeven moment ook. Maar ik doe er in de tussentijd verder helemaal niets aan, sinds vorige week nog niet 1x searchd handmatig op hoeven starten...

Btw: In de instructie op phpBB las ik "Sphinx Search server 3.x has introduced major changes and does not work.", dus heb ik uit het Sphinx-archief Sphinx-2.3.2-1.rhel7.x86_64.rpm geinstalleerd.
shimmy schreef: vr 18 jun 2021, 13:50 Je kunt Ger wel uit de technici halen, maar de technicus niet uit Ger;)
:D :D

Gebruikersavatar
Berichten: 17.652

Re: Zoekmachine aangepast

Hm, nou ja, dan maar eens goed in de gaten houden zou ik zeggen
"Knowledge speaks, but wisdom listens."
- Jimi Hendrix -

Reageer