Re: (Volltextsuche) Links für Stopwörter

[ verfasste Antworten ] [ Aussensaiter-Forum ]

Beitrag von Friedlieb vom November 05. 2001 um 16:27:13:

Als Antwort zu: Re: (Volltextsuche) Links für Stopwörter geschrieben von rrbth am November 05. 2001 um 09:47:46:

Hi Redi,

: Übrigens: sind die Datenmengen soo groß, daß man das braucht?

Wir haben 350 Megabytes an Text, verteilt auf 35000 Files. Tendenz steigend. Und einen Wortschatz von weit über 100000 Wörtern. Die üblichen Verdächtigen (Perlfect Search, HTDig usw.) machen einen guten Job bis so ca. 10000 Dateien und gehen dann in die Knie (HTDig nicht so, scheidet aber aus einem anderen Grund aus). Ich habe inzwischen ne ganze Handvoll etablierte Scripts getestet, sie genehmigen sich allesamt so um die 200MB pro 10000 Files, oder mehr, und das sprengt somit selbst unser Gigabyte Webspace. Daß die meisten dieser Tools nicht inkrementell indizieren können, ist ein weiteres Problem. Ich bin jetzt mit meinem selbsterstellten Verfahren inzwischen von 400 MB für alles auf 20 MB runter, ohne Stopwords habe ich die neueste Optimierung von gestern abend noch nicht getestet. Aber unterm Strich: ja, es ist schon ein Platzproblem.

Es sei denn, es käme jemand und würde sagen, hey Jungs, coole Seite, hier habt ihr zweieinhalbtausend Mark, mietet Euch davon nen dedizierten Server mit 25GB Webspace für ein Jahr. Wenn die Kohle alle ist, sacht Bescheid. Nö, Banners braucht ihr nicht zu schalten, ist ne Spende. Dann wäre Platz kein Problem. So ist er es.

Aber darüber hinaus ist es auch eine Sinnfrage. Es macht einfach keinen Sinn, nach Wörtern wie der, die, das suchen zu können. Denn sie tauchen in jedem Posting auf und sie zu finden ist somit nur von sehr geringem Unterhaltungswert.

: Denn man weiß ja nie, ob nicht mal eine Buchstabenkombination nicht eine (neue) Bedeutung erhält. Vielleicht heißt ja der nächste (_näxte_) supergeile Gitarrenverstärker MAL - so wie "Hör doch MAL!".

Vollkommen richtig. Deshalb hab ich die Frage hier ja auch gestellt. Denn natürlich sind etliche Wörter, die sonst als Stopwords verwendet werden, bei uns von Belang. Aber außer Dir und ullli scheints ja kaum einen zu interessieren - um so besser, jeder, der jetzt schweigt, verliert automatisch nachher das Recht zu kritischen Anmerkungen. ;-)

Keep rockin'
Friedlieb

verfasste Antworten:


Dieser Beitrag ist älter als 3 Monate und kann nicht mehr beantwortet werden.