@@ -55,10 +55,19 @@ public function tokenize(string $text): array
5555 * Replace or extend via the constructor for other languages or domains.
5656 */
5757 public const DEFAULT_STOP_WORDS = [
58- 'a ' , 'an ' , 'the ' , 'and ' , 'or ' , 'but ' , 'in ' , 'on ' , 'at ' , 'to ' ,
59- 'for ' , 'of ' , 'with ' , 'by ' , 'is ' , 'it ' , 'as ' , 'be ' , 'was ' , 'are ' ,
60- 'were ' , 'been ' , 'has ' , 'have ' , 'had ' , 'do ' , 'does ' , 'did ' , 'not ' ,
61- 'that ' , 'this ' , 'from ' , 'so ' , 'if ' , 'up ' , 'out ' , 'no ' , 'its ' ,
62- 'then ' , 'than ' , 'into ' , 'can ' , 'will ' , 'just ' , 'about ' , 'also ' ,
58+ 'i ' , 'me ' , 'my ' , 'myself ' , 'we ' , 'our ' , 'ours ' , 'ourselves ' , 'you ' , 'your ' ,
59+ 'yours ' , 'yourself ' , 'yourselves ' , 'he ' , 'him ' , 'his ' , 'himself ' , 'she ' ,
60+ 'her ' , 'hers ' , 'herself ' , 'it ' , 'its ' , 'itself ' , 'they ' , 'them ' , 'their ' ,
61+ 'theirs ' , 'themselves ' , 'what ' , 'which ' , 'who ' , 'whom ' , 'this ' , 'that ' ,
62+ 'these ' , 'those ' , 'am ' , 'is ' , 'are ' , 'was ' , 'were ' , 'be ' , 'been ' , 'being ' ,
63+ 'have ' , 'has ' , 'had ' , 'having ' , 'do ' , 'does ' , 'did ' , 'doing ' , 'a ' , 'an ' ,
64+ 'the ' , 'and ' , 'but ' , 'if ' , 'or ' , 'because ' , 'as ' , 'until ' , 'while ' , 'of ' ,
65+ 'at ' , 'by ' , 'for ' , 'with ' , 'about ' , 'against ' , 'between ' , 'into ' , 'through ' ,
66+ 'during ' , 'before ' , 'after ' , 'above ' , 'below ' , 'to ' , 'from ' , 'up ' , 'down ' ,
67+ 'in ' , 'out ' , 'on ' , 'off ' , 'over ' , 'under ' , 'again ' , 'further ' , 'then ' , 'once ' ,
68+ 'here ' , 'there ' , 'when ' , 'where ' , 'why ' , 'how ' , 'all ' , 'any ' , 'both ' , 'each ' ,
69+ 'few ' , 'more ' , 'most ' , 'other ' , 'some ' , 'such ' , 'no ' , 'nor ' , 'not ' , 'only ' ,
70+ 'own ' , 'same ' , 'so ' , 'than ' , 'too ' , 'very ' , 's ' , 't ' , 'can ' , 'will ' , 'just ' ,
71+ 'don ' , 'should ' , 'now '
6372 ];
6473}
0 commit comments