Update indeksator.cmd

indeksator.cmd

@@ -1,4 +1,4 @@
-:; # Indeksator Prosty RAG v0.1 - Jerzy Głowacki na licencji Apache 2.0
+:; # Indeksator Prosty RAG v0.2 - Jerzy Głowacki na licencji Apache 2.0
 :; # *NIX:
 :; OS=$(uname -s | sed -e 's/^Linux$/linux/' -e 's/^Darwin$/mac/')
 :; embedfile="bge-m3.embedfile"
@@ -8,9 +8,11 @@
 :; chunkWords=200
 :; overlapWords=10
 :; > $chunksFile
+:; # Instalacja
 :; [ ! -d $inputDir ] && echo Pobieranie przykładowego pliku $inputDir/wikipedia.txt... && curl --create-dirs -Lo $inputDir/wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true && echo Gotowe!
 :; [ ! -f $embedfile ] && echo Pobieranie $embedfile... && curl -Lo $embedfile https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && chmod +x $embedfile && echo Gotowe!
 :; [ ! -f pdftotext ] && echo Pobieranie pdftotext... && curl -LO https://dl.xpdfreader.com/xpdf-tools-$OS-4.05.tar.gz && tar --strip-components 2 -xzf xpdf-tools-$OS-4.05.tar.gz xpdf-tools-$OS-4.05/bin64/pdftotext && del xpdf-tools-$OS-4.05.tar.gz && echo Gotowe!
+:; # Uruchamianie
 :; echo "Indeksowanie plików PDF/TXT/MD w folderze $inputDir..."
 :; shopt -s nullglob
 :; for pdf in $inputDir/*.pdf; do echo "Konwertowanie $(basename "$pdf")..." && pdftotext -nopgbrk -enc UTF-8 "$pdf"; done
@@ -41,9 +43,11 @@ set chunkWords=200
 set overlapWords=10
 for /l %%i in (1,1,%overlapWords%) do set buf[%%i]=
 break>%chunksFile%
+:; # Instalacja
 if not exist %inputDir% echo Pobieranie przykładowego pliku %inputDir%\wikipedia.txt... && curl --create-dirs -Lo %inputDir%\wikipedia.txt https://huggingface.co/jglowa/prosty-rag/resolve/main/baza/wikipedia.txt?download=true  && echo Gotowe^!
 if not exist %embedfile% echo Pobieranie %embedfile%... && curl -Lo %embedfile% https://huggingface.co/asg017/embedfile/resolve/refs%2Fpr%2F2/bge-m3.embedfile?download=true && echo Gotowe^!
 if not exist pdftotext.exe echo Pobieranie pdftotext.exe... && curl -LO https://dl.xpdfreader.com/xpdf-tools-win-4.05.zip && tar --strip-components 2 -xf xpdf-tools-win-4.05.zip xpdf-tools-win-4.05/bin64/pdftotext.exe && del xpdf-tools-win-4.05.zip && echo Gotowe^!
+:; # Uruchamianie
 echo Indeksowanie plików PDF/TXT/MD w folderze %inputDir%...
 for %%F in ("%inputDir%\*.pdf") do if not exist "%%~dpnF.txt" echo Konwertowanie %%~nxF... && pdftotext -nopgbrk -enc UTF-8 "%%~F"
 for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
@@ -52,7 +56,11 @@ for %%F in ("%inputDir%\*.txt" "%inputDir%\*.md") do (
     set wordCount=0
     set /p =%%~nxF: <nul
     for /f "usebackq delims=" %%L in ("%%F") do (
-      for %%W in (%%L) do (
+      set line=%%L
+      set line=!line: =^
+
+!
+      for /f "delims=" %%W in ("!line!") do (
         set /p =%%W <nul
         for /l %%i in (2,1,%overlapWords%) do (set /a j=%%i-1 && set buf[!j!]=!buf[%%i]!)
         set "buf[%overlapWords%]=%%W"
@@ -73,3 +81,4 @@ if exist %dbFile% del %dbFile%
 %embedfile% import %chunksFile% %dbFile% && echo Gotowe^! Po każdej zmianie w folderze %inputDir% należy uruchomić ponownie indeksator.
 del %chunksFile%
 endlocal
+pause