Chatbot na dokumentach firmy powinien najpierw wyszukać właściwe fragmenty wiedzy, a dopiero potem przygotować odpowiedź z podaniem źródła. Pierwszy pilotaż warto ograniczyć do 50-300 aktualnych dokumentów, jednej grupy użytkowników i 50-100 testowych pytań. PoC zwykle kosztuje 10 000-25 000 PLN, a wersja produkcyjna z uprawnieniami, integracjami i monitoringiem od około 25 000 PLN.
- Jakość dokumentów ma większy wpływ na wynik niż długość promptu
- Odpowiedź powinna wskazywać dokument i fragment, z którego korzysta
- Uprawnienia do wiedzy muszą odpowiadać uprawnieniom użytkownika
- Przed wdrożeniem potrzebny jest własny zestaw pytań oraz oczekiwanych odpowiedzi
Jak chatbot znajduje odpowiedź w dokumentach
Najczęściej stosuje się RAG, czyli wyszukanie odpowiednich fragmentów przed wygenerowaniem odpowiedzi. Dokumenty są przetwarzane, dzielone na logiczne części i zapisywane w indeksie. Pytanie użytkownika uruchamia wyszukiwanie, a model dostaje tylko wybrane źródła.
To nie gwarantuje bezbłędności, ale pozwala ograniczyć odpowiedź do wiedzy firmy i pokazać cytowane źródła. Jeżeli system nie znajduje wiarygodnego fragmentu, powinien powiedzieć, że nie zna odpowiedzi albo przekazać sprawę człowiekowi.
- Dokumenty
Wybieramy aktualne źródła i nadajemy im właścicieli oraz uprawnienia.
- Wyszukiwanie
System znajduje fragmenty najlepiej pasujące do pytania.
- Odpowiedź
Model odpowiada wyłącznie na podstawie przekazanego kontekstu.
- Kontrola
Użytkownik widzi źródło, ocenia wynik lub eskaluje pytanie.
Przykładowy zakres pilotażu
Dobry pilotaż powinien sprawdzić jeden konkretny obszar, na przykład procedury obsługi klienta albo instrukcje dla serwisu. Nie warto od razu podłączać całego dysku firmowego.
| Element | Zakres pilotażu | Wersja produkcyjna |
|---|---|---|
| Wiedza | 50-300 wybranych dokumentów | Synchronizacja i wersjonowanie źródeł |
| Użytkownicy | 5-20 testerów | Role, grupy i pojedyncze uprawnienia |
| Kanał | Prosty panel webowy | Teams, Slack, strona lub system wewnętrzny |
| Jakość | 50-100 pytań testowych | Stała ocena odpowiedzi i zgłoszenia błędów |
| Działania | Tylko odpowiedzi | Tworzenie ticketów i kontrolowane integracje |
Jak mierzyć jakość odpowiedzi
Ocena 'brzmi dobrze' jest za słaba. Zespół powinien przygotować pytania łatwe, trudne, wieloznaczne oraz takie, na które baza nie zawiera odpowiedzi. Dla każdego pytania zapisuje się oczekiwane źródło, najważniejsze fakty i dopuszczalny sposób odmowy.
- trafność znalezionego źródła i poprawność cytowanego fragmentu
- zgodność odpowiedzi z dokumentem bez dodawania niepotwierdzonych faktów
- prawidłowa odmowa, gdy wiedza nie zawiera odpowiedzi
- czas odpowiedzi i koszt jednego zapytania
- odsetek pytań przekazanych do człowieka oraz powód eskalacji
Bezpieczeństwo, uprawnienia i koszt
Chatbot nie może ujawniać dokumentu tylko dlatego, że pasuje do pytania. Filtr uprawnień musi działać przed przekazaniem treści do modelu. Trzeba również ustalić retencję rozmów, anonimizację danych wrażliwych i dostawców, którzy mogą przetwarzać informacje.
Koszt produkcyjny zależy od liczby źródeł, częstotliwości aktualizacji, uprawnień i integracji. Same opłaty za model zwykle nie są największą częścią projektu. Więcej pracy wymaga przygotowanie danych, testy oraz utrzymanie jakości po zmianie dokumentów.
Pytania i odpowiedzi
Czy chatbot uczy model na naszych dokumentach?
Najczęściej nie trenuje modelu od nowa. Dokumenty są wyszukiwane w czasie odpowiedzi i przekazywane jako kontekst. Zasady wykorzystania danych zależą od wybranego dostawcy i konfiguracji usługi.
Jakie pliki można podłączyć?
Najczęściej PDF, DOCX, strony intranetu, bazy wiedzy i dane z API. Ważniejsza od formatu jest aktualność, logiczna struktura oraz możliwość przypisania uprawnień.
Ile trwa pierwszy pilotaż?
Przy gotowym zbiorze dokumentów pierwszą wersję można przygotować zwykle w 2-4 tygodnie. Produkcyjne wdrożenie z integracjami, bezpieczeństwem i testami zajmuje najczęściej 4-10 tygodni.