Modele głębokie dostępne w usługach oferowanych przez CLARIN-PL przetwarzają tekst do sekwencji wektorów osadzeń lub sekwencji słów. Analizują pojedyncze słowa lub całe zdania, działają na krótkim tekście, więc długi tekst będzie automatycznie dzielony na mniejsze fragmenty.
Reprezentacja wektorowa tekstów:
Wydobywanie informacji z tekstu:
Modyfikacja tekstu:
Przed skorzystaniem z usługi należy zapoznać się z informacjami wstępnymi zawierającymi opis kroków umożliwiających dostęp do interfejsu programistycznego CLARIN-PL.
{
"application": "similarity",
"task": "sbert-klej-cdsc-r",
"input": [
"Tomasz Bombaliński pojechał do Wrocławia.",
"Poznań to piękne miasto."
]
}
gdzie:
application to nazwa zadania,task to nazwa wybranego modelu,input to dane wejściowe.W odpowiedzi otrzymasz dane wyjściowe.
Modele można uruchomić w usłudze LPMN Client, pisząc kod w Pythonie z wykorzystaniem biblioteki lpmn_client_biz i dostępnych w niej metod oraz klas.
pip install --extra-index-url https://pypi.clarin-pl.eu/simple/ lpmn_client_biz
Korzystnie z usług LPMN Client wymaga uwierzytelnienia użytkownika. W tym celu wykonaj kroki opisane tutaj.
Uruchom zadanie, używając biblioteki lpmn_client_biz:
from lpmn_client_biz import Connection, Task
model = ['sbert-distiluse-base-multilingual-cased-v1']
texts = ['Ala ma kota', 'Pada deszcz i wieje wiatr']
conn = Connection()
task = Task(lpmn=model, connection=conn)
res = task.run_sent(texts)
print(res)
Uwaga!
Ponieważ modele przetwarzają listy zdań, wykorzystują tylko metodę run_sent.
Użycie modeli dla danych wejściowych w postaci pliku jest możliwe w usłudze Embedder.
"Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF", Jan Kocoń, Michał Gawor
CLARIN-PL: https://services.clarin-pl.eu/login
DEPOTx: http://clip.ipipan.waw.pl/DEPOTx
REST API CLARIN-PL: https://services.clarin-pl.eu/api/v1/docs
(C) CLARIN-PL