• Akademia Górniczo-Hutnicza w Krakowie
• Bioengineering of Santa Clara University’s School of Engineering
• Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo
• ECESS - European Centre of Excellence for Speech Synthesis
• FVS
• Fundacja Uniwersytetu im. Adama Mickiewicza - Poznański Park Naukowo-Technologiczny
• HARPO
• Komenda Wojewódzka Policji w Poznaniu
• Pacific Voice and Speech Foundation of San Francisco, CA
• Politechnika Poznańska
• Polska Platforma Bezpieczeństwa Wewnętrznego (PPBW)
• Polskie Towarzystwo Fonetyczne (PTFon)
• Wolters Kluwer Polska sp. Z o.o.
• Technische Universität Dresden, Fakultät Elektrotechnik und Informationstechnik, Institut für Akustik und Sprachkommunikation
• Universität Bielefeld, Fakultät für Linguistik und Literaturwissenschaft
• Universität Bonn, Institut für Kommunikationsforschung und Phonetik
• Uniwersytet im. Adama Mickiewicza w Poznaniu, Instytut Językoznawstwa, Zakład Fonetyki
• Uniwersytet Medyczny im. Karola Marcinkowskiego w Poznaniu

Zasoby

• Korpus słowny LDIC, JURISDIC

()

LDIC

Korpus LDIC został utworzony w celu dostarczenia materiału do uczenia i testowania systemu dyktowania tekstów, zawierających słownictwo potoczne i prawnicze, z uwzględnieniem systemów wyrazów izolowanych, systemów  wykrywania treści tekstowych w zbiorach dźwiękowych oraz systemów niezależnych od rodzaju słownictwa, opartych na modelowaniu całych wyrazów bądź mniejszych jednostek.

Korpus nagrań   zawiera nagrania mowy pół-spontanicznej (kontrolowane dyktowanie) oraz nagrania mowy czytanej przez prawników oraz pracowników policji. Sesja nagraniowa dla jednego mówcy trwa około 60 minut. Liczba mówców: 1500.

Baza zrealizowana w PCSS w ramach projektu OR00006707: Zintegrowany system automatycznej konwersji mowy polskiej na tekst oparty  na modelu językowym stworzonym w środowisku analizy i obiegu  dokumentów prawniczych w zakresie bezpieczeństwa wewnętrznego,  Projekt badawczo-rozwojowy finansowany przez Ministerstwo Nauki Szkolnictwa Wyższego RP na podstawie decyzji nr 0067/R/T00/2009/07, termin zakończenia 08.07.2011.

JURISDIC

Specyfikacja korpusu JURISDIC  uwzględnia ogólne cechy językowe oraz cechy szczególne języka polskiego na różnych poziomach analizy lingwistycznej i fonetycznej.

Sesja nagraniowa dla jednego mówcy trwa około 60 minut. Liczba mówców: 1000.

Baza zrealizowana we współpracy z FUAM w ramach projektu: Projekt R00 035 02: Technologie przetwarzania oraz rozpoznawania informacji słownych w systemach bezpieczeństwa wewnętrznego, Projekt badawczo-rozwojowy finansowany przez Ministerstwo Nauki  Szkolnictwa Wyższego RP na podstawie decyzji nr 0019/R/2/T00/06/02, termin zakończenia 2009.

• Leksykon

(, )

Na podstawie materiałów z prawniczych programu LEX powstał leksykon wyrazów specjalistycznych (ok. 600 000 jednostek), nazw własnych (uzupełniony z innych źródeł, ok. 47000 nazw) oraz leksykon pomocniczy zawierający m.in. skróty, liczby, litery alfabetu. Dodatkowo powstał leksykon frekwencyjny na postawie wygenerowanej listy form fleksyjnych najczęstszych wyrazów języka polskiego (dane wyselekcjonowano z różnych słowników). Wszystkie zasoby leksykalne zostały umieszczone w relacyjnej bazie danych (Speechlabs ASR), dla której utworzono oprogramowanie służące do przeszukiwania, edycji i rozbudowy jej zawartości: Lexicon Editor. Dla każdego z haseł baza danych dostarcza: zapis ortograficzny, transkrypcję fonetyczną w dwóch wariantach wymowy (warszawskim i poznańsko-krakowskim), informację na temat części mowy oraz form fleksyjnych poszczególnych haseł, jak również wzajemnych powiązań między hasłami, w tym także kategoryzację haseł ze względu na ich znaczenie. Rozpoczęto prace dotyczące włączenia bardziej złożonego modelu semantycznego, są one nadal w fazie rozwojowej.

Oprogramowanie

• Automatyczna weryfikacja i identyfikacja mówców

(, , Szymon Knieć)

Celem zadania jest stworzenie narzędzi do automatycznego lub półautomatycznego rozpoznawania głosów. Aktualnie stworzono podstawowe moduły bazujące na technologii GMM. Podstawowe problemy to: eliminacja wpływu kanału transmisyjnego, szumów otoczenia, zmienności międzyosobniczej a w szczególności wpływu emocji osoby mówiącej.

• PolPhone

(, )

PolPhone jest narzędziem dokonującym automatycznej transkrypcji tekstu ortograficznego do zapisu fonetycznego. Program oparto na regułach fonetyzacji autorstwa M.S. Batogowej i W. Jassema, uzupełnionych o słownik wyjątków. PolPhone udostępnia transkrypcję w wersji 'broad' (39 fonemów) i 'narrow' (87 allofonów), jak również dwa regionalne warianty wymowy.

• PitchLine

()

Program PitchLine jest pomocniczym narzędziem do wyświetlania przebiegu czasowego z pliku WAV, zawartości plików opisowych z nim powiązanych (w szczególności pliku opisującego przebieg f0) oraz ręcznego modelowania przebiegu f0.

• System Anotacji dla Projektu Rozpoznawania Mowy PPBW

()

Program „PPBW Annotation Database Manager”, zarządzający bazą danych, został zaprojektowany z zastosowaniem architektury Client-Server w ramach MSDE 2000 oraz Windows 2003 Server. Zarządza plikami dźwiękowymi, tekstowymi, danymi mówców, plikami anotacji, umożliwia tworzenie kopii bezpieczeństwa oraz statystyk czasu pracy oraz udostępnianie opcji dla wielu użytkowników o różnych poziomach uprawnień, jak również przeszukiwanie udostępnionych leksykonów. Dla celów segmentacji i etykietyzacji nagrań mowy w systemie zintegrowano program Transcriber, dostępny na zasadach oprogramowania otwartego. Dodatkowo, narzędzie umożliwia otwieranie plików dźwiękowych za pomocą programu Wavesurfer w celu umożliwienia bardziej zaawansowanych analiz spektrograficznych.

• BOSS

()

Bonn Open Synthesis System (BOSS) to pakiet oprogramowania wydany na licencji open source, przeznaczony do budowy systemów syntezy mowy opartych na zasadzie wyboru i łączenia jednostek (unit-selection speech synthesis); pakiet umożliwia tworzenie rozszerzeń dla syntezy w nowych językach. Dla języka polskiego wykonano do tej pory implementację 2 modułów: predykcji iloczasu i funkcji kosztów. Zaprojektowano także korpus tekstu umożliwiający tzw. niejednorodny wybór jednostek (wyrazy, sylaby lub głoski), baza akustyczna uzyskana z nagrania powyższego korpusu przez jednego mówcę liczy ok. 2 godzin próbek głosu.

• Automatic Close Copy Speech (ACCS) synthesis

()

Program do syntezy mowy metodą dokładnego kopiowania (ang. "close copy") oparty na syntezatorze difonowym MBROLA. ACCS jest zaprojektowany w taki sposób, aby mógł być używany dla różnych języków świata. Wymagania programu, aby mógł syntezować dany język, są następujące:

1. baza difonów dla MBROLI (głos MBROLI) dla danego języka istnieje;
2. korpus nagrań i anotacji tych nagrań na poziomie fonemów w formacie TextGrid jest dostępny;
3. istnięją reguły mapujące inwentarz fonemowy użyty do anotacji na inwentarz fonemowy użyty w głosie MBROLI.

• Testy percepcyjne dla dzieci z implantami ślimakowymi

(FVS, )

Zestaw komputerowych testów percepcyjnych dla dzieci z implantami ślimakowymi. Testy sprawdzają zdolności percepcyjne i językowe, korzystając wyłącznie z bodźców akustycznych. Testy są zaprojektowane dla dzieci, które rozumieją mowę, ale mogą nie potrafić udzielać odpowiedzi werbalnych.

Programy i badania naukowe

• Opracowanie automatycznego systemu analizy i rozpoznawania mowy

Celem projektu jest opracowanie automatycznego systemu analizy, przetwarzania, rozpoznawania mowy oraz mówców. Zaprojektowany system będzie miał strukturę modularną, która umożliwi, zależnie od potrzeb określonej grupy użytkowników, samodzielny wybór i dostęp do poszczególnych funkcji systemu.

W zakresie automatycznego rozpoznawania mowy podstawę będą stanowiły narzędzia w oparciu o technologię HMM dla modeli statystycznych fonemów języka polskiego, a ściślej trzystanowych trifonów, czyli fonemów o określonym sąsiedztwie z lewej i z prawej strony.

W zakresie tworzenia baz (akustycznych i leksykalnych) jednostek językowych, zakłada się wykorzystanie wariantów trifonów uwzględniających efekty koartykulacyjne oraz suprasegmentalne, co powinno znacznie zwiększyć efektywność systemu rozpoznawania mowy. W zakresie parametryzacji sygnału mowy planuje się uzupełnienie tradycyjnych 39 elementowych wektorów współczynników cepstralnych o zbiór cech określających dynamikę zmian częstotliwości podstawowej oraz opisujących jakość głosu (charakterystykę tonu krtaniowego przydatną z punktu widzenia rozpoznawania mowy – w systemie ARM, jak i, w szczególności, w rozpoznawania mówców - w systemie ARG).

Technika modelowania cech akustycznych głosu wymaga rozwiązania wielu teoretycznych, dotychczas tylko fragmentarycznie analizowanych problemów (np. anotacji sygnału mowy, charakterystyk tonu krtaniowego, percepcyjnych korelatów jakości głosu, określenia inwariantów akustycznych cech osobniczych).

Czytaj opis projektu na stronie Polskiej Platformy Bezpieczeństwa Wewnętrznego (PPBW).

• Modelling of prosody for advanced spoken language processing

W ramach porozumienia o współpracy naukowej między PAN i Japońskim Towarzystwem Popierania Nauki na lata 2010-2012.

Department of Information and Communication Engineering, Graduate School of Information Science and Technology, The University of Tokyo, Keikichi Hirose

Poznańskie Centrum Superkomputerowo-Sieciowe, Grażyna Demenko

Projekt   OR00006707 :  Zintegrowany system automatycznej konwersji mowy polskiej na tekst oparty  na modelu językowym stworzonym w środowisku analizy i obiegu  dokumentów prawniczych w zakresie bezpieczeństwa wewnętrznego,  Projekt badawczo-rozwojowy finansowany przez Ministerstwo Nauki Szkolnictwa Wyższego RP na podstawie decyzji nr 0067/R/T00/2009/07, termin zakończenia 08.07.2011.

1.     G. Demenko, K. Klessa,  M. Szymański, S. Breuer, W. Hess – Polish unit selection speech synthesis with BOSS: extensions and speech corpora. International Journal of Speech Technology. Vol. 13 (2010), Issue 2, str. 85-99

Tekst artykułu jest również dostępny on-line na stronach SpringerLink: http://www.springerlink.com

2.     G. Demenko, B. Moebius, K. Klessa – Implementation of Polisch speech synthesis for the BOSS system, Biuletyn  Polskiej  Akademii  Nauk, Vol. 58 (2010), Nr 3, str. 371–376

3.     M. Szymański,  K. Klessa, M. Lange, B. Rapp, S. Grocholewski, G. Demenko – Opracowanie modeli akustycznych na potrzeby systemu rozpoznawania mowy ciągłej z zastosowaniem dużych leksykalnych baz danych, Best Practices - Nauka w obliczu społeczeństwa Cyfrowego, Poznań 2010, str. 280–289, ISBN 978-83-7712-032-3

4.     Demenko, G., Wagner, A., Cylwik N. The use of speech technology in foreign language pronunciation training. Archives of Acoustics, Vol. 35 (2010), No 3, str. 309-329

5.     Demenko, G., Pruszewicz A. Audiometria mowy w „Audiologia kliniczna. Zarys”, pod red. A. Pruszewicza , A. Obrębowskiego, str. 230-262, 2010

W druku:

6.     K. Klessa, M. Karpiński, O. Bałdys, G. Demenko - Speechlabs ASR. Polish Lexical Database for Speech Technology: Design and Architecture. Speech and Language Technology, vol. 12/13, 2010

7.     G. Demenko - Expressive speech processing, Speech and Language Technology, vol. 12/13, 2010

8.     Grażyna Demenko - Technologie przetwarzania informacji słownych w zapobieganiu oraz zwalczaniu przestępczości zorganizowanej i terroryzmu, publikacja z konferencji: II FORUM NAUKOWE PODLASIE – WARMIA I MAZURY, Przestępczość zorganizowana i terroryzm w XXI wieku, Przyczyny – przejawy – przeciwdziałanie, Białowieża, 16-19.05.2010 r.

9.     Antoni Pruszewicz, Grażyna Surmanowicz-Demenko, Magda Jastrzębska - Polskie testy do badania audiometrią mowy, Wybrane zagadnienia z audiometrii mowy,  monografia pod red. A. Obrębowski, rozdział 6, 93-116, 2011

10.   Grażyna Surmanowicz-Demenko - Podstawy lingwistyczne i fonetyczne testów słownych, Wybrane zagadnienia z audiometrii mowy, monografia pod red. A. Obrębowski, rozdział 5, str. 77-91, 2011

11.   Grażyna Surmanowicz-Demenko - Percepcja mowy w zarysie, Wybrane zagadnienia z audiometrii mowy, monografia pod red. A. Obrębowski, rozdział 2, str. 33-57, 2011

• Prezentacja podczas wizyty Tetsunori Kobayashi i Kaikichi Hirose z Japonii, PAN Poznań 13.12.2010

G. Demenko, K. Klessa, M. Szymański – Speech and Text Corpora for Speech Technology

• Konferencja Polskiej Platformy Bezpieczeństwa Wewnętrznego pt. „Problematyka zapewnienia bezpieczeństwa wewnętrznego, jako wyzwanie dla Polskiej Prezydencji w UE w 2011 roku” –  Będlewo, 8 grudnia 2010

Grażyna Demenko, Robert Cecko - wyniki badań nad systemem automatycznego rozpoznawania mowy polskiej i jej przetwarzania na tekst.

• Prezentacja podczas wizyty prof. Sadaoki Furui, ICHB PAN, Poznań 02.11.2010

G. Demenko, K. Klessa, M. Szymański – Speech Technology Resources of Laboratory of Integrated Speech and Language Processing Systems.

• XII Międzynarodowe Otwarte Warsztaty Doktoranckie, OWD, Wisła 23.10.2010

Grażyna Demenko - Speech recognition methods and their applications in justice, referat zaproszony

M. Szymański – Method of transcribed utterances segmentation for speech synthesis, sekcja dla doktorantów

• Konferencja w Sądzie Najwyższym „Nowoczesne rozwiązania technologiczne i prawne, jako determinanty skuteczności organów ścigania oraz wymiaru sprawiedliwości w walce z przestępczością”, Warszawa, 20 października 2010

Grażyna Demenko, Robert Cecko - Technologia automatycznego rozpoznawania mowy i jej możliwość zastosowania w wymiarze  sprawiedliwości.

• Poznańska konferencja „Europejskie Konsorcja 2011-2012  – rozwój klasteringu w Wielkopolsce". Spotkanie zostało zorganizowane przez Urząd Marszałkowski Województwa Wielkopolskiego, Poznańskie Centrum Superkomputerowo-Sieciowe PAN oraz Wielkopolski Klaster Teleinformatyczny. Poznań, 13.10.2010

Grażyna Demenko – warsztaty „Implementation of speech recognition” (wdrożenie rozpoznawania mowy), podczas którego zaprezentowano możliwości, jakie firmom ICT daje elektroniczne rozpoznawanie i rozumienie mowy polskiej.

• Konferencja policyjna, Będlewo, 4 październik 2010

Grażyna Demenko - Zintegrowany system automatycznej konwersji mowy polskiej na tekst w zakresie bezpieczeństwa wewnętrznego JURISDIC realizowany w ramach Polskiej Platformy Bezpieczeństwa Wewnętrznego przez Poznańskie Centrum Superkomputerowo-Sieciowe oraz Wolters Kluwer Polska Sp. z o.o.

• II Forum Naukowe Podlasie – Warmia i Mazury, Przestępczość zorganizowana i terroryzm w XXI wieku. Przyczyny - przejawy – przeciwdziałanie,  Białowieża 16-19.05.2010

Grażyna Demenko - Technologie przetwarzania informacji słownych w zapobieganiu oraz zwalczaniu przestępczości zorganizowanej i terroryzmu.

• International conference: Performing Arts Medicine Coalition of San Francisco (PAMCOSF), session 2, Vocal Trauma - Voice Clinician & Teacher Perspectives, February 28, 2010

Yan and Demenko - Objective estimation of vocal overpressure from acoustic signals. What to listen to in a course of teaching a singer?

• International conference: XVIII Annual PVSF/UCLA Pacific Voice Conference Phonotrauma: Causes and Treatments, session 8: Physiologic and Acoustic Voice Treatment, Ronald Reagan UCLA Medical Center University of California, Los Angeles, California February 26-27, 2010

Yan and Demenko - Using Nyquist plots to describe real and mimicking traumatic phonation. Clinical implications.

POPULARYZACJA NAUKI

1.     G. Demenko, J. Bachan, M. Lange, S. Liberski, J. Ogórkiewicz, M. Owsianny, M. Szymański, A. Wagner - Noc Naukowców, IChB PAN, Poznań, Hol Ośrodka Nauki Polskiej Akademii Nauk ul. Wieniawskiego 17/19, 24 września 2010

• Komputer mówi i słyszy - Synteza i rozpoznawanie mowy
• Co słyszę? - Percepcja mowy dla dzieci
• Obco brzmiące dźwięki mowy - Komputer w nauce języka obcego

2.     CISCo Systems w PCSS, Poznań, 13.01.-14.01.2011

G. Demenko, E. Kuśmierek - Polish Speech Recognition research and applications, Prezentacja projektu.

Skład osobowy Laboratorium:

prof. dr hab. inż. Grażyna Demenko, e-mail:

mgr inż. Marcin Szymański, e-mail:

mgr inż. Jerzy Ogórkiewicz, e-mail:

mgr inż. Krzysztof Wegner, e-mail:

mgr inż. Marek Lange, e-mail:

Zespół wdrażania aplikacji z zakresu technologii języka i mowy:

mgr inż. Robert Cecko, e-mail:

dr inż. Ewa Kuśmierek

mgr inż. Marek Flejszman

mgr inż. Jerzy Jamroży

mgr inż. Krzysztof Nowak

Osoby współpracujące:

dr Katarzyna Klessa
dr Agnieszka Wagner
mgr Olga Bałdys
mgr Mariusz Owsianny
mgr Jolanta Bachan
mgr Magdalena Jastrzębska
mgr Tomasz Kuczmarski
mgr Szymon Liberski
lic. Piotr Francuzik