Word embeddings - Versionsgeschichte

C.heck: /* GloVe */

2020-05-29T13:35:56Z

GloVe

← Nächstältere Version		Version vom 29. Mai 2020, 15:35 Uhr
Zeile 69:		Zeile 69:

	==GloVe==		==GloVe==
	Word2vec und GloVe sind Embeddings welche durch neuronale Netze erstellt ~~wer-den~~. ~~Diese word2vec~~ wird supervised trainiert~~. GloVe ist ebenfalls ein Embeddingwelches durch ein neuronales Netz erstellt wird. Jedoch ist hier der Trainingspro-zess unsupervised~~. Außerdem arbeitet es nicht wie ~~word2vec~~ direkt mit dem Text,sondern mit einer Co-Occurence Matrix über ~~welchen~~ der Kontext der Wörter ~~er-halten wird~~.		Word2vec und GloVe sind Embeddings welche durch neuronale Netze erstellt werden. Word2vec wird im Gegensatz zu GloVe ''supervised'' trainiert. Außerdem arbeitet es nicht wie Word2vec direkt mit dem Text,sondern mit einer ''Co-Occurence Matrix'' über die der Kontext der Wörter erhalten bleibt.

	Pennington et al., 2014: [https://www.aclweb.org/anthology/D14-1162/ Glove: Global Vectors for Word Representation]		Pennington et al., 2014: [https://www.aclweb.org/anthology/D14-1162/ Glove: Global Vectors for Word Representation]

C.heck am 28. Januar 2020 um 09:28 Uhr

2020-01-28T09:28:59Z

← Nächstältere Version		Version vom 28. Januar 2020, 11:28 Uhr
Zeile 1:		Zeile 1:
	~~[[Datei:Word-embeddings.png]]~~
	Der Sammelbegriff für eine Reihe von Sprachmodellierungs- und Feature-Learning-Techniken in der natürlichen Sprachverarbeitung (NLP), bei denen Wörter oder Phrasen aus dem Vokabular auf Vektoren mit reellen Zahlen abgebildet werden:		Der Sammelbegriff für eine Reihe von Sprachmodellierungs- und Feature-Learning-Techniken in der natürlichen Sprachverarbeitung (NLP), bei denen Wörter oder Phrasen aus dem Vokabular auf Vektoren mit reellen Zahlen abgebildet werden:
	* ein Vektor, der die Struktur des Wortes in Bezug auf Morphologie widerspiegelt ( Anreichern von Wortvektoren mit Unterwortinformationen ) * eine Wortkontextdarstellung ( word2vec Parameter Learning Explained )		* ein Vektor, der die Struktur des Wortes in Bezug auf Morphologie widerspiegelt ( Anreichern von Wortvektoren mit Unterwortinformationen ) * eine Wortkontextdarstellung ( word2vec Parameter Learning Explained )
Zeile 12:		Zeile 11:
	----		----
	generell gilt, je mehr Dimensionen ein Vektor besitzt, desto mehr Bedeutung können wir in diesen hineinlegen < problem computational grenze		generell gilt, je mehr Dimensionen ein Vektor besitzt, desto mehr Bedeutung können wir in diesen hineinlegen < problem computational grenze
	-~~---~~		[[Datei:Word-embeddings.png]]



	=Traditionelle Worteinbettungen=		=Traditionelle Worteinbettungen=

C.heck am 28. Januar 2020 um 09:28 Uhr

2020-01-28T09:28:18Z

← Nächstältere Version		Version vom 28. Januar 2020, 11:28 Uhr
Zeile 1:		Zeile 1:
			[[Datei:Word-embeddings.png]]
	Der Sammelbegriff für eine Reihe von Sprachmodellierungs- und Feature-Learning-Techniken in der natürlichen Sprachverarbeitung (NLP), bei denen Wörter oder Phrasen aus dem Vokabular auf Vektoren mit reellen Zahlen abgebildet werden:		Der Sammelbegriff für eine Reihe von Sprachmodellierungs- und Feature-Learning-Techniken in der natürlichen Sprachverarbeitung (NLP), bei denen Wörter oder Phrasen aus dem Vokabular auf Vektoren mit reellen Zahlen abgebildet werden:
	* ein Vektor, der die Struktur des Wortes in Bezug auf Morphologie widerspiegelt ( Anreichern von Wortvektoren mit Unterwortinformationen ) * eine Wortkontextdarstellung ( word2vec Parameter Learning Explained )		* ein Vektor, der die Struktur des Wortes in Bezug auf Morphologie widerspiegelt ( Anreichern von Wortvektoren mit Unterwortinformationen ) * eine Wortkontextdarstellung ( word2vec Parameter Learning Explained )

C.heck am 22. November 2019 um 11:33 Uhr

2019-11-22T11:33:08Z

← Nächstältere Version		Version vom 22. November 2019, 13:33 Uhr
Zeile 147:		Zeile 147:
	[[Category:Python]]		[[Category:Python]]
	[[Category:Computerlinguistik]]		[[Category:Computerlinguistik]]
	[[Category:~~Word2Vev~~]]		[[Category:Word2Vec]]
	[[Category:Glitch]]		[[Category:Glitch]]

C.heck am 22. November 2019 um 11:25 Uhr

2019-11-22T11:25:44Z

← Nächstältere Version		Version vom 22. November 2019, 13:25 Uhr
Zeile 140:		Zeile 140:
	* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html		* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html
	** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.		** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.

			[[Category:word embeddings]]
			[[Category:KI]]
			[[Category: Natural Language Processing]]
			[[Category:Programmierung]]
			[[Category:Python]]
			[[Category:Computerlinguistik]]
			[[Category:Word2Vev]]
			[[Category:Glitch]]

C.heck am 14. November 2019 um 09:04 Uhr

2019-11-14T09:04:51Z

← Nächstältere Version		Version vom 14. November 2019, 11:04 Uhr
Zeile 83:		Zeile 83:
	----		----

	~~<!--~~
	=Neuronale NLP Architekturen=		=Neuronale NLP Architekturen=
	nächste Woche		nächste Woche
Zeile 95:		Zeile 94:

	----		----
	~~-->~~

	=pitfalls of modern state of the art NLP systems...=		=pitfalls of modern state of the art NLP systems...=
	<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->		<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->

C.heck: /* build your own chatbot */

2019-11-13T15:04:49Z

build your own chatbot

← Nächstältere Version		Version vom 13. November 2019, 17:04 Uhr
Zeile 143:		Zeile 143:
	* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html		* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html
	** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.		** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.

	~~=build your own chatbot=~~
	~~[[Datei:bots1.png\|500px]][[Datei:bots2.png\|500px]]~~

C.heck am 13. November 2019 um 14:59 Uhr

2019-11-13T14:59:48Z

← Nächstältere Version		Version vom 13. November 2019, 16:59 Uhr
Zeile 143:		Zeile 143:
	* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html		* Oktober 2018: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html
	** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.		** Amazon: KI zur Bewerbungsprüfung benachteiligte Frauen - Ein automatisches Bewertungssystem von Bewerbungen bei Amazon wurde größtenteils eingestampft, nachdem der US-Konzern mitbekommen hatte, dass die KI Frauen systematisch benachteiligte. Das geht aus einem [https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G Bericht der Nachrichtenagentur Reuters] hervor. Demnach war seit 2014 intern ein Algorithmus entwickelt worden, der unter mehreren Bewerbungstexten automatisch jene der vielversprechendsten Bewerber herausfiltern sollte.

			=build your own chatbot=
			[[Datei:bots1.png\|500px]][[Datei:bots2.png\|500px]]

C.heck: /* pitfalls of modern state of the art NLP systems. */

2019-11-13T14:18:20Z

pitfalls of modern state of the art NLP systems.

← Nächstältere Version		Version vom 13. November 2019, 16:18 Uhr
Zeile 97:		Zeile 97:
	-->		-->

	=pitfalls of modern state of the art NLP systems.=		=pitfalls of modern state of the art NLP systems...=
	<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->		<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->
	Obwohl neuronales NLP zu vielen Durchbrüchen geführt hat, wie in den vorherigen Beiträgen zu sehen, gibt es immer noch viele Mängel, die von Modellen auf dem neuesten Stand der Technik mit vorab trainierten Worteinbettungen und Aufmerksamkeitsmechanismen gezeigt wurden. Diese Fehler in der neuronalen NLP haben gefährliche Auswirkungen auf Produktionssysteme, die nur wenig oder gar keinen Spielraum für Ungenauigkeit und Unvorhersehbarkeit bieten.		Obwohl neuronales NLP zu vielen Durchbrüchen geführt hat, wie in den vorherigen Beiträgen zu sehen, gibt es immer noch viele Mängel, die von Modellen auf dem neuesten Stand der Technik mit vorab trainierten Worteinbettungen und Aufmerksamkeitsmechanismen gezeigt wurden. Diese Fehler in der neuronalen NLP haben gefährliche Auswirkungen auf Produktionssysteme, die nur wenig oder gar keinen Spielraum für Ungenauigkeit und Unvorhersehbarkeit bieten.

C.heck: /* Neuronale NLP Architekturen */

2019-11-13T14:18:01Z

Neuronale NLP Architekturen

← Nächstältere Version		Version vom 13. November 2019, 16:18 Uhr
Zeile 83:		Zeile 83:
	----		----

			<!--
	=Neuronale NLP Architekturen=		=Neuronale NLP Architekturen=
	nächste Woche		nächste Woche
Zeile 94:		Zeile 95:

	----		----
			-->

	=pitfalls of modern state of the art NLP systems.=		=pitfalls of modern state of the art NLP systems.=
	<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->		<!--https://towardsdatascience.com/beyond-word-embeddings-part-3-four-common-flaws-in-state-of-the-art-neural-nlp-models-c1d35d3496d0-->