Задача №8 Лаб. робота №9

Умова задачі: Напишіть програму, яка обробить Brown Corpus і допоможе відповісти на наступне запитання: які іменники частіше зустрічаються у множині ніж в однині (розглядати тільки регулярні форми множини).

Аналіз задачі. Потрібно знайти слова, які промарковані "NN" або "NNS" і порівняти їх частоту. Якщо dog - NN - зустрічається 5 разів а dogs - NNS - зустрічається 7 разів то "dog" частіше зустрічається у множині ніж в однині.

Один з варіантів рішення.

Подаю без коментарів і сподіваюсь на обговорення.

	import nltk
	from nltk.corpus import brown
	wnl = nltk.WordNetLemmatizer()
	noun_list=[(wnl.lemmatize(w),t,w)
	for w,t in brown.tagged_words() if t=="NN" or t=="NNS"]
	cfd=nltk.ConditionalFreqDist([(wl,t) for wl,t,w in noun_list])
	list1=[set([w for wl,t,w in noun_list if wl==i and w[-1]=='s'])
	for i in cfd.conditions()
	if len(cfd[i].keys())==2 and cfd[i].keys()[0]=="NNS"]
	>>> len(list1)
	852
	>>> list1[:10]
	[set([]), set([]), set([]), set([]), set([]), set(['Headquarters']), set([]), set(['aberrations']), set(['abolitionists']), set(['aborigines'])]

view raw f.py hosted with ❤ by GitHub

Трохи страшненько але може спонукає студентів до акуратного аналізу і розбору рішення

Задача №16a 8 розділ

Умова задачі: Write a program to find those verbs in the PP Attachment Corpus nltk.corpus.ppattach. Find any cases where the same verb exhibits two different attachments, but where  the  first noun, or  second noun, or preposition  stays unchanged (as we saw in our discussion of syntactic ambiguity in Section 8.2).

Аналіз задачі:
1. Переглядаємо формат корпуса PP Attachment Corpus.

The PP Attachment Corpus contains several files having the format:

sentence_id verb noun1 preposition noun2 attachment

For example:

42960 gives authority to administration V 

46742 gives inventors of microchip N

The PP attachment is to the verb phrase (V) or noun phrase (N), i.e.:

(VP gives (NP authority) (PP to administration)) (VP gives (NP inventors (PP of microchip)))

2. Аналізуємо приклад на сторінці 316.

# записи корпуса з частини 'training'

entries = nltk.corpus.ppattach.attachments('training')

# пустий словник по замовчуванню, значеннями записів якого будуть словники

table = nltk.defaultdict(lambda: nltk.defaultdict(set))

# заповнення словника за ключами які будуть містити іменник1-прийменник-іменник1

# а значеннями за цими ключами будуть словники з ключами attachment (V або N - до чого приєднується прийменниковий вираз) і значеннями - дієслово

for entry in entries:

...     key = entry.noun1 + '-' + entry.prep + '-' + entry.noun2

...     table[key][entry.attachment].add(entry.verb)

# перегляд словника і вивід на екран

for key in sorted(table):

...     if len(table[key]) > 1:

...         print key, 'N:', sorted(table[key]['N']), 'V:', sorted(table[key]['V'])

Пробуємо розв'язати задачу.

	import nltk
	entries = nltk.corpus.ppattach.attachments('training')
	table = nltk.defaultdict(lambda: nltk.defaultdict(set))
	for entry in entries:
	# іменник1 прийменник іменник2
	pphrase = entry.noun1 + '-' + entry.prep + '-' + entry.noun2
	# ключ словник дієслово та перший іменник (при потребі може бути другий іменник чи #прийменник
	key1 = entry.verb + '-' + entry.noun1
	# заповнення словника - записи словника - словник з ключами V або N та значеннями #іменник1 прийменник іменник2
	table[key1][entry.attachment].add(pphrase)
	# отримання списку кортежів - задане дієслово, ключ словника, запис словника
	# всі attachment для заданого дієслова з однаковим першим іменником і які можуть відноситися як до іменника так і для дієслова
	att_list=[('give', verb_noun,table[verb_noun]) for verb_noun in table.keys()
	if str(verb_noun).startswith('give') and len( table[verb_noun])>1]

view raw e.py hosted with ❤ by GitHub

В результаті отримуємо щось таке: