当运行这个脚本时,model.fit当我想要训练模型时,我在调用www.example.com(dataset,epochs=5)方法时得到一个错误,并且我得到了错误InvalidArgumentError:图形执行错误:
”
import nltk
nltk.download('punkt')
nltk.download('wordnet')
nltk.download('stopwords')
nltk.download('omw-1.4')
def preprocess_data(data):
# Tokenize as sentences
data = [nltk.word_tokenize(sent) for sent in data]
# Remove stopwords
stopwords = nltk.corpus.stopwords.words('portuguese')
data = [[word for word in sent if word not in stopwords] for sent in data]
# Perform lemmatization
lemmatizer = nltk.stem.WordNetLemmatizer()
data = [[lemmatizer.lemmatize(word) for word in sent] for sent in data]
return data
# Example usage
data = [ "oi tudo bem?", "sim, eu estou com fome e voce?", "eu estou, quero uma pizza", "vou pedir duas pizzas", "Gosto de livros", "quais livros voce gosta de ler?", "oi tudo bem?", "sim, eu estou com fome e voce?", "eu estou, quero uma pizza", "vou pedir duas pizzas", "Gosto de livros", "quais livros voce gosta de ler?", "eu gosto de ler thrillers e ficção científica", "e você, o que mais gosta de ler?", "eu também gosto de ler romances e livros de autoajuda", "qual é o seu livro favorito?", "um dos meus livros favoritos é o 'O Alquimista' de Paulo Coelho", "eu também gosto muito desse livro! Qual é o seu gênero literário favorito?", "eu gosto de todos os gêneros, mas talvez meu favorito seja a ficção científica", "eu também adoro ficção científica. Qual é o seu livro de ficção científica favorito?", "meu livro de ficção científica favorito é 'Dune' de Frank Herbert", "que legal, eu também gosto muito de 'Dune'! Já leu algum outro livro do Frank Herbert?", "sim, eu também gostei muito de 'O Imperador-Deus de Dune' e 'Herejia de Dune'"]
processed_data = preprocess_data(data)
print(processed_data)
import tensorflow as tf
# Define the input and output sequences
input_sequences = processed_data[:-1]
output_sequences = processed_data[1:]
def flatten(l):
return [item for sublist in l for item in sublist]
# Create a vocabulary of unique words
vocab = sorted(set(flatten(input_sequences + output_sequences)))
# Create word-to-index and index-to-word mappings
word_to_index = {word: i for i, word in enumerate(vocab)}
index_to_word = {i: word for i, word in enumerate(vocab)}
# Convert the input and output sequences to integers
input_sequences = [[word_to_index[word] for word in seq] for seq in input_sequences]
output_sequences = [[word_to_index[word] for word in seq] for seq in output_sequences]
# Find the maximum sequence length
max_seq_len = max(len(seq) for seq in input_sequences + output_sequences)
# Pad the sequences with zeros to the maximum sequence length
input_sequences = tf.keras.preprocessing.sequence.pad_sequences(
input_sequences, maxlen=max_seq_len, padding='post')
output_sequences = tf.keras.preprocessing.sequence.pad_sequences(
output_sequences, maxlen=max_seq_len, padding='post')
# Create a dataset from the padded sequences
batch_size = 32 # Replace 32 with the desired batch size
dataset = tf.data.Dataset.from_tensor_slices(
(input_sequences, output_sequences)).batch(batch_size)
# Define the RNN model
model = tf.keras.Sequential([
tf.keras.layers.Embedding(len(vocab), 64, input_length=max_seq_len),
tf.keras.layers.LSTM(64),
tf.keras.layers.Dense(len(vocab), activation='softmax')
])
# Compile the model
# Compile the model
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# Treinar o modelo
model.fit(dataset, epochs=5)
”
我希望能够训练网络,但返回的错误是InvalidArgumentError:图形执行错误:
1条答案
按热度按时间ijnw1ujt1#
我也收到了与您相同的错误消息。我希望使用TensorFlow编程一个图像分类系统,该系统在Google Compute Engine虚拟机上完成训练。我还包括了我的问题的堆栈跟踪以获得更多信息。到目前为止,我还没有在互联网上找到非常强大的信息来修复这个模型训练步骤。