# -*- coding: utf-8 -*-
"""Digit recognition.ipynb

Automatically generated by Colaboratory.

Original file is located at
    https://colab.research.google.com/drive/1ntlTNRmG8jUmse_tq4zYkkmH6AZlXwlH
"""

import numpy as np
import matplotlib.pyplot as plt
import keras
from tensorflow.keras.datasets import mnist
from tensorflow import keras
import keras.backend as K
from tensorflow.keras.layers import Dense, Flatten, Reshape, Input, Lambda, BatchNormalization, Dropout
 
(x_train, y_train), (x_test, y_test) = mnist.load_data()
 
x_train = x_train / 255
x_test = x_test / 255

x_train.shape

hidden_dim = 2
batch_size = 32
latent_dim = 2 #Колличество нейронов для применения здесь z_mean = Dense(latent_dim)(x) z_log_var = Dense(latent_dim)(x)

inputs = keras.Input(shape=(28, 28))
x = Flatten()(inputs)
x = Dense(256, activation='relu')(x)
x = Dense(128, activation='relu')(x)
z_mean = Dense(latent_dim)(x)
z_log_var = Dense(latent_dim)(x)

def sampling(args):
    z_mean, z_log_var = args#Распаковка
    epsilon = K.random_normal(shape=(K.shape(z_mean)[0], latent_dim), mean=0.0, stddev=1.0)#Случайный шум который добавляется к среднему значению и дисперсии скрытого пространства для генерации случайного значения из этого пространства
    #Короче epsilon нужен для внесения случайности, это позволяект генерить разные исходы при генерации новых данных 
    return z_mean + K.exp(0.5 * z_log_var) * epsilon

z = keras.layers.Lambda(sampling)([z_mean, z_log_var])#Слой который sampling к списку входных тензеров

decoder_inputs = keras.Input(shape=(latent_dim,))
x = Dense(128, activation='relu')(decoder_inputs)
x = Dense(256, activation='relu')(x)
x = Dense(784, activation='sigmoid')(x)
outputs = Reshape((28, 28))(x)

encoder = keras.Model(inputs, z, name='encoder')
decoder = keras.Model(decoder_inputs, outputs, name='decoder')
vae_outputs = decoder(encoder(inputs))#Объединяю декодер и энкодер
vae = keras.Model(inputs, vae_outputs, name='vae')

reconstruction_loss = keras.losses.binary_crossentropy(K.flatten(inputs), K.flatten(vae_outputs)) * 28 * 28
#Функция потерь. Вычисляет перекёстную энтропию между входными и реконструированными данными.K.flatten использую для преобразования данных в одномерный массив, так вроде нормализуюю  потери 
kl_loss = -0.5 * K.sum(1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis=-1)
#Вычилсяю дивергенцию
vae_loss = K.mean(reconstruction_loss + kl_loss)
#Среднее значение функции потерь

vae.add_loss(vae_loss)
vae.compile(optimizer='adam')

vae.fit(x_train, epochs=5, batch_size=batch_size, shuffle=True)

encoded_imgs = encoder.predict(x_test)
plt.scatter(encoded_imgs[:, 0], encoded_imgs[:, 1])
plt.show()

plt.imshow(vae.predict(x_test[:1])[0], cmap='gray')

one = np.random.normal(size=10000)
two = np.random.normal(size=10000)

plt.scatter(one, two)
print(np.std(one))

plt.hist(one, bins=250)