Почему нет данных в рса: «Отсутствие данных в базе РСА. КБМ !!!»

В моем последнем руководстве я рассмотрел логистическую регрессию с использованием Python. Одна из полученных вещей заключалась в том, что вы можете ускорить настройку алгоритма машинного обучения, изменив алгоритм оптимизации. Более распространенный способ ускорить алгоритм машинного обучения — использовать анализ главных компонентов (PCA). Если ваш алгоритм обучения слишком медленный из-за слишком высокого размера входных данных, то использование PCA для его ускорения может быть разумным выбором.Вероятно, это наиболее распространенное применение PCA. Еще одно распространенное применение PCA — визуализация данных.

Чтобы понять ценность использования PCA для визуализации данных, в первой части этого учебного поста рассматривается базовая визуализация набора данных IRIS после применения PCA. Вторая часть использует PCA для ускорения алгоритма машинного обучения (логистической регрессии) для набора данных MNIST.

Итак, приступим! Если вы заблудились, рекомендую открыть видео ниже в отдельной вкладке.

Код, используемый в этом руководстве, доступен ниже

PCA для визуализации данных

PCA для ускорения алгоритмов машинного обучения

Для многих приложений машинного обучения это помогает визуализировать данные. Визуализировать двух- или трехмерные данные не так сложно. Однако даже набор данных Iris, используемый в этой части руководства, является четырехмерным. Вы можете использовать PCA, чтобы уменьшить эти четырехмерные данные до двух или трех измерений, чтобы вы могли построить график и, надеюсь, лучше понять данные.

Загрузить набор данных Iris

Набор данных Iris — это один из наборов данных, которые поставляются с scikit-learn, которые не требуют загрузки какого-либо файла с какого-либо внешнего веб-сайта. Приведенный ниже код загрузит набор данных радужной оболочки.

 импортировать панды как pdurl = "https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"# загрузить набор данных в Pandas DataFrame 
df = pd.read_csv (url, names = ['длина чашелистника', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'цель']) 

Стандартизация данных

PCA выполняется по масштабу, поэтому вам нужно для масштабирования функций в ваших данных перед применением PCA.Используйте StandardScaler , чтобы помочь вам стандартизировать функции набора данных в единичном масштабе (среднее значение = 0 и дисперсия = 1), что является требованием для оптимальной производительности многих алгоритмов машинного обучения. Если вы хотите увидеть негативный эффект, который может иметь отсутствие масштабирования ваших данных, в scikit-learn есть раздел о последствиях нестандартизации ваших данных.

 из sklearn.preprocessing import StandardScalerfeatures = ['длина чашелистника', 'ширина чашелистика', 'длина лепестка', 'ширина лепестка'] # Разделение элементов 
x = df.loc [:, features] .values ​​# Разделение цели 
y = df.loc [:, ['target']]. values ​​# Стандартизация функций 
x = StandardScaler (). fit_transform (x) 

Проекция PCA в 2D

Исходные данные имеют 4 столбца (длина чашелистика, ширина чашелистика, длина лепестка и ширина лепестка). В этом разделе код проецирует исходные данные, которые являются четырехмерными, в двухмерные. Я должен отметить, что после уменьшения размерности каждому главному компоненту обычно не присваивается конкретное значение.Новые компоненты — это всего лишь два основных аспекта вариации.

 из sklearn.decomposition import PCApca = PCA (n_components = 2) PrincipalComponents = pca.fit_transform (x) PrincipalDf = pd.DataFrame (data = PrincipalComponents 
, columns = ['основной компонент 1', 'основной компонент 2']) 

 finalDf = pd.concat ([PrincipalDf, df [['target']]], axis = 1) 

Объединение DataFrame по оси = 1. finalDf — это последний DataFrame перед построением графика данные.

Визуализация 2D-проекции

В этом разделе просто отображаются двухмерные данные. Обратите внимание на графике ниже, что классы кажутся хорошо отделенными друг от друга.

 fig = plt.figure (figsize = (8,8)) 
ax = fig.add_subplot (1,1,1) 
ax.set_xlabel ('Главный компонент 1', fontsize = 15) 
ax.set_ylabel (' Основной компонент 2 ', fontsize = 15) 
ax.set_title (' 2-компонентный PCA ', fontsize = 20) target = [' Iris-setosa ',' Iris-versicolor ',' Iris-virginica '] 
colors = [' r ',' g ',' b '] 
для цели, цвет в zip (цели, цвета): 
indexToKeep = finalDf [' target '] == target 
ax.scatter (finalDf.loc [indexToKeep, 'главный компонент 1'] 
, finalDf.loc [indexToKeep, 'главный компонент 2'] 
, c = color 
, s = 50) 
ax.legend (цели) 
ax.grid () 

Объясненное отклонение

Объясненное отклонение показывает, сколько информации (отклонения) можно отнести к каждому из основных компонентов. Это важно, поскольку, хотя вы можете преобразовать 4-мерное пространство в 2-мерное пространство, при этом вы теряете часть дисперсии (информации).Используя атрибут объясненная_вариантность_ , вы можете увидеть, что первый главный компонент содержит 72,77% дисперсии, а второй главный компонент содержит 23,03% дисперсии. Вместе эти два компонента содержат 95,80% информации.

 pca.explained_variance_ratio_ 

Одно из наиболее важных приложений PCA — ускорение алгоритмов машинного обучения. Использование набора данных IRIS здесь было бы непрактичным, поскольку набор данных содержит только 150 строк и только 4 столбца функций.База данных рукописных цифр MNIST более подходит, поскольку она имеет 784 столбца характеристик (784 измерения), обучающий набор из 60 000 примеров и тестовый набор из 10 000 примеров.

Вы также можете добавить параметр data_home в fetch_mldata , чтобы изменить место загрузки данных.

 из sklearn.datasets import fetch_openmlmnist = fetch_openml ('mnist_784') 

Изображения, которые вы загрузили, содержатся в mnist.data и имеет форму (70000, 784), что означает 70 000 изображений с 784 размерами (784 объекта).

Метки (целые числа 0–9) содержатся в mnist.target . Элементы имеют 784 размера (изображения 28 x 28), а надписи представляют собой простые числа от 0 до 9.

Как правило, разделение обучающего теста составляет 80% обучения и 20% теста. В этом случае я выбрал 6/7 данных для обучения и 1/7 данных для тестового набора.

 из sklearn.model_selection import train_test_split # test_size: какая часть исходных данных используется для тестового набора 
train_img, test_img, train_lbl, test_lbl = train_test_split (mnist.data, mnist.target, test_size = 1 / 7.0, random_state = 0) 

Текст в этом абзаце является почти точной копией того, что было написано ранее. PCA зависит от масштаба, поэтому вам необходимо масштабировать функции в данных перед применением PCA. Вы можете преобразовать данные в единицу измерения (среднее значение = 0 и дисперсия = 1), что является требованием для оптимальной производительности многих алгоритмов машинного обучения. StandardScaler помогает стандартизировать функции набора данных. Обратите внимание, что вы подходите для обучающего набора и трансформируете обучающий и тестовый набор. Если вы хотите увидеть негативный эффект, который может иметь отсутствие масштабирования ваших данных, в scikit-learn есть раздел о последствиях нестандартизации ваших данных.

 из sklearn.preprocessing import StandardScaler 
scaler = StandardScaler () # Подходит только для обучающего набора. 
scaler.fit (train_img) # Применить преобразование как к набору обучения, так и к набору тестов.
train_img = scaler.transform (train_img) 
test_img = scaler.transform (test_img) 

Обратите внимание, что в коде ниже 0,95 для параметра количества компонентов. Это означает, что scikit-learn выбирает минимальное количество основных компонентов, чтобы сохранить 95% дисперсии.

 из sklearn.decomposition import PCA # Создайте экземпляр модели 
pca = PCA (.95) 

Установите PCA в обучающий набор. Примечание: вы устанавливаете PCA только на тренировочном наборе.

 pca.fit (train_img) 

Примечание. Вы можете узнать, сколько компонентов PCA выберет после подбора модели, используя pca.n_components_ . В этом случае 95% дисперсии составляют 330 основных компонентов.

 train_img = pca.transform (train_img) 
test_img = pca.transform (test_img) 

Шаг 1: Импортируйте модель, которую хотите использовать

В sklearn, все модели машинного обучения реализованы как классы Python

 из sklearn.linear_model import LogisticRegression 

Шаг 2: Создайте экземпляр модели.

 # для всех неуказанных параметров установлены значения по умолчанию 
# решатель по умолчанию невероятно медленный, поэтому он был изменен на 'lbfgs' 
logisticRegr = LogisticRegression (solver = 'lbfgs') 

Шаг 3: Обучение модели на данных, хранящих информацию, полученную из данных

Модель изучает взаимосвязь между цифрами и метками

 logisticRegr.fit (train_img, train_lbl) 

Шаг 4: Предсказание меток новых данных (новых изображений)

Использует информацию, полученную моделью в процессе обучения модели

Код ниже предсказывает для одного наблюдения

  # Predict для одного наблюдения (изображение)  
logisticRegr.predict (test_img [0] .reshape (1, -1)) 

Приведенный ниже код прогнозирует сразу несколько наблюдений

  # Прогноз для одного наблюдения (изображение)  
logisticRegr .прогноз (test_img [0:10]) 

Измерение производительности модели

Хотя точность не всегда является лучшим показателем для алгоритмов машинного обучения (точность, отзыв, оценка F1, кривая ROC и т. здесь для простоты.

 logisticRegr.score (test_img, test_lbl) 

Сроки подгонки логистической регрессии после PCA

Весь смысл этого раздела руководства состоял в том, чтобы показать, что вы можете использовать PCA для ускорения подбора алгоритмов машинного обучения.В приведенной ниже таблице показано, сколько времени потребовалось для соответствия логистической регрессии на моем MacBook после использования PCA (каждый раз сохраняя разную величину дисперсии).

В более ранних частях руководства было продемонстрировано использование PCA для сжатия данных большой размерности в данные меньшей размерности. Я хотел вкратце упомянуть, что PCA может также возвращать сжатое представление данных (данные более низкой размерности) к приближению исходных данных большой размерности.Если вас интересует код, который создает изображение ниже, посмотрите мой github.

Заключительные мысли

Это сообщение, над которым я мог бы писать намного дольше, поскольку PCA имеет много разных применений. Надеюсь, этот пост поможет вам во всем, над чем вы работаете. В моем следующем руководстве по машинному обучению я расскажу о деревьях принятия решений для классификации (Python). Если у вас есть какие-либо вопросы или мысли по поводу учебника, не стесняйтесь обращаться в комментариях ниже или через Twitter.Если вы хотите узнать о других алгоритмах, рассмотрите возможность прохождения моего курса «Машинное обучение с помощью Scikit-Learn LinkedIn Learning».

Визуализация многомерных наборов данных с использованием PCA и t-SNE в Python | Автор: Луук Дерксен

Обновление: 29 апреля 2019 г. Некоторые части кода обновлены, чтобы не использовать ggplot , а вместо этого использовать seaborn и matplotlib . Я также добавил пример для 3D-графика. Я также изменил синтаксис для работы с Python3.

Первый шаг к решению любой проблемы, связанной с данными, — это начать с изучения самих данных.Это можно сделать, например, путем изучения распределений определенных переменных или выявления потенциальных корреляций между переменными.

В настоящее время проблема заключается в том, что большинство наборов данных содержат большое количество переменных. Другими словами, они имеют большое количество измерений, по которым распределяются данные. Визуальное изучение данных может стать затруднительным и в большинстве случаев практически невозможно выполнить вручную. Однако такое визуальное исследование невероятно важно в любой проблеме, связанной с данными.Поэтому важно понимать, как визуализировать многомерные наборы данных. Это может быть достигнуто с помощью методов, известных как уменьшение размерности. Этот пост будет посвящен двум методам, которые позволят нам это сделать: PCA и t-SNE.

Об этом позже. Давайте сначала получим некоторые (многомерные) данные для работы.

В этой статье мы будем использовать набор данных MNIST. Нет необходимости загружать набор данных вручную, так как мы можем получить его с помощью Scikit Learn.

Сначала давайте разместим все библиотеки.

 из __future__ import print_function 
import timeimport numpy as np 
import pandas as pdfrom sklearn.datasets import fetch_mldata 
from sklearn.decomposition import PCA 
from sklearn.manifold import TSNE% matplotlib inline 
import matplotlib as plt_py. mplot3d импортирует Axes3Dimport seaborn как sns 

и давайте затем начнем с загрузки данных

 mnist = fetch_mldata ("MNIST original") 
X = mnist.data / 255.0 
y = mnist.targetprint (X.shape, y.shape) [out] (70000, 784) (70000,) 

Мы собираемся преобразовать матрицу и вектор в DataFrame Pandas. Это очень похоже на DataFrames, используемые в R, и облегчит нам построение графика позже.

 feat_cols = ['pixel' + str (i) for i in range (X.shape [1])] df = pd.DataFrame (X, columns = feat_cols) 
df ['y'] = y 
df [ 'label'] = df ['y']. apply (lambda i: str (i)) X, y = None, Noneprint ('Размер фрейма данных: {}'. format (df.shape)) [out] Размер фрейма данных: (70000, 785) 

Поскольку мы не хотим использовать 70 000 цифр в некоторых вычислениях, мы возьмем случайное подмножество цифр.Рандомизация важна, поскольку набор данных сортируется по его метке (то есть первые семь тысяч или около того — нули и т. Д.). Чтобы гарантировать рандомизацию, мы создадим случайную перестановку числа от 0 до 69 999, которая позволит нам позже выбрать первые пять или десять тысяч для наших расчетов и визуализаций.

 # Для воспроизводимости результатов 
np.random.seed (42) rndperm = np.random.permutation (df.shape [0]) 

Теперь у нас есть фрейм данных и вектор рандомизации.Давайте сначала проверим, как на самом деле выглядят эти числа. Для этого мы сгенерируем 30 графиков случайно выбранных изображений.

 plt.gray () 
fig = plt.figure (figsize = (16,7)) 
для i в диапазоне (0,15): 
ax = fig.add_subplot (3,5, i + 1, title = "Цифра: {}". Формат (str (df.loc [rndperm [i], 'label']))) 
ax.matshow (df.loc [rndperm [i], feat_cols] .values.reshape ((28 , 28)). Astype (float)) 
plt.show () 

Теперь мы можем начать думать о том, как на самом деле отличить нули от единиц, двоек и так далее.Если бы вы были, например, почтовым отделением, такой алгоритм мог бы помочь вам читать и сортировать рукописные конверты с помощью машины, а не людей. Очевидно, что в настоящее время у нас есть очень продвинутые методы для этого, но этот набор данных по-прежнему является очень хорошей площадкой для тестирования, чтобы увидеть, как работают конкретные методы уменьшения размерности и насколько хорошо они работают.

Все изображения по существу представляют собой изображения размером 28 на 28 пикселей и, следовательно, имеют в общей сложности 784 «размера», каждое из которых содержит значение одного конкретного пикселя.

Что мы можем сделать, так это резко сократить количество измерений, пытаясь сохранить как можно больше «вариаций» в информации. Здесь мы подходим к уменьшению размерности. Давайте сначала взглянем на нечто, известное как анализ основных компонентов .

PCA — это метод уменьшения количества измерений в наборе данных при сохранении большей части информации. Он использует корреляцию между некоторыми измерениями и пытается предоставить минимальное количество переменных, которые сохраняют максимальное количество вариаций или информацию о том, как распределяются исходные данные.Он делает это не с помощью догадок, а с использованием точной математики и того, что известно как собственные значения и собственные векторы матрицы данных. Эти собственные векторы ковариационной матрицы обладают тем свойством, что они указывают на основные направления изменения данных. Это направления максимальных вариаций в наборе данных.

Я не собираюсь вдаваться в фактический вывод и вычисление основных компонентов — если вы хотите углубиться в математику, посмотрите эту замечательную страницу — вместо этого мы воспользуемся реализацией Scikit-Learn PCA.

Поскольку мы, люди, любим наши двух- и трехмерные графики, давайте начнем с них и сгенерируем из исходных 784 измерений первые три основных компонента. И мы также увидим, сколько вариаций в общем наборе данных они действительно учитывают.

 pca = PCA (n_components = 3) 
pca_result = pca.fit_transform (df [feat_cols] .values) df ['pca-one'] = pca_result [:, 0] 
df ['pca-two'] = pca_result [:, 1] 
df ['pca-three'] = pca_result [:, 2] print ('Объясненная вариация для основного компонента: {}'.формат (pca.explained_variance_ratio _)) Объясненная вариация по главному компоненту: [0,09746116 0,07155445 0,06149531] 

Теперь, учитывая, что первые два компонента составляют около 25% вариации во всем наборе данных, давайте посмотрим, достаточно ли этого, чтобы визуально установить разные цифры. Что мы можем сделать, так это создать диаграмму рассеяния первого и второго главных компонентов и раскрасить каждый из различных типов цифр разным цветом. Если нам повезет, будут расположены цифры того же типа (т.е., сгруппированы) вместе в группы, что означало бы, что первые два основных компонента на самом деле многое говорят нам о конкретных типах цифр.

 plt.figure (figsize = (16,10)) 
sns.scatterplot (
x = "pca-one", y = "pca-two", 
hue = "y", 
palette = sns.color_palette ( "hls", 10), 
data = df.loc [rndperm ,:], 
legend = "full", 
alpha = 0.3 
) 

Из графика мы видим, что два компонента определенно содержат некоторую информацию, особенно для конкретных цифр, но явно недостаточно, чтобы их все можно было разделить.К счастью, есть еще один метод, который мы можем использовать для уменьшения количества измерений, который может оказаться более полезным. В следующих нескольких абзацах мы рассмотрим эту технику и выясним, дает ли она нам лучший способ уменьшения размеров для визуализации. Метод, который мы будем исследовать, известен как t-SNE (t-распределенные стохастические соседние объекты).

Для 3d-версии того же сюжета

 ax = plt.figure (figsize = (16,10)). Gca (projection = '3d') 
ax.scatter (
xs = df.loc [rndperm,:] ["pca-one"], 
ys = df.loc [rndperm,:] ["pca-two"], 
zs = df.loc [rndperm,:] ["pca-three" ], 
c = df.loc [rndperm,:] ["y"], 
cmap = 'tab10' 
) 
ax.set_xlabel ('pca-one') 
ax.set_ylabel ('pca-two') 
ax.set_zlabel ('pca-three') 
plt.show () 

Распределенное стохастическое соседнее встраивание (t-SNE) — это еще один метод уменьшения размерности, который особенно хорошо подходит для визуализации многомерных наборов данных. В отличие от PCA, это не математический метод, а вероятностный.Исходная статья описывает работу t-SNE как:

«t-Распределенное стохастическое вложение соседей (t-SNE) минимизирует расхождение между двумя распределениями: распределение, которое измеряет попарное сходство входных объектов, и распределение, которое измеряет попарно. подобия соответствующих точек малой размерности вложения ».

По сути, это означает, что он смотрит на исходные данные, которые вводятся в алгоритм, и смотрит, как лучше всего представить эти данные с использованием меньших измерений путем сопоставления обоих распределений.Способ, которым он это делает, довольно сложен в вычислительном отношении, и поэтому существуют некоторые (серьезные) ограничения на использование этого метода. Например, одна из рекомендаций заключается в том, что в случае данных очень высокой размерности вам может потребоваться применить другой метод уменьшения размерности перед использованием t-SNE:

 | Настоятельно рекомендуется использовать другое уменьшение размерности. 
| метод (например, PCA для плотных данных или TruncatedSVD для разреженных данных) 
| уменьшить количество измерений до разумного количества (например,г. 50) 
| если количество функций очень велико. 

Другой ключевой недостаток состоит в том, что он:

«Поскольку t-SNE квадратично масштабируется по количеству объектов N, его применимость ограничена наборами данных с несколькими тысячами входных объектов; кроме того, обучение становится слишком медленным, чтобы быть практичным (и требования к памяти становятся слишком большими) ».

Мы будем использовать реализацию алгоритма Scikit-Learn в оставшейся части этой статьи.

Вопреки приведенной выше рекомендации мы сначала попробуем запустить алгоритм на фактических размерах данных (784) и посмотрим, как это работает.Чтобы не перегружать нашу машину памятью и мощностью / временем, мы будем использовать только первые 10 000 выборок для запуска алгоритма. Для сравнения позже я также снова запущу PCA на подмножестве.

 N = 10000df_subset = df.loc [rndperm [: N] ,:]. Copy () data_subset = df_subset [feat_cols] .valuespca = PCA (n_components = 3) 
pca_result = pca.fit_transform (data_subset) df_subset) df_subset -one '] = pca_result [:, 0] 
df_subset [' pca-two '] = pca_result [:, 1] 
df_subset [' pca-three '] = pca_result [:, 2] print (' Разъясненное изменение для каждого участника составная часть: {}'.формат (pca.explained_variance_ratio _)) [out] Объясненная вариация по главному компоненту: [0,09730166 0,07135901 0,06183721] 

x

 time_start = time.time () 
tsne = TSNE (n_components = 2, verbose = 1, perplexity = n_iter = 300) 
tsne_results = tsne.fit_transform (data_subset) print ('t-SNE done! Истекшее время: {} секунд'.format (time.time () - time_start)) [out] [t-SNE] Вычисления 121 ближайшие соседи ... 
[t-SNE] Проиндексировано 10000 выборок за 0,564 с ... 
[t-SNE] Вычисленные соседи для 10000 выборок в 121.191 с ... 
[t-SNE] Вычисленные условные вероятности для выборки 1000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 2000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 3000/10000 
[t- SNE] Вычисленные условные вероятности для выборки 4000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 5000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 6000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 7000 / 10000 
[t-SNE] Вычисленные условные вероятности для выборки 8000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 9000/10000 
[t-SNE] Вычисленные условные вероятности для выборки 10000/10000 
[t-SNE] Средняя сигма: 2.129023 
[t-SNE] Расхождение KL после 250 итераций с ранним преувеличением: 85.957787 
[t-SNE] Расхождение KL после 300 итераций: 2,823509 
t-SNE выполнено! Истекшее время: 157,3975932598114 секунды 

Теперь, когда у нас есть два результирующих измерения, мы можем снова визуализировать их, создав диаграмму рассеяния двух измерений и раскрасив каждый образец соответствующей меткой.

 df_subset ['tsne-2d-one'] = tsne_results [:, 0] 
df_subset ['tsne-2d-two'] = tsne_results [:, 1] plt.figure (figsize = (16,10)) 
sns.scatterplot (
x = "tsne-2d-one", y = "tsne-2d-two", 
hue = "y", 
palette = sns.color_palette ( "hls", 10), 
data = df_subset, 
legend = "full", 
alpha = 0.3 
) 

Это уже значительное улучшение по сравнению с визуализацией PCA, которую мы использовали ранее. Мы можем видеть, что цифры очень четко сгруппированы в свои собственные подгруппы. Если бы мы теперь использовали алгоритм кластеризации для выделения отдельных кластеров, мы, вероятно, могли бы довольно точно назначить новые точки метке.Просто для сравнения PCA и T-SNE:

 plt.figure (figsize = (16,7)) ax1 = plt.subplot (1, 2, 1) 
sns.scatterplot (
x = "pca-one", y = "pca-two", 
hue = "y", 
palette = sns.color_palette ("hls", 10), 
data = df_subset, 
legend = "full", 
alpha = 0.3, 
ax = ax1 
) ax2 = plt.subplot (1, 2, 2) 
sns.scatterplot (
x = "tsne-2d-one", y = "tsne-2d-two", 
hue = "y", 
palette = sns .color_palette ("hls", 10), 
data = df_subset, 
legend = "full", 
alpha = 0.3, 
ax = ax2 
) 

Примите рекомендации близко к сердцу и фактически уменьшите количество измерений, прежде чем вводить данные в алгоритм t-SNE.Для этого мы снова воспользуемся PCA. Сначала мы создадим новый набор данных, содержащий пятьдесят измерений, сгенерированных алгоритмом редукции PCA. Затем мы можем использовать этот набор данных для выполнения t-SNE для

 pca_50 = PCA (n_components = 50) 
pca_result_50 = pca_50.fit_transform (data_subset) print ('Кумулятивная объясненная вариация для 50 основных компонентов: {}'. Format (np .sum (pca_50.explained_variance_ratio _))) [out] Кумулятивная объясненная вариация для 50 основных компонентов: 0,8267618822147329 

Удивительно, но первые 50 компонентов составляют примерно 85% общей вариации данных.

Теперь давайте попробуем передать эти данные в алгоритм t-SNE. На этот раз мы используем 10 000 сэмплов из 70 000, чтобы убедиться, что алгоритм не занимает слишком много памяти и ЦП. Поскольку код, используемый для этого, очень похож на предыдущий код t-SNE, я переместил его в раздел «Приложение: код» внизу этого сообщения. Полученный график выглядит следующим образом:

На этом графике мы можем ясно видеть, как все образцы хорошо разнесены и сгруппированы их соответствующие цифры.Это может быть отличной отправной точкой для последующего использования алгоритма кластеризации и попытки идентифицировать кластеры или фактически использовать эти два измерения в качестве входных данных для другого алгоритма (например, чего-то вроде нейронной сети).

Итак, мы исследовали использование различных методов уменьшения размерности для визуализации данных большой размерности с использованием двухмерной диаграммы рассеяния. Мы не вдавались в фактическую математику, а вместо этого полагались на реализации всех алгоритмов Scikit-Learn.

Прежде чем закончить с приложением…

Вместе с друзьями-единомышленниками мы рассылаем еженедельные информационные бюллетени с некоторыми ссылками и заметками, которыми мы хотим поделиться между собой (почему бы не позволить другим читать их?).

Код: t-SNE на данных с сокращенным PCA

 time_start = time.time () tsne = TSNE (n_components = 2, verbose = 0, perplexity = 40, n_iter = 300) 
tsne_pca_results = tsne.fit_transform (pca_result_50) print ('t-SNE done! Прошло времени: {} секунд'.format (time.time () - time_start)) [out] t-SNE готово! Истекшее время: 42,01495909690857 секунд 

А для визуализации

 df_subset ['tsne-pca50-one'] = tsne_pca_results [:, 0] 
df_subset ['tsne-pca50-two'] = tsne_pca 1_results [.: figure (figsize = (16,4)) ax1 = plt.subplot (1, 3, 1) 
sns.scatterplot (
x = "pca-one", y = "pca-two", 
hue = "y" , 
palette = sns.color_palette ("hls", 10), 
data = df_subset, 
legend = "full", 
alpha = 0.3, 
ax = ax1 
) ax2 = plt.subplot (1, 3, 2) 
sns.scatterplot (
x = "tsne-2d-one", y = "tsne-2d-two", 
hue = "y", 
palette = sns.color_palette ("hls ", 10), 
data = df_subset, 
legend =" full ", 
alpha = 0.3, 
ax = ax2 
) ax3 = plt.subplot (1, 3, 3) 
sns.scatterplot (
x =" tsne -pca50-one ", y =" tsne-pca50-two ", 
hue =" y ", 
palette = sns.color_palette (" hls ", 10), 
data = df_subset, 
legend =" full ", 
альфа = 0,3, 
ax = ax3 
) 

Основы баз данных — Access

В этой статье дается краткий обзор баз данных — что это такое, почему вы можете захотеть ее использовать и что делают разные части базы данных. Терминология ориентирована на базы данных Microsoft Access, но концепции применимы ко всем продуктам баз данных.

В этой статье

Что такое база данных?

Части базы данных Access

Что такое база данных?

База данных — это инструмент для сбора и систематизации информации.Базы данных могут хранить информацию о людях, товарах, заказах или о чем-либо еще. Многие базы данных начинаются со списка в текстовом редакторе или электронной таблице. По мере того, как список становится больше, в данных начинают появляться повторяющиеся и несогласованные данные. Данные в форме списка становятся трудными для понимания, а способы поиска или извлечения подмножеств данных для проверки ограничены. Как только эти проблемы начинают появляться, рекомендуется перенести данные в базу данных, созданную системой управления базами данных (СУБД), такой как Access.

Компьютеризированная база данных — это контейнер объектов. Одна база данных может содержать более одной таблицы. Например, система отслеживания запасов, использующая три таблицы, — это не три базы данных, а одна база данных, содержащая три таблицы. Если база данных Access не была специально разработана для использования данных или кода из другого источника, она хранит свои таблицы в одном файле вместе с другими объектами, такими как формы, отчеты, макросы и модули. Базы данных, созданные в формате Access 2007 (который также используется в Access, 2016, Access 2013 и Access 2010), имеют расширение файла.accdb, а базы данных, созданные в более ранних форматах Access, имеют расширение файла .mdb. Вы можете использовать Access 2016, Access 2013, Access 2010 или Access 2007 для создания файлов в более ранних форматах файлов (например, Access 2000 и Access 2002-2003).

Используя Access, вы можете:

• Добавить новые данные в базу данных, например новый товар в инвентаре

• Редактирование существующих данных в базе данных, например изменение текущего местоположения элемента

• Удалить информацию, возможно, если предмет продан или выброшен

• Различные способы организации и просмотра данных

• Делитесь данными с другими через отчеты, сообщения электронной почты, интранет или Интернет

Части базы данных Access

В следующих разделах представлены краткие описания частей типичной базы данных Access.

Столы

Формы

Отчеты

Запросы

Макросы

Модули

Таблицы

Таблица базы данных похожа на электронную таблицу, поскольку данные хранятся в строках и столбцах.В результате обычно довольно просто импортировать электронную таблицу в таблицу базы данных. Основное различие между хранением ваших данных в электронной таблице и их хранением в базе данных заключается в том, как они организованы.

Чтобы получить максимальную гибкость от базы данных, данные должны быть организованы в таблицы, чтобы не возникало избыточности. Например, если вы храните информацию о сотрудниках, каждого сотрудника нужно ввести только один раз в таблицу, которая настроена только для хранения данных о сотрудниках.Данные о продуктах будут храниться в отдельной таблице, а данные о филиалах — в другой таблице. Этот процесс называется нормализацией .

Каждая строка в таблице называется записью. Записи — это место, где хранятся отдельные фрагменты информации. Каждая запись состоит из одного или нескольких полей. Поля соответствуют столбцам в таблице. Например, у вас может быть таблица с именем «Сотрудники», где каждая запись (строка) содержит информацию о разных сотрудниках, а каждое поле (столбец) содержит информацию другого типа, такую ​​как имя, фамилия, адрес и т. Д. на.Поля должны быть обозначены как определенный тип данных, будь то текст, дата или время, число или какой-либо другой тип.

Другой способ описать записи и поля — это визуализировать библиотечный карточный каталог старого образца. Каждой карте в шкафу соответствует запись в базе данных. Каждая часть информации на отдельной карточке (автор, название и т. Д.) Соответствует полю в базе данных.

Дополнительные сведения о таблицах см. В статье Введение в таблицы.

Формы

Формы позволяют создавать пользовательский интерфейс, в котором вы можете вводить и редактировать свои данные. Формы часто содержат командные кнопки и другие элементы управления, которые выполняют различные задачи. Вы можете создать базу данных без использования форм, просто отредактировав свои данные в таблицах. Однако большинство пользователей баз данных предпочитают использовать формы для просмотра, ввода и редактирования данных в таблицах.

Вы можете запрограммировать командные кнопки, чтобы определять, какие данные будут отображаться в форме, открывать другие формы или отчеты или выполнять множество других задач.Например, у вас может быть форма под названием «Форма клиента», в которой вы работаете с данными клиентов. В форме клиента может быть кнопка, которая открывает форму заказа, в которой вы можете ввести новый заказ для этого клиента.

Forms также позволяют контролировать, как другие пользователи взаимодействуют с данными в базе данных. Например, вы можете создать форму, которая отображает только определенные поля и позволяет выполнять только определенные операции. Это помогает защитить данные и обеспечить правильный ввод данных.

Дополнительные сведения о формах см. В статье Введение в формы.

Отчеты

Отчеты — это то, что вы используете для форматирования, обобщения и представления данных. Отчет обычно отвечает на конкретный вопрос, например, «Сколько денег мы получили от каждого клиента в этом году?» или «В каких городах находятся наши клиенты?» Каждый отчет можно отформатировать так, чтобы информация была представлена ​​в наиболее удобочитаемом виде.

Отчет можно запустить в любое время, и он всегда будет отражать текущие данные в базе данных.Отчеты обычно форматируются для распечатки, но их также можно просматривать на экране, экспортировать в другую программу или отправлять в виде вложения к сообщению электронной почты.

Дополнительные сведения об отчетах см. В статье Общие сведения об отчетах в Access.

запросов

Запросы могут выполнять множество различных функций в базе данных. Их наиболее распространенная функция — извлекать определенные данные из таблиц. Данные, которые вы хотите просмотреть, обычно распределены по нескольким таблицам, а запросы позволяют просматривать их в одной таблице.Кроме того, поскольку обычно вы не хотите видеть все записи сразу, запросы позволяют добавлять критерии для «фильтрации» данных только до тех записей, которые вам нужны.

Некоторые запросы являются «обновляемыми», то есть вы можете редактировать данные в базовых таблицах с помощью таблицы запроса. Если вы работаете с обновляемым запросом, помните, что ваши изменения фактически вносятся в таблицы, а не только в таблицу данных запроса.

бывают двух основных типов: запросы выбора и запросы действия.Запрос на выборку просто извлекает данные и делает их доступными для использования. Вы можете просмотреть результаты запроса на экране, распечатать его или скопировать в буфер обмена. Или вы можете использовать выходные данные запроса в качестве источника записей для формы или отчета.

Запрос действия, как следует из названия, выполняет задачу с данными. Запросы действий могут использоваться для создания новых таблиц, добавления данных в существующие таблицы, обновления данных или удаления данных.

Дополнительные сведения о запросах см. В статье Введение в запросы.

Макросы

Макросы в Access можно рассматривать как упрощенный язык программирования, который можно использовать для добавления функций в базу данных. Например, вы можете прикрепить макрос к командной кнопке в форме, чтобы макрос запускался при каждом нажатии кнопки. Макросы содержат действия, которые выполняют задачи, такие как открытие отчета, выполнение запроса или закрытие базы данных. Большинство операций с базой данных, которые вы выполняете вручную, можно автоматизировать с помощью макросов, поэтому они могут отлично сэкономить время.

Дополнительные сведения о макросах см. В статье «Введение в программирование в Access».

Модули

Модули, как и макросы, — это объекты, которые вы можете использовать для добавления функциональности в свою базу данных. В то время как вы создаете макросы в Access, выбирая макрокоманды из списка, вы пишете модули на языке программирования Visual Basic для приложений (VBA). Модуль — это набор объявлений, операторов и процедур, которые хранятся вместе как единое целое.Модуль может быть либо модулем класса, либо стандартным модулем. Модули класса прикрепляются к формам или отчетам и обычно содержат процедуры, относящиеся к форме или отчету, к которым они прикреплены. Стандартные модули содержат общие процедуры, не связанные ни с какими другими объектами. Стандартные модули перечислены в разделе Модули в области навигации, тогда как модули классов — нет.

Дополнительные сведения о модулях см. В статье Введение в программирование в Access.

Верх страницы

Что такое база данных? Определение, значение, типы, пример

• Home

• Тестирование

  • • Back
    • Agile Testing
    • BugZilla
    • Cucumber
    • Тестирование базы данных
    • 9000 J27 Тестирование базы данных
    • 9000 J27
    • JUnit
    • LoadRunner
    • Ручное тестирование
    • Мобильное тестирование
    • Mantis
    • Почтальон
    • QTP
    • Назад
    • Центр контроля качества (ALM)
    • 000
    • RPA Управление тестированием
    • TestLink

• SAP

  • • Назад
    • ABAP
    900 03 APO
  • Новичок
  • Basis
  • BODS
  • BI
  • BPC
  • CO
  • Назад
  • CRM
  • Crystal Reports
  • MMO
HAN

• Назад
• PI / PO
• PP
• SD
• SAPUI5
• Безопасность
• Менеджер решений
• Successfactors
• SAP Tutorials

• Назад
• Java
• JSP
• Kotlin
• Linux
• Linux
• Kotlin
• Linux
js
• Perl

• Назад
• PHP
• PL / SQL
• PostgreSQL
• Python
• ReactJS
• Ruby & Rails
• Scala
• SQL
000
• SQL
000 0003 SQL 000 0003 SQL 000
• UML
• VB.Net
• VBScript
• Веб-службы
• WPF

• Назад
• Prep
• PM Prep
• Управление проектом Salesforce
• SEO
• Разработка программного обеспечения
• VBA

SQL и NoSQL: в чем разница?

Посмотрите базы данных SQL и NoSQL, их отличия и какой вариант лучше всего подходит для вашей ситуации.

Разработчики приложений в двадцать первом веке сталкиваются с головокружительной массой решений, связанных с базами данных. На выбор доступны сотни различных баз данных, и хотя не все из них относятся к категории «никого не увольняли за это», многие из них являются надежными частями универсальной технологии.С другой стороны, почти каждая коммерчески поддерживаемая база данных может претендовать на некоторых важных клиентов в качестве ссылок, независимо от того, насколько нишевой является сама база данных.

Чтобы иметь некоторое представление о ландшафте, полезно иметь под рукой таксономию. Хорошо это или плохо, но самая популярная таксономия за последние 10 лет делит ландшафт на два класса: SQL (реляционные базы данных) и NoSQL (все остальное).

Это жесткое различие, похожее на разделение продуктового магазина на «производить» и «не производить», но оно имеет важные последствия для создания и поддержки программного обеспечения.Давайте глубже посмотрим, что означают эти два названия, и посмотрим, что они на самом деле значат для разработчиков приложений.

Что такое база данных SQL?

Короче говоря, базы данных SQL поддерживают SQL — предметно-ориентированный язык для запросов и управления данными в реляционной базе данных. Термин «реляционный» в реляционной базе данных относится к «реляционной модели» управления данными, разработанной исследователем IBM Э. Ф. Коддом в начале 1970-х годов и популяризированной в ряде последующих систем баз данных, начиная с System R.

Ключ к реляционной модели — абстрагирование данных как набора кортежей, организованных в отношения, что позволяет абстрагироваться от физического представления данных и путей доступа. Хотя SQL — не единственный возможный язык для реализации запросов по реляционной модели — на самом деле он не соответствует строго исходной конструкции Кодда — он, безусловно, самый популярный.

SQL и реляционные базы данных были отраслевым стандартом с конца 1970-х годов, хотя их так называемые «навигационные» предшественники, такие как IMS эпохи Apollo, в некоторых случаях все еще находятся в активной разработке.Большинство популярных «корпоративных» систем являются прямыми потомками System R и унаследовали большую часть ее конструктивных ограничений.

«NewSQL» и «Распределенный SQL»

В ответ на проблемы «выбросить ребенка с водой в ванну» с NoSQL (см. Ниже) в начале 2010-х годов, несколько организаций начали создавать системы на основе реляций / SQL, которые пошли на разные компромиссы, особенно в отношении горизонтальной масштабируемости. Это привело к двум в значительной степени различным путям:

• NewSQL: Игра на NoSQL, эти системы обычно используют существующие реляционные базы данных и логику, распределенную по уровням, с разной степенью прозрачности для пользователя.Citus и Vitess — два ярких примера распределенных движков в стиле «NewSQL».
• Распределенный SQL: В этих системах используется подход «с нуля» при создании горизонтально масштабируемых реляционных механизмов. CockroachDB и Google Spanner — хорошие тому примеры. Эти движки обычно стремятся выше, чем их аналоги в NewSQL. Однако важно отметить, что одной из мотиваций для NoSQL и NewSQL является тот факт, что создание полноценной реляционной базы данных очень дорого, и зрелость коммерчески доступных распределенных систем SQL часто отражает это.

Базы данных SQL: плюсы и минусы

Плюсы

• Уменьшение объема хранилища данных за счет нормализации и других возможностей оптимизации. Часто приводит к повышению производительности и более эффективному использованию ресурсов.
• Сильная и понятная семантика целостности данных через ACID (атомарность, согласованность, изоляция, надежность).
• Стандартный доступ к данным через SQL.
• Обычно более гибкая поддержка запросов, способная обрабатывать более широкий диапазон рабочих нагрузок.SQL абстрагируется от базовой реализации и позволяет механизму оптимизировать запросы в соответствии с их представлением на диске.

Минусы

• Жесткие модели данных, требующие тщательного предварительного проектирования для обеспечения адекватной производительности и сопротивления эволюции — изменение схемы часто приводит к простоям.
• Горизонтальное масштабирование является сложной задачей — оно либо полностью не поддерживается, либо поддерживается специальным образом, либо поддерживается только относительно незрелыми технологиями.
• Нераспределенные механизмы обычно представляют собой «единую точку отказа», которую необходимо смягчать с помощью методов репликации и аварийного переключения; нет иллюзий бесконечной масштабируемости

Примеры баз данных SQL

Что такое база данных NoSQL?

К сожалению, не очень понятно! В какой-то момент «NoSQL» означал, что база данных не поддерживает SQL.Это было достаточно бесполезно — если он не поддерживает SQL, что он поддерживает? — но, что еще хуже, в конечном итоге он превратился в обозначение «не только SQL», к большому огорчению разработчиков, которые на самом деле пытаются выполнить работу.

В то время как это движение явно имело корни в хранилищах графиков, документов и ключей и значений, восходящих к началу 1990-х годов, NoSQL действительно начал набирать обороты в середине 2000-х. Вдохновленный публикацией отраслевых исследовательских работ по нереляционным системам, таким как Google BigTable и Amazon Dynamo, кустарная индустрия стартапов и проектов с открытым исходным кодом возникла в результате разработки систем баз данных, которые исследовали пространство дизайна за пределами реляционной модели.Это было в значительной степени направлено на решение двух предполагаемых проблем с существующими системами:

• Отсутствие горизонтальной масштабируемости
• Жесткость конструкции стола в реляционных системах

Обратите внимание, что ни одна из этих проблем не имеет большого отношения к SQL, но вместо этого отражает проектные решения и ограничения популярных реляционных баз данных. Хотя сообщество реляционных баз данных отчасти ответило на этот вызов (см. Выше о «NewSQL»), как только ворота были открыты, так сказать, новые базы данных начали появляться очень быстро.Результатом является распространение систем, каждая из которых решает фундаментальную проблему — хранение некоторых битов и предоставление их позже — немного по-другому.

Во многих отношениях это благо для разработчиков. Конечно, верно, что не все приложения имеют проблемы, связанные с реляционными базами данных, или им нужно идти на компромиссы, которые реляционные базы данных навязывают моделям данных и доступности. Однако за эту свободу приходится платить — для того, чтобы принять хорошее технологическое решение между базами данных NoSQL, разработчик должен быть вооружен доскональным пониманием всего пространства проектирования, чтобы компромиссы, допускаемые конкретной системой, были очевидны.Другими словами, вы не хотите случайно отказываться от изоляции согласованности, когда она действительно требуется вашему приложению.

Базы данных NoSQL: плюсы и минусы

Именно по этой причине сложно обобщить плюсы и минусы NoSQL. Пространство хорошо исследовано, и диапазон доступных опций огромен. Некоторые общие плюсы и минусы, которые могут не относиться ко всем хранилищам NoSQL, включают следующее:

Плюсы

• Масштабируемость и высокая доступность — многие базы данных NoSQL обычно предназначены для поддержки бесшовной горизонтальной масштабируемости в оперативном режиме без значительных единичных точек отказа.
• Гибкие модели данных — большинство нереляционных систем не требуют от разработчиков предварительных обязательств по моделям данных; Какие схемы действительно существуют, часто можно изменить на лету.
• Высокая производительность — ограничивая диапазон возможностей базы данных (например, ослабляя гарантии долговечности), многие системы NoSQL могут достичь чрезвычайно высокого уровня производительности.
• Абстракции данных высокого уровня — выходя за рамки модели данных «значение в ячейке», системы NoSQL могут предоставлять высокоуровневые API-интерфейсы для мощных структур данных.Redis, например, включает абстракцию набора
с собственной сортировкой

Минусы

• Расплывчатые интерпретации ограничений ACID — несмотря на широко распространенные утверждения о поддержке ACID для систем NoSQL, интерпретация ACID часто делается настолько широкой, что мало что можно сделать о семантике рассматриваемой базы данных. Например, что означает «изоляция» без транзакций?
• Распределенные системы имеют проблемы с распределенными системами. Хотя это и не является уникальным явлением для систем NoSQL, это скорее норма, чем исключение, для разработчиков, программирующих против NoSQL, чтобы глубоко понять, e.g., Теорема CAP и ее интерпретация в рассматриваемой базе данных.
• Отсутствие гибкости в шаблонах доступа — реляционная абстракция / SQL дает ядру базы данных широкие возможности для оптимизации запросов к базовым данным; без этой абстракции представление данных на диске попадает в запросы приложения и не оставляет места для оптимизации движку.

Примеры баз данных NoSQL

SQL против NoSQL: когда использовать каждый

Когда использовать SQL

Когда у вас есть реляционные данные, это, конечно, естественное совпадение.Но вы можете спросить себя, как определить «мифическое» естественное соответствие. Что ж, когда вы смотрите на свои данные, видите ли вы отдельные объекты с четко определенными отношениями друг с другом, которые должны быть строго соблюдены и / или доступны для навигации? Если да, то у нас есть совпадение!

Когда вы сосредоточены на целостности данных, лучше всего положиться на проверенные и надежные реляционные базы данных. Если вам нужен гибкий доступ к вашим данным, реляционная модель и SQL позволяют значительно расширить поддержку специальных запросов. Кроме того, в такие базы данных, как PostgreSQL, добавлена ​​отличная поддержка рабочих нагрузок в стиле NoSQL с такими функциями, как собственные типы данных JSON.Если вам не нужны возможности горизонтального масштабирования хранилищ данных NoSQL, они также могут хорошо подойти для некоторых нереляционных рабочих нагрузок. Это делает их отличным швейцарским армейским ножом, когда у вас есть некоторые реляционные данные и некоторые неструктурированные данные, но вы не хотите покупать сложность работы с различными типами хранилищ данных.

Хотя многие люди смотрят на NoSQL из-за простоты, важно понимать значение этих хранилищ данных при создании приложения. Хотя это правда, что с ними легко начать, важно понимать последствия согласованности записи (или ее отсутствия), конечной согласованности и влияния сегментирования на способ доступа к данным в будущем.На реляционных базах данных может быть проще построить надежное приложение, поскольку они избавляют вас от беспокойства о таких проблемах.

Когда использовать NoSQL

NoSQL привлекателен, когда у вас есть очень гибкие модели данных или очень специфические потребности, которые не вписываются в реляционную модель. Если вы принимаете много неструктурированных данных, база данных документов, такая как MongoDB или CouchDB, может вам подойти. Если вам нужен очень быстрый доступ к данным «ключ-значение», но вы можете жить без надежных гарантий целостности, Redis отлично подойдет.Сложный или гибкий поиск по большому количеству данных? Elasticsearch отлично подходит.

NoSQL обычно хорошо масштабируются, и масштабирование является основным принципом многих из этих систем. Встроенный сегментирование значительно упрощает масштабирование операций чтения и записи по сравнению с реляционной базой данных. Соответственно, системы NoSQL часто могут соответствовать очень высоким требованиям доступности. Базы данных, такие как Cassandra, не имеют единой точки отказа, и ваши приложения могут тривиально реагировать на базовые отказы отдельных членов.

Заключение и следующие шаги

Выбор или рекомендация базы данных — нетривиальное занятие даже для экспертов по базам данных. Разделение SQL и NoSQL — полезный критерий, помогающий обосновать это решение, но, в конечном счете, ничто не может заменить тщательного обдумывания потребностей вашего приложения в данных и компромиссов, которые вы готовы принять для достижения целей производительности или времени безотказной работы.

По крайней мере, тот факт, что NoSQL существует, является благом для систем — это повод исследовать пространство дизайна и найти «сладкие места», которые решают проблемы реальных приложений.Тем не менее, в 2020 году есть бесчисленное множество причин продолжать выбирать SQL.

IBM Cloud поддерживает размещенные в облаке версии ряда баз данных SQL и NoSQL через предложения IBM Cloud Databases. Дополнительную информацию о том, как выбрать подходящий вариант, можно найти в разделах «Краткий обзор ландшафта базы данных» и «Как выбрать базу данных в IBM Cloud».

CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 100%

Последнее обновление 2 апреля 2019 г., автор Admin

CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 100%

1. Разработчик сети должен предоставить заказчику обоснование для проекта, который переместит предприятие от плоской топологии сети к иерархической топологии сети. Какие две особенности иерархического дизайна делают его лучшим выбором? (Выберите два.)

   • более низкие требования к пропускной способности
   • снижение затрат на оборудование и обучение пользователей
   • проще обеспечить резервные ссылки для обеспечения более высокой доступности
   На
   • меньше необходимого оборудования для обеспечения того же уровня производительности
   • Более простое развертывание для дополнительного коммутационного оборудования
     

     Пояснение: Иерархическая структура коммутаторов помогает администраторам сети при планировании и развертывании расширения сети, выполнении изоляции сбоев при возникновении проблемы и обеспечении отказоустойчивости при высоком уровне трафика.Хорошая иерархическая структура имеет избыточность, когда она может быть предоставлена ​​так, чтобы один коммутатор не приводил к отключению всех сетей.

2. Что такое свернутое ядро ​​в конструкции сети?

   • сочетание функциональности уровней доступа и распределения
   • сочетание функциональности распределительного и основного уровней
   • сочетание функциональных возможностей уровня доступа и ядра
   • комбинация функциональных возможностей уровней доступа, распределения и ядра
     

     Пояснение: Конструкция с разрушенным сердечником подходит для небольшого индивидуального строительного бизнеса.В этом типе дизайна используются два уровня (свернутые уровни ядра и распределения, объединенные в один уровень, и уровень доступа). Более крупные предприятия используют традиционную модель трехуровневого коммутатора.

3. Каково определение двухуровневой сети LAN?

   • Уровни доступа и ядра свернуты на один уровень, а уровень распределения на отдельный уровень
   • уровней доступа и распределения свернуты на один уровень, а основной уровень на отдельный уровень
   • уровни распределения и ядра свернуты в один уровень, а уровень доступа — на отдельный уровень
   • уровней доступа, распределения и ядра свернуты в один уровень с отдельным уровнем магистрали
     

     Пояснение: Поддержание трех отдельных уровней сети не всегда требуется или экономически эффективно.Для всех сетевых проектов требуется уровень доступа, но двухуровневый дизайн может свести уровни распределения и ядра в один уровень, чтобы удовлетворить потребности небольшого местоположения с небольшим количеством пользователей.

4. Какова основная функция уровня распространения архитектуры без границ Cisco?

   • действует как магистраль
   • , объединяющие все блоки кампуса
   • агрегация границ маршрутизации уровня 3
   • предоставление доступа к устройствам конечных пользователей
     

     Пояснение: Одна из основных функций уровня распределения архитектуры Cisco Borderless Architecture — выполнение маршрутизации между различными VLAN.Действуя в качестве основы и агрегирование кампуса блоков являются функциями базового уровня. Предоставление доступа к устройствам конечного пользователя является функцией уровня доступа.

5. Какие две ранее независимые технологии следует попытаться объединить сетевому администратору после перехода на конвергентную сетевую инфраструктуру? (Выберите два.)

   • трафик пользовательских данных
   • Телефонный трафик VoIP
   • сканеры и принтеры
   • трафик сотовой связи
   • электрическая система
     

     Пояснение: Конвергентная сеть обеспечивает единую инфраструктуру, объединяющую голос, видео и данные.Аналоговые телефоны, пользовательские данные и двухточечный видеотрафик — все это содержится в единой сетевой инфраструктуре конвергентной сети.

6. Какой тип сети использует одну общую инфраструктуру для передачи голоса, данных и видеосигналов?

   • переключено
   • без полей
   • конвергентный
   • управляемый
     

     Пояснение: Конвергентная сеть требует установки и управления только одной физической сетью.Это приводит к существенной экономии на установке и управлении отдельными сетями для передачи голоса, видео и данных.

7. Местная юридическая фирма модернизирует сеть компании, чтобы все 20 сотрудников могли быть подключены к локальной сети и Интернету. Юридическая фирма предпочла бы дешевое и простое решение для проекта. Какой тип переключателя выбрать?

   • фиксированная конфигурация
   • модульная конфигурация
   • штабелируемая конфигурация
   • StackPower
   • StackWise
     

     Пояснение: Глядя на график в 1.1.2.2 № 2 и № 3 и сравнивая эти фотографии с графикой, использованной в модели проектирования коммутатора Cisco, показанной в 1.1.1.5 № 2, вы можете видеть, что коммутатор фиксированной конфигурации меньшего блока стойки используется в качестве коммутатора уровня доступа. Переключатель модульной конфигурации будет использоваться на уровне распределения и ядра.

8. Каковы два преимущества модульных коммутаторов по сравнению с коммутаторами фиксированной конфигурации? (Выберите два.)

   • более низкая стоимость переключателя
   • повышенная масштабируемость
   • более низкие тарифы на экспедирование
   • Требуется меньшее количество розеток
   • наличие нескольких портов для агрегирования полосы пропускания
     

     Пояснение: Коммутаторы с фиксированной конфигурацией, хотя и дешевле, имеют определенное количество портов и не имеют возможности добавлять порты.Они также обычно предоставляют меньше высокоскоростных портов. Чтобы масштабировать коммутацию в сети, состоящей из коммутаторов с фиксированной конфигурацией, необходимо приобрести больше коммутаторов. Это увеличивает количество розеток, которые необходимо использовать. Модульные коммутаторы можно масштабировать, просто приобретая дополнительные линейные карты. Агрегирование полосы пропускания также упрощается, поскольку объединительная плата шасси может обеспечить полосу пропускания, необходимую для линейных карт портов коммутатора.

9. Какой тип адреса коммутатор использует для построения таблицы MAC-адресов?

   • IP-адрес назначения
   • IP-адрес источника
   • MAC-адрес назначения
   • MAC-адрес источника
     

     Пояснение: Когда коммутатор получает кадр с исходным MAC-адресом, которого нет в таблице MAC-адресов, коммутатор добавит этот MAC-адрес в таблицу и сопоставит этот адрес с конкретным портом.Коммутаторы не используют IP-адресацию в таблице MAC-адресов.

10. Какое сетевое устройство можно использовать для устранения конфликтов в сети Ethernet?

    • межсетевой экран
    • ступица
    • роутер
    • переключатель
    • Навигация
      

      Пояснение: Коммутатор обеспечивает микросегментацию, чтобы никакое другое устройство не конкурировало за ту же полосу пропускания сети Ethernet.

11. Какие два критерия используются коммутатором Cisco LAN для принятия решения о пересылке кадров Ethernet? (Выберите два.)

    • Стоимость пути
    • выходной порт
    • входной порт
    • IP-адрес назначения
    • MAC-адрес назначения
      

      Пояснение: Коммутаторы Cisco LAN используют таблицу MAC-адресов для принятия решений о пересылке трафика. Решения основываются на входном порту и MAC-адресе назначения кадра.Информация о входном порте важна, поскольку она передает VLAN, к которой принадлежит порт.

12. См. Выставку. Считайте, что основное питание только что восстановили. ПК3 выдает широковещательный запрос DHCP IPv4. На какой порт SW1 перенаправит этот запрос?

    CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 01

    • только по Fa0 / 1
    • только для Fa0 / 1 и Fa0 / 2
    • только для Fa0 / 1, Fa0 / 2 и Fa0 / 3
    • — Fa0 / 1, Fa0 / 2, Fa0 / 3 и Fa0 / 4
    • только для Fa0 / 1, Fa0 / 2 и Fa0 / 4
      

      Пояснение: Поскольку это широковещательный кадр, SW1 отправит его на все порты, кроме входящего (порт, в котором был получен запрос).

13. Какова одна функция коммутатора уровня 2?

    • пересылает данные на основе логической адресации
    • дублирует электрический сигнал каждого кадра на каждый порт
    • изучает порт, назначенный хосту, проверяя MAC-адрес назначения
    • определяет, какой интерфейс используется для пересылки кадра на основе MAC-адреса назначения
      

      Объяснение: Коммутатор создает таблицу MAC-адресов из MAC-адресов и связанных номеров портов, исследуя MAC-адрес источника, обнаруженный во входящих кадрах.Для пересылки кадра вперед коммутатор проверяет MAC-адрес назначения, ищет в MAC-адресе номер порта, связанный с этим MAC-адресом назначения, и отправляет его на определенный порт. Если MAC-адрес назначения отсутствует в таблице, коммутатор пересылает кадр на все порты, кроме входящего порта, из которого был создан кадр.

14. См. Выставку. Как кадр, отправленный из PCA, пересылается в PCC, если таблица MAC-адресов на коммутаторе SW1 пуста?

    CCNA 2 RSE 6.0 Глава 4 Экзамен Ответы 2018 2019 02

    • SW1 лавинно рассылает фрейм по всем портам коммутатора, за исключением взаимосвязанного порта для коммутатора SW2 и порта, через который фрейм поступил в коммутатор.
    • SW1 лавинно рассылает фрейм по всем портам SW1, за исключением порта, через который фрейм поступил в коммутатор.
    • SW1 пересылает рамку прямо на SW2. SW2 рассылает фрейм всем портам, подключенным к SW2, за исключением порта, через который фрейм поступил в коммутатор.
    • SW1 отбрасывает кадр, потому что ему неизвестен MAC-адрес назначения.
      

      Пояснение: Когда коммутатор включается, таблица MAC-адресов пуста. Коммутатор создает таблицу MAC-адресов, проверяя исходный MAC-адрес входящих кадров. Коммутатор выполняет переадресацию на основе MAC-адреса назначения, указанного в заголовке кадра. Если коммутатор не имеет записей в таблице MAC-адресов или если MAC-адрес назначения отсутствует в таблице коммутаторов, коммутатор перенаправит кадр на все порты, кроме порта, который доставил кадр в коммутатор.

15. У небольшой издательской компании есть такая структура сети, что, когда широковещательная передача отправляется по локальной сети, 200 устройств принимают передаваемую широковещательную передачу. Как администратор сети может уменьшить количество устройств, получающих широковещательный трафик?

    • Добавьте больше коммутаторов, чтобы на одном коммутаторе было меньше устройств.
    • Замените коммутаторы коммутаторами с большим количеством портов на коммутатор. Это позволит использовать больше устройств на определенном коммутаторе.
    • Сегментируйте локальную сеть на меньшие локальные сети и маршрутизируйте между ними.
    • Замените по крайней мере половину коммутаторов концентраторами, чтобы уменьшить размер широковещательного домена.
      

      Пояснение: Разделив одну большую сеть на две меньшие сети, сетевой администратор создал два меньших широковещательных домена. Когда широковещательная рассылка отправляется по сети сейчас, широковещательная рассылка будет отправлена ​​только на устройства в той же локальной сети Ethernet. Другая локальная сеть не получит широковещательную передачу.

16. См. Выставку. Сколько отображается широковещательных доменов?

    CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 03

    • 1
    • 4
    • 8
    • 16
    • 55
      

      Пояснение: Маршрутизатор определяет границу широковещательной рассылки, поэтому каждое соединение между двумя маршрутизаторами является широковещательным доменом. На выставке 4 канала между маршрутизаторами составляют 4 широковещательных домена.Кроме того, каждая локальная сеть, подключенная к маршрутизатору, является широковещательным доменом. 4 LAN на выставке приводят к появлению еще 4 широковещательных доменов, то есть всего 8 широковещательных доменов.

17. Какое решение поможет колледжу уменьшить перегрузку сети из-за коллизий?

    • межсетевой экран, который подключается к двум интернет-провайдерам
    • коммутатор с высокой плотностью портов
    • роутер с двумя портами Ethernet
    • маршрутизатор с тремя портами Ethernet
      

      Пояснение: Коммутаторы обеспечивают микросегментацию, так что одно устройство не конкурирует за одну и ту же полосу пропускания сети Ethernet с другим сетевым устройством, что практически исключает конфликты.Коммутатор с высокой плотностью портов обеспечивает очень быстрое подключение многих устройств.

18. Какое сетевое устройство может служить границей для разделения широковещательного домена уровня 2?

    • маршрутизатор
    • Мост Ethernet
    • Концентратор Ethernet
    • точка доступа
      

      Пояснение: Устройства уровня 1 и 2 (коммутатор LAN и концентратор Ethernet) и устройства точек доступа не фильтруют широковещательные кадры MAC.Только устройство уровня 3, такое как маршрутизатор, может разделить домен вещания уровня 2.

19. Какой адрес назначения в заголовке широковещательного кадра?

    • 0,0.0.0
    • 255.255.255.255
    • 11-11-11-11-11-11
    • FF-FF-FF-FF-FF-FF
      

      Пояснение: В кадре широковещательной передачи уровня 2 MAC-адрес назначения (содержащийся в заголовке кадра) устанавливается на все двоичные единицы, поэтому формат FF-FF-FF-FF-FF-FF.Двоичный формат 11 в шестнадцатеричном формате — 00010001. 255.255.255.255 и 0.0.0.0 — это IP-адреса.

20. Какое утверждение описывает результат после соединения нескольких коммутаторов Cisco LAN?

    • Широковещательный домен распространяется на все коммутаторы.
    • Для каждого коммутатора существует один домен конфликтов.
    • Число коллизий кадров увеличивается на сегментах, соединяющих переключатели.
    • Для каждого коммутатора существует один домен широковещательной рассылки и один домен конфликтов.
      

      Пояснение: В коммутаторах Cisco LAN микросегментация позволяет каждому порту представлять отдельный сегмент, и, таким образом, каждый порт коммутатора представляет отдельный домен конфликтов. Этот факт не изменится при соединении нескольких коммутаторов. Однако коммутаторы LAN не фильтруют широковещательные кадры. Кадр широковещательной рассылки рассылается по всем портам. Подключенные коммутаторы образуют один большой широковещательный домен.

21. Что означает термин «плотность портов» для коммутатора Ethernet?

    • пространство памяти, выделенное каждому порту коммутатора
    • количество доступных портов
    • количество хостов, которые подключены к каждому порту коммутатора
    • скорость каждого порта
      

      Пояснение: Термин «плотность портов» обозначает количество портов, доступных в коммутаторе.Коммутатор доступа к одной стойке может иметь до 48 портов. Более крупные коммутаторы могут поддерживать сотни портов.

22. По каким двум причинам сетевой администратор сегментирует сеть с помощью коммутатора уровня 2? (Выберите два.)

    • для создания меньшего количества коллизионных доменов
    • для увеличения пропускной способности пользователя
    • для создания дополнительных широковещательных доменов
    • для исключения виртуальных цепей
    • для изоляции трафика между сегментами
    • для изоляции сообщений запроса ARP от остальной сети
      

      Пояснение: Коммутатор имеет возможность создавать временные двухточечные соединения между напрямую подключенными передающими и принимающими сетевыми устройствами.Два устройства имеют полнодуплексное соединение с полной полосой пропускания во время передачи.

23. Сопоставьте описание рекомендаций по коммутируемой сети без границ с принципом. (Используются не все варианты.)

    CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 001

24. Сопоставьте функции с соответствующими слоями. (Используются не все варианты.)

    CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 002

25. Сопоставьте характеристику пересылки с ее типом.(Используются не все варианты.)

    CCNA 2 RSE 6.0 Глава 4 Ответы на экзамен 2018 2019 003

Почему для шифрования RSA используется заполнение, учитывая, что это не блочный шифр?

RSA требует заполнения по совершенно другим причинам, чем шифрование в режиме CBC.

Блочные шифры, такие как AES и (тройной) DES, могут использоваться только для перестановки одного блока открытого текста на один блок зашифрованного текста. Это не очень полезно, поскольку обычно мы хотели бы зашифровать несколько сообщений переменного размера.

Кроме того, режим работы должен иметь какой-то вектор инициализации, чтобы результирующий шифр не был детерминированным.Если результат будет детерминированным, злоумышленник сможет легко проверить, идентичны ли два входных сообщения.

Только несколько режимов работы блочных шифров требуют заполнения. Однако режим работы CBC используется довольно часто и требует либо заполнения, либо кражи зашифрованного текста. Для блочных шифров, которые в основном состоят из побитовых операций и операций переупорядочения, заполнение используется только для заполнения последнего блока данных, предпочтительно таким образом, чтобы сообщение могло содержать любое байтовое значение.

RSA не является блочным шифром, как DES или AES. Основная операция RSA — это модульное возведение числа в степень. Это число является числовым представлением входящего сообщения с использованием заполнения. Однако не все числа одинаково хорошо подходят для RSA. Например, если число равно нулю или единице, RSA потерпит неудачу. По этой и многим другим причинам RSA требует, чтобы схема заполнения была безопасной. Эта схема заполнения должна соответствовать определенным требованиям для обеспечения безопасности; просто возможность кодировать / декодировать сообщение до определенного размера — лишь одно из многих требований.

Использование слова padding для RSA к настоящему времени довольно некорректно — оно в основном по-прежнему называется «padding» по историческим причинам. Схемы заполнения для RSA просто расширяли сообщение перед преобразованием числа. Но более новые схемы фактически изменяют и само сообщение; сообщение не может быть напрямую идентифицировано в номере до возведения в степень с помощью RSA. OAEP — это одна из схем, в которой все сообщение случайным образом преобразуется перед модульным возведением в степень RSA.

Если сообщение напрямую зашифровано RSA, тогда да, сообщение должно быть в определенных пределах.Поскольку используется модульное возведение в степень, требуется, чтобы сообщение + заполнение находилось в пределах модуля. Таким образом, размер сообщения зависит от размера модуля, а также от накладных расходов, связанных с заполнением.

Для старой небезопасной (но более простой для демонстрационных целей) схемы RSA, использующей заполнение PKCS # 1 v1.5, максимальный размер сообщения — это размер модуля в байтах, минус 11 для служебных данных заполнения. Таким образом, для шифрования можно использовать 2048-битный ключ RSA (2048/8) — 11 = 245 байт.Минимума нет, поэтому размер сообщения, которое можно зашифровать, составляет от нуля до 245 байт.

Однако на практике используются гибридные схемы шифрования вместо схем, в которых данные напрямую шифруются RSA. В этом случае симметричный шифр, такой как AES (с определенным режимом работы, таким как CBC), используется для шифрования фактического сообщения. Затем RSA используется для шифрования / дешифрования симметричного ключа. В этом случае размер сообщения зависит только от режима работы симметричного шифра (обычно несколько гигабайт или больше для AES в любом режиме работы).Ключ AES (-256) всегда должен легко вписываться в любые вычисления RSA для безопасного размера модуля, независимо от используемой схемы заполнения.

Другой метод — использовать RSA KEM, когда RSA вообще не зашифровывает ни один ключ или сообщение. RSA KEM используется для получения симметричного ключа для гибридного шифрования.

Что такое шифрование RSA и как оно работает?

RSA — это система, которая решает то, что когда-то было одной из самых больших проблем в криптографии: Как вы можете отправить кому-либо закодированное сообщение , не имея возможности предварительно поделиться с ним кодом?

Эта статья расскажет вам все, что вам нужно знать о , как было разработано шифрование RSA , , как оно работает , математика, лежащая в основе этого , что он используется для , а также некоторые из самых серьезных проблем безопасности что он стоит перед .Изучение RSA даст вам некоторые фундаментальные знания, которые помогут вам понять, сколько частей нашей онлайн-жизни находится в безопасности.

Допустим, вы хотите рассказать другу секрет. Если ты рядом с ними, можешь просто прошептать это. Если вы находитесь на противоположных концах страны, это явно не сработает. Вы можете записать его и отправить им по почте или воспользоваться телефоном, но каждый из этих каналов связи небезопасен, и любой, у кого есть достаточно сильная мотивация, может легко перехватить сообщение.

Если секрет был достаточно важным, вы не рискнули бы записать его обычным образом — шпионы или мошенник почтовый служащий могли просматривать вашу почту. Точно так же кто-то может прослушивать ваш телефон без вашего ведома и регистрировать каждый ваш звонок.

Одно из решений для предотвращения доступа злоумышленников к содержимому сообщения — это зашифровать его . Это в основном означает добавление кода к сообщению, который превращает его в беспорядочный беспорядок. Если ваш код достаточно сложен, то единственные люди, которые смогут получить доступ к исходному сообщению, — это те, у кого есть доступ к коду.

Если у вас была возможность поделиться кодом с другом заранее, то любой из вас может отправить зашифрованное сообщение в любое время , зная, что вы двое — единственные, у кого есть возможность читать содержимое сообщения. Но что, если у вас не было возможности поделиться кодом заранее?

Это одна из фундаментальных проблем криптографии, которая решается с помощью схем шифрования с открытым ключом (также известных как асимметричное шифрование), таких как RSA .

При шифровании RSA сообщения шифруются с помощью кода, называемого открытым ключом , которым можно открыто делиться. Из-за некоторых отличных математических свойств алгоритма RSA после того, как сообщение было зашифровано с помощью открытого ключа, оно может быть расшифровано только другим ключом, известным как закрытый ключ . У каждого пользователя RSA есть пара ключей, состоящая из их открытого и закрытого ключей. Как следует из названия, закрытый ключ должен храниться в секрете.

отличаются от шифрования с симметричным ключом , где и в процессе шифрования, и в процессе дешифрования используется один и тот же закрытый ключ .Эти различия делают шифрование с открытым ключом, такое как RSA, полезным для связи в ситуациях, когда не было возможности безопасно распространить ключи заранее.

с симметричным ключом имеют свои собственные приложения, такие как шифрование данных для личного использования или для случаев, когда есть безопасные каналы, по которым можно передавать частные ключи.

См. Также: Криптография с открытым ключом

RSA часто используется в комбинации с другими схемами шифрования или для цифровых подписей , которые могут подтвердить подлинность и целостность сообщения.Обычно он не используется для шифрования сообщений или файлов целиком, поскольку он менее эффективен и требует больше ресурсов, чем шифрование с симметричным ключом.

Чтобы сделать вещи более эффективными, файл обычно будет зашифрован с помощью алгоритма с симметричным ключом, а затем симметричный ключ будет зашифрован с помощью шифрования RSA. В рамках этого процесса только объект, имеющий доступ к закрытому ключу RSA, сможет расшифровать симметричный ключ.

Не имея доступа к симметричному ключу, исходный файл нельзя расшифровать .Этот метод можно использовать для защиты сообщений и файлов, не занимая слишком много времени и не потребляя слишком много вычислительных ресурсов.

RSA может использоваться в различных системах. Его можно реализовать в OpenSSL, wolfCrypt, cryptlib и ряде других криптографических библиотек.

Как одна из первых широко используемых схем шифрования с открытым ключом, RSA заложила основу для большей части наших безопасных коммуникаций. Он был , который традиционно использовался в TLS , а также был исходным алгоритмом, используемым в шифровании PGP.RSA по-прежнему используется в ряде веб-браузеров, электронной почты, VPN, чата и других каналов связи.

RSA также часто используется для создания безопасных соединений между VPN-клиентами и VPN-серверами. В таких протоколах, как OpenVPN, рукопожатия TLS могут использовать алгоритм RSA для обмена ключами и установления безопасного канала.

Как мы упоминали в начале этой статьи, до шифрования с открытым ключом было сложно обеспечить безопасную связь, если не было возможности заранее безопасно обменяться ключами.Если бы не было возможности поделиться кодом заранее или безопасным каналом, через который можно было бы распространять ключи, не было бы возможности общаться без угрозы того, что враги смогут перехватить и получить доступ к содержимому сообщения.

Только в 1970-х все по-настоящему начали меняться. Первое крупное развитие того, что мы сейчас называем криптографией с открытым ключом, было опубликовано в начале десятилетия Джеймсом Х. Эллисом. Эллис не смог найти способ реализовать свою работу, но его коллега Клиффорд Кокс расширил ее до того, что мы теперь знаем как шифрование RSA .

Последний кусок головоломки — это то, что мы теперь называем обмен ключами Диффи-Хеллмана . Малкольм Дж. Уильямсон, другой сотрудник, придумал схему, которая позволяла двум сторонам использовать общий ключ шифрования, даже если канал контролировался злоумышленниками.

Вся эта работа была проведена в британском разведывательном управлении, в Управлении правительственной связи (GCHQ), которое держало открытие под классификацией . Частично из-за технологических ограничений GCHQ не видел в то время применения криптографии с открытым ключом, поэтому разработка стояла без дела на полке и пылялась. Только в 1997 году работа была рассекречена, и первоначальные изобретатели RSA были признаны .

Несколько лет спустя аналогичные концепции начали развиваться в публичной сфере. Ральф Меркл создал раннюю форму криптографии с открытым ключом , которая повлияла на Уитфилда Диффи и Мартина Хеллмана при разработке обмена ключами Диффи-Хеллмана.

В идеях Диффи и Хеллмана не хватало одного важного аспекта, который сделал бы их работу основой криптографии с открытым ключом.Это была односторонняя функция , которую было бы трудно инвертировать . В 1977 году Рон Ривест, Ади Шамир и Леонард Адлеман , фамилии которых образуют аббревиатуру RSA, после года работы над проблемой пришли к решению.

Ученые из Массачусетского технологического института совершили прорыв после пасхальной вечеринки в 1977 году. После ночи выпивки Ривест пошел домой, но вместо того, чтобы спать, он провел весь вечер, лихорадочно записывая документ, в котором формализовалась его идея о необходимой односторонней функции .

Идея была запатентована Массачусетским технологическим институтом в 1983 году, но только на заре Интернета алгоритм RSA получил широкое распространение в качестве важного инструмента безопасности.

Следующее будет немного упрощением, потому что слишком многие читатели, вероятно, были травмированы своим школьным учителем математики. Чтобы математика не выходила из-под контроля, мы упростим некоторые концепции и будем использовать гораздо меньшие числа .В действительности, шифрование RSA использует простые числа, которые намного больше по величине, и есть несколько других сложностей.

Есть несколько различных концепций, которые вам нужно обдумать, прежде чем мы сможем объяснить, как все это сочетается друг с другом. К ним относятся функции лазейки, генерация простых чисел, общая функция Кармайкла и отдельные процессы, задействованные в вычислении открытого и закрытого ключей , используемых в процессах шифрования и дешифрования.

RSA работает при условии, что алгоритм легко вычислить в одном направлении, но почти невозможно в обратном .Например, если бы вам сказали, что 701111 — произведение двух простых чисел, смогли бы вы выяснить, что это за два числа?

Даже имея калькулятор или компьютер, большинство из нас не будет иметь никакого представления о том, с чего начать, не говоря уже о том, чтобы найти ответ. Но если все перевернуть, становится намного проще. Что в результате:

907 х 773

Если бы вам было достаточно скучно, вы бы вытащили свой телефон или, возможно, вычислили его в своей голове, чтобы обнаружить, что ответ — ранее упомянутый 701 111.Эти 907 и 773 — простые числа, которые отвечают на наш первый вопрос, который показывает нам, что некоторые уравнения можно легко вычислить одним способом, но, по-видимому, невозможно наоборот.

Еще один интересный аспект этого уравнения заключается в том, что одно из простых чисел легко вычислить, если у вас уже есть другое, а также произведение. Если вам сказали, что 701111 — это результат умножения 907 на другое простое число, вы можете вычислить это другое простое число с помощью следующего уравнения:

701111 ÷ 907 = 773

Поскольку соотношение между этими числами просто вычислить в одном направлении, но невероятно сложно в обратном, уравнение известно как функция ловушки .Имейте в виду, что, хотя людям сложно разобраться в приведенном выше примере, компьютеры могут выполнить операцию за минимальное время.

Из-за этого RSA использует гораздо большие числа. Размер простых чисел в реальной реализации RSA варьируется, но в 2048-битном RSA они объединяются, чтобы получить ключи длиной 617 цифр. Чтобы облегчить вам визуализацию этого, ключом может быть число такого размера:

99999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999

Упомянутые выше функции лазейки составляют основу работы схем шифрования с открытым и закрытым ключом. Их свойства позволяют обмениваться открытыми ключами, не подвергая опасности сообщение или не раскрывая закрытый ключ. . Они также позволяют зашифровать данные одним ключом таким образом, чтобы их можно было расшифровать только другим ключом из пары.

Первый шаг шифрования сообщения с помощью RSA — это сгенерировать ключи . Для этого нам нужны два простых числа ( p и q ) , которые выбираются с помощью теста на простоту.Тест на простоту — это алгоритм, который эффективно находит простые числа, например, тест на простоту Рабина-Миллера.

Простые числа в RSA должны быть очень большими и относительно далеко друг от друга. Маленькие или близкие друг к другу числа гораздо легче взломать. Несмотря на это, в нашем примере будут использоваться меньшие числа, чтобы упростить отслеживание и вычисления.

Предположим, что тест на простоту дает нам простые числа, которые мы использовали выше, 907 и 773. Следующий шаг — определить модуль ( n ), используя следующую формулу:

n = p x q

Где p = 907 и q = 773

Следовательно:

n = 907 x 773

n = 701,111

Когда у нас есть n , мы используем общую функцию Кармайкла :

λ ( n ) = л · см ( p — 1, q — 1)

Если вы давно не читали учебники по математике, то приведенное выше может показаться немного устрашающим.Вы можете пропустить эту часть и просто поверить, что математика работает, в противном случае оставайтесь с нами для еще нескольких вычислений. Все будет объяснено максимально подробно, чтобы помочь вам разобраться в основах.

Для тех, кто не в курсе, λ (n) представляет собой совокупность Кармайкла для n , а lcm означает наименьшее общее кратное , которое является наименьшим числом, которое одновременно p и q можно разделить на.Есть несколько разных способов выяснить это, но самый простой — довериться онлайн-калькулятору, который сделает уравнение за вас. Итак, давайте представим наши числа в уравнении:

λ ( 701,111 ) = л · см ( 907 — 1, 773 — 1)

λ ( 701,111 ) = л · см ( 906, 772 )

Используя калькулятор, указанный выше, мы получаем:

λ ( 701111 ) = 349,716

Теперь, когда у нас есть набор простых чисел Кармайкла, настало время , чтобы вычислить наш открытый ключ. В рамках RSA открытые ключи состоят из простого числа e , а также модуля n (мы объясним, что означает модуль, в нескольких абзацах). Число e может быть любым от 1 до значения λ ( n ), которое в нашем примере равно 349 716.

Поскольку открытый ключ является открытым, не так важно, чтобы e было случайным числом. На практике e обычно устанавливается равным 65 537 , потому что, когда случайным образом выбираются гораздо большие числа, это делает шифрование гораздо менее эффективным.В сегодняшнем примере мы будем держать числа небольшими, чтобы вычисления были эффективными. Скажем:

e = 11

Наши окончательные зашифрованные данные называются зашифрованным текстом ( c ). Мы получаем его из нашего открытого текстового сообщения ( m ), применяя открытый ключ по следующей формуле:

c = м ^e мод n

Как мы уже упоминали, ^e mod n — это открытый ключ.Мы уже разработали e , и мы также знаем n . Единственное, что нам нужно объяснить, это mod . Это немного выходит за рамки этой статьи, но это относится к операции по модулю , что по сути означает остаток, оставшийся при делении одной стороны на другую. Например:

10 мод 3 = 1

Это потому, что 3 трижды переходит в 10, а остаток равен 1.

Вернемся к нашему уравнению. Для простоты предположим, что сообщение ( m ), которое мы хотим зашифровать и сохранить в секрете, представляет собой всего лишь одно число: 4 .Подключим все:

c = м ^e мод n

c = 4 ¹¹ мод 701111

c = 4,194,304 мод 701,111

Опять же, чтобы упростить операцию по модулю , мы будем использовать онлайн-калькулятор, но вы можете выяснить это сами. Введя 4 194 304 в онлайн-калькулятор, мы получим:

c = 688,749

Следовательно, когда мы используем RSA для шифрования нашего сообщения, 4 , с нашим открытым ключом, он дает нам зашифрованный текст 688 749 .Предыдущие шаги могут показаться слишком сложными с математикой, но важно повторить то, что произошло на самом деле.

У нас было сообщение о 4 , которое мы хотели сохранить в секрете. Мы применили к нему открытый ключ, который дал нам зашифрованный результат 688 749 . Теперь, когда он зашифрован, мы можем безопасно отправить число 688 749 владельцу пары ключей . Они — единственный человек, который сможет расшифровать его своим закрытым ключом. Когда они его расшифруют, они увидят сообщение, которое мы действительно отправляли, 4 .

  Dim ByteConverter как новый ASCIIEncoding

        Dim dataString As String = "Данные для подписи"

        'Создавать байтовые массивы для хранения исходных, зашифрованных и дешифрованных данных.Уменьшить исходные данные как байты () = ByteConverter.GetBytes (dataString)
        Dim signedData () как байт

        'Создать новый экземпляр класса RSACryptoServiceProvider
        'и автоматически создаст новую пару ключей.
        Dim RSAalg как новый RSACryptoServiceProvider

        Dim PrivateKey As RSAParameters = RSAalg.ExportParameters (True)
        Dim PublicKey как RSAParameters = RSAalg.ExportParameters (False)

        'Хешируйте и подпишите данные.
        signedData = HashAndSignBytes (исходные данные, PrivateKey)

        'Проверить данные и отобразить результат в консоли
        Если VerifySignedHash (originalData, signedData, PublicKey), то
            Приставка.WriteLine («Данные проверены.»)
        Еще
            Console.WriteLine («Данные не соответствуют подписи.»)
        Конец, если
  

  RSA = Новый RSACryptoServiceProvider
    RSA.ImportParameters (PublicKey)
    Dim DecryptedData As Byte () = RSA.Decrypt (Данные, Ложь)