mirror of
https://github.com/yuzu-emu/mbedtls.git
synced 2024-11-26 02:25:40 +01:00
272 lines
10 KiB
C
272 lines
10 KiB
C
|
#include "mbedtls/shani.h"
|
||
|
|
|
||
|
|
#if defined(MBEDTLS_HAVE_X86_64)
|
||
|
|
|
||
|
|
#ifdef _MSC_VER
|
||
|
|
#include <intrin.h>
|
||
|
|
#else
|
||
|
|
#include <x86intrin.h>
|
||
|
|
|
||
|
|
#ifndef asm
|
||
|
|
#define asm __asm
|
||
|
|
#endif
|
||
|
|
|
||
|
|
#if defined(__DragonFly__) || defined(__FreeBSD__)
|
||
|
|
// clang-format off
|
||
|
|
#include <sys/types.h>
|
||
|
|
#include <machine/cpufunc.h>
|
||
|
|
// clang-format on
|
||
|
|
#endif
|
||
|
|
|
||
|
|
static inline void __cpuidex(int info[4], int function_id, int subfunction_id) {
|
||
|
|
#if defined(__DragonFly__) || defined(__FreeBSD__)
|
||
|
|
// Despite the name, this is just do_cpuid() with ECX as second input.
|
||
|
|
cpuid_count((u_int)function_id, (u_int)subfunction_id, (u_int *)info);
|
||
|
|
#else
|
||
|
|
info[0] = function_id; // eax
|
||
|
|
info[2] = subfunction_id; // ecx
|
||
|
|
asm("cpuid"
|
||
|
|
: "=a"(info[0]), "=b"(info[1]), "=c"(info[2]), "=d"(info[3])
|
||
|
|
: "a"(function_id), "c"(subfunction_id));
|
||
|
|
#endif
|
||
|
|
}
|
||
|
|
|
||
|
|
#endif
|
||
|
|
|
||
|
|
/*
|
||
|
|
* SHA-NI support detection routine
|
||
|
|
*/
|
||
|
|
int mbedtls_shani_has_support(void) {
|
||
|
|
static int done = 0;
|
||
|
|
static unsigned int b = 0;
|
||
|
|
|
||
|
|
if (done != 1) {
|
||
|
|
int regs[4]; // eax, ebx, ecx, edx
|
||
|
|
__cpuidex(regs, 7, 0);
|
||
|
|
b = regs[1];
|
||
|
|
}
|
||
|
|
|
||
|
|
done = 1;
|
||
|
|
|
||
|
|
return ((b & (1 << 29)) != 0);
|
||
|
|
}
|
||
|
|
|
||
|
|
int mbedtls_internal_sha256ni_process(uint32_t state[8],
|
||
|
|
const unsigned char data[64]) {
|
||
|
|
// Implementation based from
|
||
|
|
// https://www.intel.com/content/www/us/en/developer/articles/technical/intel-sha-extensions.html
|
||
|
|
__m128i STATE0, STATE1;
|
||
|
|
__m128i ABEF_SAVE, CDGH_SAVE;
|
||
|
|
__m128i MSG, MSGTEMP;
|
||
|
|
__m128i MSGTEMP0, MSGTEMP1, MSGTEMP2, MSGTEMP3;
|
||
|
|
__m128i SHUF_MASK;
|
||
|
|
|
||
|
|
// Load initial digest
|
||
|
|
STATE0 = _mm_loadu_si128((__m128i *)&state[0]);
|
||
|
|
STATE1 = _mm_loadu_si128((__m128i *)&state[4]);
|
||
|
|
|
||
|
|
// CDAB
|
||
|
|
MSGTEMP = _mm_shuffle_epi32(STATE0, 0xB1);
|
||
|
|
// EFGH
|
||
|
|
STATE1 = _mm_shuffle_epi32(STATE1, 0x1B);
|
||
|
|
// ABEF
|
||
|
|
STATE0 = _mm_alignr_epi8(MSGTEMP, STATE1, 8);
|
||
|
|
// CDGH
|
||
|
|
STATE1 = _mm_blend_epi16(STATE1, MSGTEMP, 0xF0);
|
||
|
|
|
||
|
|
SHUF_MASK = _mm_set_epi8(0xC, 0xD, 0xE, 0xF, 0x8, 0x9, 0xA, 0xB,
|
||
|
|
0x4, 0x5, 0x6, 0x7, 0x0, 0x1, 0x2, 0x3);
|
||
|
|
|
||
|
|
// Save digests
|
||
|
|
ABEF_SAVE = STATE0;
|
||
|
|
CDGH_SAVE = STATE1;
|
||
|
|
|
||
|
|
// Rounds 0-3
|
||
|
|
MSG = _mm_loadu_si128((__m128i *)&data[0]);
|
||
|
|
MSGTEMP0 = _mm_shuffle_epi8(MSG, SHUF_MASK);
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP0,
|
||
|
|
_mm_set_epi64x(0xE9B5DBA5B5C0FBCF, 0x71374491428A2F98));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
|
||
|
|
// Rounds 4-7
|
||
|
|
MSGTEMP1 = _mm_loadu_si128((const __m128i *)(data + 16));
|
||
|
|
MSGTEMP1 = _mm_shuffle_epi8(MSGTEMP1, SHUF_MASK);
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP1,
|
||
|
|
_mm_set_epi64x(0xAB1C5ED5923F82A4, 0x59F111F13956C25B));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP0 = _mm_sha256msg1_epu32(MSGTEMP0, MSGTEMP1);
|
||
|
|
|
||
|
|
// Rounds 8-11
|
||
|
|
MSGTEMP2 = _mm_loadu_si128((const __m128i *)(data + 32));
|
||
|
|
MSGTEMP2 = _mm_shuffle_epi8(MSGTEMP2, SHUF_MASK);
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP2,
|
||
|
|
_mm_set_epi64x(0x550C7DC3243185BE, 0x12835B01D807AA98));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP1 = _mm_sha256msg1_epu32(MSGTEMP1, MSGTEMP2);
|
||
|
|
|
||
|
|
// Rounds 12-15
|
||
|
|
MSGTEMP3 = _mm_loadu_si128((const __m128i *)(data + 48));
|
||
|
|
MSGTEMP3 = _mm_shuffle_epi8(MSGTEMP3, SHUF_MASK);
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP3,
|
||
|
|
_mm_set_epi64x(0xC19BF1749BDC06A7, 0x80DEB1FE72BE5D74));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP3, MSGTEMP2, 4);
|
||
|
|
MSGTEMP0 = _mm_add_epi32(MSGTEMP0, MSGTEMP);
|
||
|
|
MSGTEMP0 = _mm_sha256msg2_epu32(MSGTEMP0, MSGTEMP3);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP2 = _mm_sha256msg1_epu32(MSGTEMP2, MSGTEMP3);
|
||
|
|
|
||
|
|
// Rounds 16-19
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP0,
|
||
|
|
_mm_set_epi64x(0x240CA1CC0FC19DC6, 0xEFBE4786E49B69C1));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP0, MSGTEMP3, 4);
|
||
|
|
MSGTEMP1 = _mm_add_epi32(MSGTEMP1, MSGTEMP);
|
||
|
|
MSGTEMP1 = _mm_sha256msg2_epu32(MSGTEMP1, MSGTEMP0);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP3 = _mm_sha256msg1_epu32(MSGTEMP3, MSGTEMP0);
|
||
|
|
|
||
|
|
// Rounds 20-23
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP1,
|
||
|
|
_mm_set_epi64x(0x76F988DA5CB0A9DC, 0x4A7484AA2DE92C6F));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP1, MSGTEMP0, 4);
|
||
|
|
MSGTEMP2 = _mm_add_epi32(MSGTEMP2, MSGTEMP);
|
||
|
|
MSGTEMP2 = _mm_sha256msg2_epu32(MSGTEMP2, MSGTEMP1);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP0 = _mm_sha256msg1_epu32(MSGTEMP0, MSGTEMP1);
|
||
|
|
|
||
|
|
// Rounds 24-27
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP2,
|
||
|
|
_mm_set_epi64x(0xBF597FC7B00327C8, 0xA831C66D983E5152));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP2, MSGTEMP1, 4);
|
||
|
|
MSGTEMP3 = _mm_add_epi32(MSGTEMP3, MSGTEMP);
|
||
|
|
MSGTEMP3 = _mm_sha256msg2_epu32(MSGTEMP3, MSGTEMP2);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP1 = _mm_sha256msg1_epu32(MSGTEMP1, MSGTEMP2);
|
||
|
|
|
||
|
|
// Rounds 28-31
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP3,
|
||
|
|
_mm_set_epi64x(0x1429296706CA6351, 0xD5A79147C6E00BF3));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP3, MSGTEMP2, 4);
|
||
|
|
MSGTEMP0 = _mm_add_epi32(MSGTEMP0, MSGTEMP);
|
||
|
|
MSGTEMP0 = _mm_sha256msg2_epu32(MSGTEMP0, MSGTEMP3);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP2 = _mm_sha256msg1_epu32(MSGTEMP2, MSGTEMP3);
|
||
|
|
|
||
|
|
// Rounds 32-35
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP0,
|
||
|
|
_mm_set_epi64x(0x53380D134D2C6DFC, 0x2E1B213827B70A85));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP0, MSGTEMP3, 4);
|
||
|
|
MSGTEMP1 = _mm_add_epi32(MSGTEMP1, MSGTEMP);
|
||
|
|
MSGTEMP1 = _mm_sha256msg2_epu32(MSGTEMP1, MSGTEMP0);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP3 = _mm_sha256msg1_epu32(MSGTEMP3, MSGTEMP0);
|
||
|
|
|
||
|
|
// Rounds 36-39
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP1,
|
||
|
|
_mm_set_epi64x(0x92722C8581C2C92E, 0x766A0ABB650A7354));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP1, MSGTEMP0, 4);
|
||
|
|
MSGTEMP2 = _mm_add_epi32(MSGTEMP2, MSGTEMP);
|
||
|
|
MSGTEMP2 = _mm_sha256msg2_epu32(MSGTEMP2, MSGTEMP1);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP0 = _mm_sha256msg1_epu32(MSGTEMP0, MSGTEMP1);
|
||
|
|
|
||
|
|
// Rounds 40-43
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP2,
|
||
|
|
_mm_set_epi64x(0xC76C51A3C24B8B70, 0xA81A664BA2BFE8A1));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP2, MSGTEMP1, 4);
|
||
|
|
MSGTEMP3 = _mm_add_epi32(MSGTEMP3, MSGTEMP);
|
||
|
|
MSGTEMP3 = _mm_sha256msg2_epu32(MSGTEMP3, MSGTEMP2);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP1 = _mm_sha256msg1_epu32(MSGTEMP1, MSGTEMP2);
|
||
|
|
|
||
|
|
// Rounds 44-47
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP3,
|
||
|
|
_mm_set_epi64x(0x106AA070F40E3585, 0xD6990624D192E819));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP3, MSGTEMP2, 4);
|
||
|
|
MSGTEMP0 = _mm_add_epi32(MSGTEMP0, MSGTEMP);
|
||
|
|
MSGTEMP0 = _mm_sha256msg2_epu32(MSGTEMP0, MSGTEMP3);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP2 = _mm_sha256msg1_epu32(MSGTEMP2, MSGTEMP3);
|
||
|
|
|
||
|
|
// Rounds 48-51
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP0,
|
||
|
|
_mm_set_epi64x(0x34B0BCB52748774C, 0x1E376C0819A4C116));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP0, MSGTEMP3, 4);
|
||
|
|
MSGTEMP1 = _mm_add_epi32(MSGTEMP1, MSGTEMP);
|
||
|
|
MSGTEMP1 = _mm_sha256msg2_epu32(MSGTEMP1, MSGTEMP0);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
MSGTEMP3 = _mm_sha256msg1_epu32(MSGTEMP3, MSGTEMP0);
|
||
|
|
|
||
|
|
// Rounds 52-55
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP1,
|
||
|
|
_mm_set_epi64x(0x682E6FF35B9CCA4F, 0x4ED8AA4A391C0CB3));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP1, MSGTEMP0, 4);
|
||
|
|
MSGTEMP2 = _mm_add_epi32(MSGTEMP2, MSGTEMP);
|
||
|
|
MSGTEMP2 = _mm_sha256msg2_epu32(MSGTEMP2, MSGTEMP1);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
|
||
|
|
// Rounds 56-59
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP2,
|
||
|
|
_mm_set_epi64x(0x8CC7020884C87814, 0x78A5636F748F82EE));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSGTEMP = _mm_alignr_epi8(MSGTEMP2, MSGTEMP1, 4);
|
||
|
|
MSGTEMP3 = _mm_add_epi32(MSGTEMP3, MSGTEMP);
|
||
|
|
MSGTEMP3 = _mm_sha256msg2_epu32(MSGTEMP3, MSGTEMP2);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
|
||
|
|
// Rounds 60-63
|
||
|
|
MSG = _mm_add_epi32(MSGTEMP3,
|
||
|
|
_mm_set_epi64x(0xC67178F2BEF9A3F7, 0xA4506CEB90BEFFFA));
|
||
|
|
STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
|
||
|
|
MSG = _mm_shuffle_epi32(MSG, 0x0E);
|
||
|
|
STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
|
||
|
|
|
||
|
|
STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
|
||
|
|
STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
|
||
|
|
|
||
|
|
// FEBA
|
||
|
|
MSGTEMP = _mm_shuffle_epi32(STATE0, 0x1B);
|
||
|
|
// DCHG
|
||
|
|
STATE1 = _mm_shuffle_epi32(STATE1, 0xB1);
|
||
|
|
// DCBA
|
||
|
|
STATE0 = _mm_blend_epi16(MSGTEMP, STATE1, 0xF0);
|
||
|
|
// ABEF
|
||
|
|
STATE1 = _mm_alignr_epi8(STATE1, MSGTEMP, 8);
|
||
|
|
|
||
|
|
// Store digests
|
||
|
|
_mm_storeu_si128((__m128i *)&state[0], STATE0);
|
||
|
|
_mm_storeu_si128((__m128i *)&state[4], STATE1);
|
||
|
|
|
||
|
|
return 0;
|
||
|
|
}
|
||
|
|
|
||
|
|
#endif // MBEDTLS_HAVE_X86_64
|