Фёдор Гаранин

Не «написал SQL», а профилировал, нашёл seq-scan на 291k строк и переписал под двухстадийный HNSW-поиск. Комментарий объясняет почему.

// EXPLAIN показал: одностадийный `<=> + random` шёл seq scan по ~291k строк = ~930мс.
// (1) HNSW берёт top-K ближайших ЧИСТЫМ `<=>`; (2) ре-ранк кандидатов со штрафом + джиттером.
const sqlQuery = `
  WITH cand AS (
    SELECT wc.id, wc.kinopoisk_id, (wc.item_tower_vector <=> $1::vector) AS dist
    FROM content.movie_content wc
    WHERE wc.item_tower_vector IS NOT NULL ${candidateWhere}
    ORDER BY wc.item_tower_vector <=> $1::vector LIMIT ${candidatePool}
  )
  SELECT c.kinopoisk_id, 1.0 - c.dist AS score
  FROM cand c ORDER BY c.dist + (${demotionSql}) + (RANDOM() * 0.05) LIMIT ${limit}`;

// SET LOCAL в транзакции → не протекает в пул соединений
await this.prisma.$transaction(async (tx) => {
  await tx.$executeRawUnsafe(`SET LOCAL hnsw.ef_search = ${candidatePool}`);
  return tx.$queryRawUnsafe(sqlQuery, ...queryArgs);
});

Главная не блокируется на дорогом агрегате «Сейчас смотрят»: отдаёт stale немедленно, пересчитывает максимум один процесс (NX-lock), деградирует при недоступности Redis.

private async refreshTrendingCache(computeIfNoLock: boolean): Promise<number[]> {
  const gotLock = await this.redis.safeExecute(
    () => this.redis.set(LOCK_KEY, '1', 'EX', LOCK_TTL, 'NX'), null);
  // нет лока и это фоновый путь — другой процесс уже считает, выходим
  if (!gotLock && !computeIfNoLock) return [];
  try { /* пересчёт + запись в кэш */ }
  finally { if (gotLock) await this.redis.safeExecute(() => this.redis.del(LOCK_KEY), null); }
}

Эксплуатирует то, что ratings.csv отсортирован по userId → группирует пользователей «на лету», держа в памяти максимум одного.

for await (const line of rl) {            // readline по 678 МБ, без загрузки в RAM
  const userId = parseInt(line.slice(0, c1), 10);
  if (userId !== currentUserId) {        // сменился юзер → финализируем предыдущего
    if (currentUserId !== -1) await flushUser();
    currentUserId = userId;
    currentRatings = new Map();           // O(1) памяти: один юзер за раз
  }
  const kp = movieIdToKp.get(movieId);   // мэтч датасетов по imdb_id
  if (kp === undefined) continue;         // несматченное выбрасываем
}

Не model.fit(), а ручной цикл обучения уровня индустриальных рекомендеров (YouTube/Netflix). Обучение в той же косинусной геометрии, что и инференс в pgvector.

// L2-норма → косинус (ровно та геометрия, что на серве в pgvector <=>)
uE = tf.div(uE, tf.norm(uE, 'euclidean', 1, true));
iE = tf.div(iE, tf.norm(iE, 'euclidean', 1, true));
let logits = tf.div(tf.matMul(uE, iE, false, true), tf.scalar(TEMPERATURE)); // [B,B]

if (USE_LOGQ_CORRECTION) logits = tf.sub(logits, qRow);   // вычитаем log P(item) — sampling-bias
if (dupIdx)                                              // sparse-маска дублей через scatterND
  logits = tf.add(logits, tf.scatterND(idx, tf.fill([numDup], -1e9), [B, B]));

При обновлении каста сверяет свежий payload с существующим и отказывается удалять данные, если внешний API вернул подозрительно мало — защита от деградации источника.

const changed = await this.prisma.$transaction(async (tx) => {
  const created = await tx.movieStaff.createMany({ data: freshRows, skipDuplicates: true });
  const removed = await this.reconcileRemovals(tx, movie.id, freshRows, kpId);
  return created.count > 0 || removed > 0;
}, { timeout: 30000 });

// внутри reconcile — partial-payload guard:
if (existing.length >= GUARD_MIN && freshRows.length < existing.length * 0.5) {
  this.logger.warn('Skipping reconcile: suspected partial payload');
  return 0;   // не вычищаем каст на «тонком» ответе
}

10 параллельных 401 не вызывают 10 обновлений токена (дедуп в один промис), а WeakMap гарантирует ровно один повтор на запрос — без рекурсии рефреша.

const retryInterceptor: Interceptor = next => async (req) => {
  try { return await next(req); }
  catch (error) {
    const e = ConnectError.from(error);
    if (e.code === Code.Unauthenticated) {
      if (req.service === AuthService && req.method.name === 'Revoke') throw error;
      if (!refreshedRequests.has(req)) {        // WeakMap → ровно один ретрай на запрос
        refreshedRequests.set(req, true);
        const newToken = await refreshManager.runRefreshFlow(); // single-flight
        if (newToken) { req.header.set('Authorization', `Bearer ${newToken}`); return await next(req); }
      }
      throw error;
    }
    if (e.message.includes('A403')) { await deviceStore.getDeviceClientId(); return await next(req); }
    throw error;
  }
};

SEO — не метатеги, а движок: schema.org (Movie/TVSeries, BreadcrumbList, динамический ItemList) на SSR. Плюс фирменная вёрстка, где 1rem = 1px макета.

// SEO: динамический ItemList «Рекомендуем» из массива похожих фильмов
seo.generateCompositeContextByItems('movie_items_block', relatedData.value);
state.value.useHead.script.push({ type: 'application/ld+json', innerHTML: JSON.stringify(jsonObject) });

// Вёрстка: на вьюпорте 360px → 1vw=3.6px → font-size=1px → 1rem=1px макета
html { --liquid-base: calc(1vw / 3.6); }         // mobile
@include bp-desktop { --liquid-base: calc(1vw / 19.2); } // 1920 макет
html { font-size: var(--liquid-base); }     // h1 { font-size: 36rem } = 36px по макету

Главный аргумент «сделал, а не скачал»: спроектировал бинарный контейнер PTTD ровно под нужды своего sampled-softmax. JSON дублировал 817-мерные векторы в каждой строке → десятки ГБ; он применил нормализацию как в БД — каждый вектор хранится один раз, взаимодействия = пары индексов.

// Раскладка (little-endian): Header[magic "PTTD"|version|dims|counts] + плотные секции
//   userTable float32[numUsers·userDim]   ← каждый вектор ОДИН раз (а не в каждой строке)
//   interUser/interItem uint32[N], interWeight float32[N]  ← взаимодействие = индексы

const takeF32 = (count) => {
  const bytes = count * 4, start = buf.byteOffset + off;
  const ab = buf.buffer.slice(start, start + bytes); // копия → ГАРАНТИРОВАННО выровнено
  off += bytes; return new Float32Array(ab);              // (raw view мог бы дать невыровненный offset)
};

// дедуп фильма + ЛЕНИВОЕ вычисление фич — только при первом появлении ключа
internItem(key, computeVec) {
  const e = this.itemKeyToIdx.get(key); if (e !== undefined) return e;
  const idx = this.itemVecs.push(computeVec()) - 1; this.itemKeyToIdx.set(key, idx); return idx;
}