Регулярное выражение для поиска не-ASCII символов в JS

Быстрый ответ

Чтобы обнаружить не-ASCII символы, воспользуйтесь регулярным выражением /[^\x00-\x7F]+/:

const nonAsciiRegex = /[^\x00-\x7F]+/;  // Не упустит ни одного не-ASCII символа.
console.log("Café • テスト".match(nonAsciiRegex)); // ["Café • テスト"]

Этот код поможет вам найти символы за рамками ASCII, включая международные символы и эмодзи.

Обработка Unicode в JavaScript

JavaScript идеально подходит для работы с Unicode-символами, что важно в международном контексте. Символы, превышающие базовый набор ASCII (0x7F), включают в себя различные языки, специальные символы и эмодзи.

От общего к конкретному

Чтобы обработать Unicode-символы различных языков, используйте экранирование свойств Unicode через \p{L}:

const unicodeRegex = /\p{L}+/u; // Захватит все буквенные символы во всех языках!
console.log("안녕하세요".match(unicodeRegex)); // ["안녕하세요"]

Не забывайте о флаге u, который необходим для работы с Unicode.

Подробнее об этом расскажет наш спикер на видео

Библиотеки для работы со старым кодом

Если вам нужно обеспечить поддержку устаревшего кода, XRegExp приходит на помощь. Эта библиотека расширяет стандартные возможности регулярных выражений JavaScript и обеспечивает поддержку свойств Unicode даже в старых средах:

const XRegExp = require('xregexp');
let regex = XRegExp('\\p{L}+'); // Теперь понятно, как прочитать слово Résumé.
console.log(regex.test('Résumé')); // true

Подбор символов по языковым характеристикам

Применение конкретных диапазонов из Unicode-таблиц кодов может быть полезно при поиске Unicode-символов определённых языков, таких как кириллица или китайские иероглифы:

const chineseCharsRegex = /[\u4e00-\u9fa5]+/; // Открываем мир китайской письменности!
console.log("你好".match(chineseCharsRegex)); // ["你好"]

Визуализация

Можно представить свои ASCII и не-ASCII символы как обычные и экзотические фрукты:

| Яблоки (ASCII)            | Экзотические фрукты (не-ASCII)   |
| ------------------------- | -------------------------------- |
| 🍎 🍏 🍎 🍏 🍎 🍏 🍎 🍏 🍎 🍏 |             🥭 🍍 🥥              |

Используйте регулярное выражение /[^\x00-\x7F]+/ для "обнаружения" экзотических фруктов:

const exoticFruitDetector = /[^\x00-\x7F]+/; // Активируем Фруктового Ниндзя
console.log(exoticFruitDetector.test("Обычное яблоко 🍏")); // false
console.log(exoticFruitDetector.test("Экзотический манго 🥭"));  // true

Итог — корзина с органическими яблоками, в которой нет следа не-ASCII символов.

Совместимость с браузерами и транспиляция

Поддержка в разных версиях

Перед тем как погрузиться в мир работы с Unicode в регулярных выражениях, убедитесь в поддержке этой функциональности браузерами. Последние версии обеспечивают корректную работу, а вот старые могут вызвать проблемы.

Трансформация для обеспечения совместимости

Для поддержки Unicode-регулярных выражений в устаревших JavaScript-средах используйте транспиляцию с помощью таких инструментов, как regexpu или Babel:

npm install --save-dev babel-plugin-transform-unicode-regex // Подключаем трансформатор Unicode.

Чтобы включить плагин, добавьте его в конфигурацию Babel:

{
  "plugins": ["transform-unicode-regex"] // Готовы к работе с Unicode!
}

Продвинутые подходы и лучшие практики

Тестирование — залог успеха

Тщательное тестирование регулярных выражений на разнообразных данных обеспечивает их надёжную работу и корректное поведение.

Чистота и понятность кода

Для того чтобы код был аккуратным и понятным, целесообразно инкапсулировать регулярные выражения в функции. Например, функция grabNonAscIIWords(text) может быть чрезвычайно полезной:

function grabNonAscIIWords(text) {
  return text.match(/[\p{L}-]+/gu) || [];  // Включено обнаружение не-ASCII символов!
}

console.log(grabNonAscIIWords("El niño играл в σκάκι")); // ["niño", "σκάκι"]

Ассистенты и инструментарий

Отладка и тестирование регулярных выражений удобно проводить на платформах вроде regex101, которые обеспечивают реальновременный анализ и помогают понять, как работает каждый элемент шаблона.

Полезные материалы

1. RegExp – JavaScript | MDN — обширный справочник по RegExp в JavaScript от Mozilla.
2. Регулярные выражения – Unicode-символы и свойства — для понимания Unicode-свойств в регулярных выражениях.
3. Как использовать Unicode-регулярные выражения в JavaScript? – Stack Overflow — дискуссия о практическом применении Unicode-регулярок в JavaScript.
4. regex101: создание, тестирование и отладка регулярных выражений — онлайн-тестирование и отладка JavaScript-регулярных выражений.
5. Технический стандарт языка ECMAScript® 2024 — официальная спецификация, описывающая работу с регулярными выражениями и не-ASCII символами.
6. Регулярные выражения в JavaScript: XRegExp — библиотека XRegExp, расширяющая стандартные возможности JavaScript-регулярок с лучшей поддержкой Unicode.