Сравнение строк в Java для определения схожести

Быстрый ответ

В Java вы можете просто начать сравнивать строки, используя расчёт расстояния Левенштейна посредством StringUtils из библиотеки Apache Commons Lang. Примерный код:

import org.apache.commons.lang3.StringUtils;

public class StringSimilarity {
    public static void main(String[] args) {
        String str1 = "котенок";
        String str2 = "сидящий";
        int distance = StringUtils.getLevenshteinDistance(str1, str2);

        System.out.println("Расстояние: " + distance);  // Меньше расстояние, ближе строки
    }
}

Вам нужно просто добавить commons-lang в ваш проект. Запомните: менее значительное значение distance указывает на большую схожесть строк.

Основы: подходы к сравнению строк

Дальше Левенштейна: Commons, Text и Jaccard

Расстояние Левенштейна прекрасно подходит для многих кейсов, однако важно знать его пределы и расширить набор доступных алгоритмов. Вашим союзником станет Apache Commons Text, где представлены:

• Сходство Джаккара: Преобразует строки в наборы символов с целью сравнения.
• Косинусное сходство: Хорош для сравнения предложений или фраз.
• Fuzzy Score: Отражает опечатки, как ветер влияет на пшеничное поле.

Познакомьтесь с репозиториями, включающими метрики для строк – например, Sam’s String Metrics и Simmetrics. Они предлагают великое множество решений.

Подробнее об этом расскажет наш спикер на видео

Исключительные случаи: применение старых методов

При работе с устаревшими системами типа MS Project, вы можете использовать разные алгоритмы в полуавтоматическом режиме. Для достижения точного результата важнее всего ручная проверка.

Лучшие практики: избегайте старых методов

Всегда копайтесь в актуальных знаниях, изучая документацию Apache Commons Text. Отделение устаревших методов от актуальных может сэкономить ваше время, затрачиваемое на изучение старых технологий.

Визуализация

Сравним строки "Rainn" и "Rain", чтобы лучше освоить принципы сравнения строк:

Представьте строку как *реку*. Подобие символов соединяет их в поток, а непохожие друг на друга символы разделяются.

Строка A: Rainn 🌊🌊
Строка B: Rain 🌊

Потоки сливаются в "Rain":
🌧️🌧️🌧️🌧️

Излишек "n" создаёт различие:
🌧️❌

Теперь рассчитаем сходство:

Совпадение: "Rain" (🌧️🌧️🌧️🌧️) = 4 символа
Разница: "n" (❌) = 1 символ

Уровень сходства = Совпадение / (Совпадение + Разница)
= 4 / (4 + 1)
= 0.8 или 80%

Вообразите совпадающие символы как волны реки, связывающие отдалённые от одной точки берега.

Инструменты профессионала: практически сверяем строки

Выбор алгоритма: к каждому заданию – свой

Алгоритм подходит для решения определённого вопроса. Левенштейн лучше подойдёт для корректирования опечаток, а косинусное сходство – для сравнения фраз.

Автоматизация: создавайте ключи схожести

Создавайте ключи схожести автоматически, чтобы объединять отдельные записи в базах данных или системах. Проекты на GitHub, такие как jtmt и tdebatty/java-string-similarity, предоставляют подходящие инструменты.

Междуязычное сравнение: Java и JavaScript

Эти алгоритмы можно использовать в разных языках программирования, включая JavaScript, что позволит вам расширить профессиональные возможности.

Сложные сходимости строк

Использование специфичных библиотек

Воспользуйтесь репозиториями на GitHub, как, например, tdebatty/java-string-similarity, чтобы применить продвинутые алгоритмы, когда особый подход к сравнению строк критически важен.

Сравниваем строки при системной интеграции

Используйте сравнение строк как метод построения "мостов" между системами при миграции и синхронизации данных, упрощая тем самым сложные интеграционные процессы.

Работа с многоязычными данными и Unicode

При выполнении задач с многоязычными данными, необходимо работать со специализированными библиотеками, поддерживающими инкодинг Unicode и особенности конкретных языков.

Полезные материалы

1. org.apache.commons.text.similarity (Apache Commons Text 1.9 API) — обширный набор методик сравнения текста.
2. Реализация алгоритмов сходства строк — GitHub-репозиторий с известными алгоритмами, такими как Левенштейн и Джаро-Винклер.
3. Сравнение строк в Java – Stack Overflow — опыт и знания сообщества Stack Overflow по методам сравнения строк.
4. Реализация алгоритма Simhash на Java — эффективная реализация SimHash в Java.
5. Расстояние Левенштейна – Википедия — обзорная информация о расстоянии Левенштейна.
6. Косинусное сходство – Википедия — подробное изложение о косинусном сходстве.