一文看懂各种常见的文本处理方法
摘要
摘要算法又称哈希算法、散列算法。它是一种能将任意长度的输入数据通过特定的计算过程，转换为固定长度输出值的算法。
特点
确定性
对于相同的输入数据，摘要算法总是生成相同的输出结果。这意味着如果两次输入完全相同的数据，得到的摘要值必然一致。
不可逆性
很难通过摘要值反向推导出原始数据。这种特性使得摘要算法在密码学等领域有广泛应用，用于保护数据的安全性。
唯一性（高度碰撞抵抗性）
不同的输入数据极大概率生成不同的摘要值。虽然理论上存在极小概率的碰撞情况，即不同的输入产生相同的摘要，但在实际应用中这种情况非常罕见。
应用领域
数据完整性校验
在文件传输、数据存储等场景中，发送方对原始数据计算摘要值并一同发送给接收方。接收方收到数据后再次计算摘要值，与接收到的摘要值进行对比。如果两个摘要值相同，则可以确认数据在传输过程中没有被篡改，保证了数据的完整性。
密码存储
在用户注册时，系统通常不会直接存储用户的密码明文，而是将密码通过摘要算法处理后得到的摘要值进行存储。当用户登录时，系统将用户输入的密码再次进行摘要计算，并与存储的摘要值进行对比，以此来验证用户身份，即使数据库被攻击，攻击者也很难获取用户的真实密码。
数字签名
在数字签名过程中，摘要算法用于对原始数据进行摘要计算，然后使用私钥对摘要值进行加密，生成数字签名。接收方可以使用发送方的公钥解密数字签名得到摘要值，同时对收到的原始数据进行摘要计算，对比两个摘要值以验证数据的真实性和完整性。
常见方法
- MD5
- SHA-1
- SHA-256
编码
特点
数据转换
各种编码方式都是将原始数据从一种表现形式转换为另一种形式。无论是将字符转换为特定的数字编码，还是将二进制数据转换为可打印的字符序列，其本质都是为了适应不同的存储、传输或处理需求。 例如，ASCII 编码将字符转换为 7 位或 8 位的二进制编码，Base64 编码将二进制数据转换为由 64 个可打印字符组成的字符串。
标准化
编码方式通常遵循一定的标准规范，以确保不同的系统和软件能够正确地理解和处理编码后的数据。 这些标准可以是国际标准组织制定的，也可以是特定领域或行业内广泛认可的规范。例如，Unicode 编码是一种全球通用的字符编码标准，被几乎所有的现代操作系统和编程语言所支持。
可重复性
对于相同的输入数据，特定的编码方式总是产生相同的编码结果。这使得编码后的数据具有可重复性和可验证性，便于数据的传输、存储和比较。 比如，无论在何时何地，使用相同的 Base64 编码算法对相同的二进制数据进行编码，都会得到完全相同的编码结果。
应用领域
数据存储和传输
编码方式使得数据能够以更紧凑、更高效的形式进行存储和传输。通过将数据转换为特定的编码格式，可以减少存储空间的占用，并提高数据在网络或存储介质中的传输速度。 例如，使用压缩编码方式可以将大量的数据压缩成较小的体积，便于存储和传输。同时，一些编码方式如 Base64 可以将二进制数据编码为可打印的字符序列，使得数据能够在不支持二进制传输的环境中进行传输，如在电子邮件或文本文件中。
信息表示和识别
编码方式为信息的表示和识别提供了一种统一的方法。不同的编码可以表示不同类型的信息，如字符编码用于表示文本信息，数字编码用于表示数值信息等。 这使得计算机系统能够准确地识别和处理各种类型的信息，确保信息的正确表示和传递。例如，在数据库中，不同的数据类型通常使用不同的编码方式进行存储，以便于数据库管理系统对数据进行有效的管理和查询。
跨平台和跨语言通信
标准化的编码方式为不同的计算机系统、软件平台和编程语言之间的通信提供了桥梁。通过使用共同的编码标准，不同的系统可以正确地理解和处理来自其他系统的数据，实现跨平台和跨语言的信息交流。 例如，Unicode 编码使得不同语言的文本可以在全球范围内的计算机系统中正确显示和处理，促进了国际间的信息交流和合作。
数据安全和保护
某些编码方式可以提供一定程度的数据安全和保护。例如，加密编码可以将敏感信息转换为难以理解的形式，防止未经授权的访问和窃取。 此外，一些编码方式还可以通过数据校验和纠错机制，确保数据在传输和存储过程中的完整性和准确性。例如，循环冗余校验（CRC）编码可以检测数据传输过程中的错误，并在一定程度上进行纠错。
常见方法
- Base64 编码
- URI 编码
加密
特点
保密性
信息隐藏：加密方法的核心目的是将明文信息转换为密文，使得未经授权的人难以理解密文所表达的真实内容。通过复杂的数学算法和密钥的运用，加密技术能够有效地隐藏信息，确保只有拥有正确密钥的人才能解密并获取原始信息。 防止窃听：在信息传输过程中，加密可以防止第三方窃听者获取敏感信息。即使窃听者截获了加密后的密文，由于没有正确的密钥，也无法解读其中的内容，从而保证了信息的保密性。
完整性
检测篡改：加密方法通常会结合一些校验机制，以确保信息在传输或存储过程中没有被篡改。例如，一些加密算法会在密文中包含校验和或消息认证码，接收方在解密后可以通过校验这些值来判断信息是否完整。 防止伪造：加密技术可以防止恶意攻击者伪造信息。由于只有拥有正确密钥的人才能生成有效的密文，攻击者很难伪造出看似合法的加密信息，从而保证了信息的真实性和完整性。
认证性
身份验证：加密方法可以用于验证信息发送者和接收者的身份。通过使用数字签名等技术，发送者可以对信息进行签名，接收者可以使用发送者的公钥验证签名的真实性，从而确定信息确实是由声称的发送者发送的。 防止抵赖：加密技术还可以防止发送者在事后否认发送过某条信息。数字签名等加密手段可以提供不可抵赖性，确保发送者无法否认自己的行为。
应用领域
保护敏感信息
个人隐私保护：在当今数字化时代，个人的各种敏感信息如身份证号码、银行账户信息、医疗记录等需要得到妥善保护。加密技术可以确保这些信息在存储和传输过程中不被泄露，保护个人隐私。 企业机密保护：企业通常拥有大量的商业机密、客户数据和知识产权等敏感信息。加密技术可以防止这些信息被竞争对手窃取或恶意攻击者破坏，保护企业的核心竞争力。
确保信息安全传输
网络通信安全：在互联网和其他网络环境中，信息的传输面临着各种安全威胁。加密技术可以为网络通信提供安全保障，确保信息在传输过程中不被窃取、篡改或伪造。例如，SSL/TLS 协议就是一种广泛应用于网络通信的加密技术，用于保护网页浏览、电子邮件等应用的安全。 无线通信安全：随着无线通信技术的广泛应用，如 Wi-Fi、蓝牙和移动网络等，无线通信的安全问题也日益突出。加密技术可以为无线通信提供加密保护，防止无线信号被窃听或干扰。
满足法律法规要求
数据保护法规：许多国家和地区都制定了严格的数据保护法规，要求企业和组织对敏感信息进行加密保护。例如，欧盟的《通用数据保护条例》（GDPR）就明确规定了企业在处理个人数据时应采取的安全措施，其中包括加密技术的应用。 行业标准要求：一些行业也制定了特定的安全标准和规范，要求企业在特定领域中使用加密技术。例如，金融行业对客户数据的保护要求非常严格，通常要求使用高强度的加密技术来确保交易的安全。
促进数字信任和电子商务发展
建立信任关系：加密技术可以为数字交易和通信建立信任关系。当人们知道他们的信息受到加密保护时，他们更愿意进行在线交易、使用数字服务和与他人进行数字通信。加密技术的应用可以增强用户对数字环境的信任，促进数字经济的发展。 电子商务安全：在电子商务领域，加密技术是确保交易安全的关键。通过使用加密技术，如 SSL/TLS 协议和数字证书，可以保护用户的支付信息、订单详情和个人信息，防止欺诈和盗窃行为。加密技术的应用可以提高电子商务的安全性和可靠性，促进电子商务的发展。
常见方法
对称加密
- DES
- AES
非对称加密
- RSA
- ECC