Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Published by Scroll Versions from space ML1 and version 5.3
Sv translation
languageen

Congratulations on needing to expand your cluster on Xpand! 

 

Table of Contents
maxLevel2
stylenone

Note

Your Xpand is licensed for a maximum number of cores per node as well as a maximum number of nodes for the cluster. Contact Xpand Sales to if you need an expanded license.

Step 1. Prepare the Node(s)

Provision nodes and Install Xpand on each node, using the same version and installation configuration.

If zones are in use, ensure that the target configuration has an equal number of nodes in each zone.

If you are using encrypted connections, ensure that certificates in keys are present in the same location with the correct permissions.

Step 2. Add Node(s) to Your Cluster

Note

When adding nodes to your cluster, you may need to open ports. For a listing of all ports required by Xpand, including those used for multiport, please see Network Security with Xpand.

Include Page
The content can't be resolved. The space XP is not available in your include library.
The content can't be resolved. The space XP is not available in your include library.

(optional) Configure Zone for newly added Nodes 

If zones are in use, the newly added nodes must be assigned to their respective zone using ALTER CLUSTER ZONE. Clusters that are only partially configured for zones are not fault tolerant in the face of a zone loss. 

Step 3. Verify Successful Node Addition

Run this query from a SQL prompt. New node(s) are automatically assigned consecutive node number(s).

sql> SELECT * FROM system.nodeinfo ORDER BY nodeid;

You can also use The CLX Command-Line Administration Tool.

View your cluster's status by providing the following at a bash prompt
shell> /opt/clustrix/bin/clx status

You should see that all nodes appear OK on the display. If zones are in use, all nodes should have a non-zero zone assigned. If zones are not in use, all nodes will be assigned to zone 0.  

You may notice that the data distribution amongst your nodes is not yet balanced. Be patient. It will be, soon.

If the node you are trying to add does not appear in the list above, see section below on Errors during Flex Up.

Step 4. Monitor Rebalancer Activity

Your new node(s) have been successfully added to your Xpand cluster but they do not yet contain data. The Rebalancer will now automatically work in the background to move data onto the new node(s). To monitor this process, refer to the instructions regarding Managing the Rebalancer. Your cluster is fully functional and able to be used during this process.

Anchor
Errors_During_Flex_Up
Errors_During_Flex_Up
Errors During Flex Up

As part of adding nodes to your cluster, Xpand performs some checks to ensure the nodes have the same configuration. This section describes errors that can be encountered with ALTER CLUSTER ADD and how to resolve those issues.

SQL Errors

The following are errors you may encounter at the SQL prompt

  • ERROR 1 (HY000): [26633] Bad parameter.: Host "xxx" already in cluster
    • This error occurs if you attempt to add a node that is already part of the cluster.
  • ERROR 1 (HY000): [55300] Multiple nodes cannot be added when an existing addition is pending
    • A node addition could be in a pending state due to:
      • A node is still in the process of being added
      • A node running a different version of Xpand was added to the cluster
      • A node with a different multiport setting was added to the cluster
    • See sections below on PROBLEM_NODES and PENDING_INVITES to resolve these errors. 

PENDING_INVITES

List of nodes with pending invitations
sql> SELECT * FROM system.pending_invites;

The cluster periodically attempts to send invitations to nodes in system.pending_invites. For each invitation that is sent, there will be entries in clustrix.log:

sending invitation response(no error) to "10.2.13.68:24378"
Note

Note: If the same node is in system.pending_invites and system.problem_nodes, you may want to remove the node from system.pending_invites before resolving the issue with system.problem_nodes. Doing this will prevent the node from being automatically added to the cluster once the problem is resolved, causing a premature group change. Instead, you may prefer to complete the node addition during off-peak hours.

Remove a pending node addition from PENDING_INVITES
sql> DELETE FROM system.pending_invites;

PROBLEM_NODES

Query system.problem_nodes to see why a node could not be added
sql> SELECT * FROM system.problem_nodes;

Here is the list of reasons provided in system.problem_nodes and how to resolve those issues:

ReasonResolution
Software binaries differMake sure all nodes are running the same version of Xpand
Multiport settings mismatched

See Modifying Startup Configuration Options for instructions on how to disable Multiport.

Network Security with Xpand contains information relative to enabling Multiport ports.

Sv translation
languageko

Table of Contents
stylenone

Note

ClustrixDBs는 노드 당 최대 코어 수 및 클러스터의 최대 노드 수에 대해 라이선스가 부여됩니다. 확장할 클러스터가 현재 라이선스보다 많은 경우 Clustrix 영업팀에 문의하여 라이선스 계약을 추가하시기 바랍니다. 라이선스 추가가 필요한 경우 아래의 flex_clone 작업은 "CPU Count Mismatch" 오류와 함께 실패합니다.

1 단계: "Flex_Clone" 프로세스를 실행하여 노드 준비

ClustrixDB 클러스터에 새 노드를 추가하기 전에 먼저 노드에 ClustrixDB 소프트웨어를 설치하고 구성해야 하며 이것은 flex_clone 스크립트를 통해 할 수 있습니다. 클러스터의 노드 중 하나에 연결되어 있는 동안 bash 명령행에서 이 스크립트를 실행하십시오. 지정된 IP는 추가하는 노드의 IP여야 합니다. 추가할 각각의 새 노드에 대해 이 프로세스를 한 번씩 실행해야 합니다.

클러스터의 노드에서 flex_clone 스크립트를 실행하여 설치 및 구성 복제
shell> /opt/clustrix/bin/flex_clone.sh 'new_node_ip'

이 프로세스의 마지막 메시지는 성공적인 설치를 표시하거나 오류가 발생하면 오류 메시지를 표시합니다. 이 과정에서 발생한 오류를 해결하려면 Clustrix 지원팀에 문의하십시오.

2 단계: 클러스터에 노드 추가

Note

클러스터에 노드를 추가할 때 포트를 열어야 할 수도 있습니다. 멀티 포트에 사용되는 포트를 포함하여 ClustrixDB에 필요한 모든 포트 목록은 ClustrixDB의 네트워크 보안을 참조하십시오.

Include Page
Add Node(s) to Your Cluster
Add Node(s) to Your Cluster

3 단계: 성공적인 노드 추가 확인

노드가 성공적으로 추가되었는지 확인하는 방법에는 여러 가지가 있습니다.

a) SQL 프롬프트에서 이 쿼리를 실행하십시오. 새로운 노드는 연속된 미사용된 다음 노드 번호를 사용하여 추가되므로 새 노드가 결과 목록의 끝에 나타납니다.

sql> SELECT * FROM system.nodeinfo ORDER BY nodeid;

b) The CLX Command-Line Administration Tool을 사용할 수도 있습니다.

bash 프롬프트에서 다음을 제공하여 클러스터의 상태를 봅니다.
shell> /opt/clustrix/bin/clx status

모든 노드가 화면에 <OK>로 나타나는 것을 볼 수 있습니다. 또한, 노드 사이의 데이터 분산이 아직 균형을 이루지 않음을 알 수 있습니다. 이 작업은 오래 걸리지 않으므로 잠시 기다려 주십시오.

추가하려는 노드가 위의 목록에 나타나지 않으면 아래 Flex Up 중에 오류 섹션을 참조하십시오.

4 단계: Rebalancer 활동 모니터링

새 노드가 ClustrixDB 클러스터에 성공적으로 추가되었지만, 추가된 노드에는 아직 데이터가 없습니다. Rebalancer는 백그라운드에서 자동으로 새로운 노드로 데이터를 이동합니다. 이 프로세스를 모니터링하려면 Rebalancer 관리에 대한 지침을 참조하십시오. 클러스터가 완벽하게 작동하며 이 프로세스 중에 사용할 수 있습니다.

Flex Up 중 오류

클러스터에 노드를 추가하는 과정에서 ClustrixDB는 노드가 동일한 구성을 가지는지 확인하기 위해 몇 가지 검사를 수행합니다. 이 섹션에서는 ALTER CLUSTER ADD에서 발생할 수 있는 오류와 이러한 문제를 해결하는 방법에 관해 설명합니다.

SQL 오류

다음은 SQL 프롬프트에서 발생할 수 있는 오류입니다.

  • ERROR 1 (HY000): [26633] Bad parameter.: Host "xxx" already in cluster
    • 이미 클러스터에 속한 노드를 추가하려고 하면 이 오류가 발생합니다.
  • ERROR 1 (HY000): [55300] Multiple nodes cannot be added when an existing addition is pending
    • 노드 추가는 다음과 같은 이유로 보류 상태에 있을 수 있습니다.
      • 노드가 아직 추가 중입니다.
      • 다른 버전을 실행하는 노드가 클러스터에 추가되었습니다.
      • 다른 멀티 포트 설정을 가진 노드가 클러스터에 추가되었습니다.
    • 이러한 오류를 해결하려면 PENDING_INVITES에 대한 아래 섹션을 참조하십시오.

PENDING_INVITES

초대가 보류된 노드 목록
sql> SELECT * FROM system.pending_invites;

클러스터는 주기적으로 system.pending_invites의 노드에 초대를 보내려고 합니다. 발송된 각 초대에 대해 clustrix.log에 항목들이 표시됩니다.

sending invitation response(no error) to "10.2.13.68:24378"
Note

참고: 노드가 system.pending_invites에 나열된 경우 노드 추가를 방해하는 문제점을 해결하기 전에 해당 항목을 제거할 수 있습니다. 이렇게 하지 않으면 문제가 해결되면 노드가 클러스터에 자동으로 추가되어 그룹이 변경됩니다. 대신, 사용량이 적은 시간에 노드를 추가하는 것이 좋습니다.


PENDING_INVITES에서 보류 중인 노드 추가를 제거합니다.
SQL> DELETE FROM system.pending_invites;